旧设备跑大模型实战指南
推荐指数 73.0 NO. 019 · 2026.11.13
发布2026/11/12Score251Comments86
简介
smolmaxxing 项目系统性地在电视盒子、旧平板等边缘设备上压榨 LLM 性能,通过定制内核和闪存流式加载突破硬件极限。对做端侧部署和低成本 AI 硬件的团队有直接参考价值。
编辑判断
端侧 LLM 的瓶颈从来不是理论算力,而是内存带宽和碎片化生态。之前 llama.cpp 虽然能跑,但主要靠社区零散适配,没人系统性地做'极限压榨 + 真实设备实测'的矩阵。这个项目把 Xiaomi TV Box 和 2013 年 iPad 都纳入 benchmark,说明作者在用消费电子的最低公分母做优化,这比树莓派 demo 更难也更实用。
1-bit 量化和闪存流式加载的组合值得关注:Bonsai-1.7B 在 A7 芯片上跑到 24 tok/s,意味着 10 美元级别的二手设备已经能支撑简单对话。如果你在做出海市场的低成本 AI 硬件(非洲、东南亚的教育平板、农业信息终端),这套方法论可以直接复用,不需要等芯片降价。
社区反馈
正面 83 条评论
核心争论:极限边缘设备跑大模型的挑战边界在哪里
Recently I started this open source project at my AI company, where I'm trying to make LLMs working Now Reached 16B models running on iPad Air 1st gen and xiaomi tv box, both have less than 1GB of usable memory, and reached some decent speeds given the hardware. I'm open sourcing the effort done, ke
> I want a more challenging device, what do you think? One of those vapes with a screen on it.
challenge accepted.