8MB 端侧模型击败 10 倍大模型
推荐指数 78.0 NO. 003 · 2026.09.20
Stars11,550
为什么值得看
Needle 是一个面向手机、可穿戴设备、机器人的基础模型，仅 8-29MB 却能精准执行工具调用和结构化数据提取。对需要在端侧跑 AI 的工程师来说，它用极小的体积换来了可靠的 agent 能力，不必再忍受大模型的幻觉和延迟。
Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.
媒体预览
编辑判断
端侧模型之前要么走 TinyLlama、Phi 这种通用路线但工具调用拉胯，要么用云 API 但牺牲隐私和延迟。Needle 的取舍很激进：直接砍掉聊天能力，把全部容量押在 function calling 和 extraction 两个刚需场景上。
跟同类端侧方案比，它的差异化在于 decode grammar 保证输出可解析，而不是像很多小模型那样输出 JSON 格式错误。做 IoT、车载语音助手、智能家居控制的团队，如果之前因为 Llama.cpp 在工具调用上不稳定而放弃端侧方案，这个值得重新评估。
不过要注意它的通用能力几乎为零，如果产品需要闲聊兜底，还得另配一个模型或做路由。
Star History
生态分析
Beta
端侧超轻量Agent基础模型，填补微设备本地LLM工具调用空白
独特价值：2-bit量化8MB级体积实现可靠工具调用，极致压缩比下的端侧Agent能力