45M参数端侧模型压到14MB

端侧工具调用之前要么靠云端 API 往返，要么用 Gemma 2B 这类模型硬塞，内存和启动时间都是硬伤。Needle 2 用自研的 Simple Attention Network 加 CQ2-bit 量化，把问题变成了能不能接受 45M 参数的能力天花板。

跟 FunctionGemma 270M 和 Apple FM 比，它赢了体积但输了通用性，适合工具 schema 固定、延迟敏感的场景，比如智能家居本地控制、离线表单提取。做端侧 Agent 的团队可以把它当基线，先验证任务能不能被压缩到这么小的模型里，再决定是否上更大的模型。

LoRA 微调和 Python 包都给了，但注意推理引擎是从 Hugging Face 拉取的，离线部署需要提前缓存。