端侧AI Agent的Linux内核
推荐指数 64.0 NO. 005 · 2026.08.15
Stars157创建4 天前Forks16Issues1
为什么值得看
OAK是一个面向AI Agent的端侧运行框架,通过模式匹配+本地LLM实现亚100ms响应,无需云端。对需要数据隐私和低延迟的端侧AI场景有直接价值,目前已支持Qualcomm NPU部署。
Build AI agents that run 100% on-device. Sub-100ms latency on Qualcomm NPU. Zero cloud dependency.
媒体预览
编辑判断
端侧Agent目前的主流方案是llama.cpp+简单脚本封装,但缺乏系统级的任务调度、内存管理和跨硬件抽象。OAK试图复刻Linux内核的定位,把Agent从应用层下沉到系统层,这个架构野心比Llamafile更大,但157 stars说明社区还在观望其实际稳定性。
真正值得关注的点是它的pattern matching前置过滤:80%请求不走LLM,这和Apple的ANE(Apple Neural Engine)调度策略思路一致。如果你在做手机端AI助手或工业边缘设备,可以重点测一下它的Qualcomm NPU后端成熟度,目前这块能跑通14倍加速的公开方案很少。
Star History
生态分析
Experimental
端侧AI Agent框架先行者,专注Qualcomm NPU嵌入式场景
独特价值:亚100ms纯端侧运行,零云端依赖,汽车/IoT隐私敏感场景