Laya 端侧离线决策引擎 M4 跑通
推荐指数 67.0 NO. 013 · 2026.09.21
发布2026/09/20Score82Comments15
为什么值得看
Laya 是一款专为端侧优化的决策引擎，现已通过 CoreML 在 Mac M4 实现离线运行，速度达每秒 45 次决策。对需要低延迟、隐私优先的 AI 应用开发者而言，这意味着无需云端即可部署复杂决策逻辑。
编辑判断
端侧决策引擎这个品类之前被忽视，因为大家默认复杂逻辑必须上云。Laya 的切入点很准：游戏 NPC、实时交易风控、工业控制这些场景，延迟敏感且数据不能外传，传统做法是压缩大模型或写硬规则，效果都不好。
跟同类方案比，TensorFlow Lite 和 ONNX Runtime 虽然也能跑端侧，但主要是推理框架，不做决策优化；专门的游戏 AI 中间件如 Inworld 又必须联网。Laya 填补了"离线 + 高频决策"的空白，CoreML + ANE 的路线在苹果生态里能效比有优势。
如果你在做 macOS/iOS 上的实时交互应用，比如本地游戏 AI 或隐私优先的自动化工具，这个值得跑一下 demo。注意它目前只支持苹果芯片，跨平台不是优先级。
社区反馈
意见分歧 15 条评论
核心争论：Laya 是实用端侧决策工具还是过时的 BERT 微调，能否替代云端 LLM
Local LLMs are the future, and one of the reasons I think the data centre furore is just going to end in a market crash. LLMs that can reliably be used for control problems are the future, and I think classic/deep RL has generally been overlooked for years for a whole host of problems by wider
that's not a local LLM. If it's local, it doesn't matter in this case. Laya is a System 1 "AI", namely works like a classifier, given a state and questions, it shoots probabilities for each. I publish an episode tomorrow about Laya and Typesafe AI on https://www.youtube.com/@DataScien
cool, will check it