PS4 本地跑 90 亿参数 LLM
推荐指数 66.0 NO. 003 · 2026.11.17
Stars117创建5 天前Forks10Issues6
简介
Garlic LLM 是 PS4 自制程序,在主机 GPU 上离线运行 Qwen3.5-9B,支持语音对话、编程和 25 语言听写。它证明了消费级游戏主机的异构内存架构(8GB GDDR5 统一内存)可以承载生产级端侧 AI,为边缘设备部署开辟了新路径。
A 9-billion-parameter language model running on a PS4 GPU. Offline.
媒体预览
编辑判断
端侧大模型目前集中在手机 NPU 和 Apple Silicon,主机平台几乎空白。PS4 的 8GB GDDR5 统一内存带宽 176GB/s,比多数笔记本 DDR4 方案更适合大模型推理,只是之前没人做适配。
这个项目用 MicroPython 做代码执行而非完整 Python 运行时,是内存受限场景下的务实取舍。对比 llama.cpp 在手机上的部署,主机平台的散热和供电优势能让 9B 模型持续满速运行,适合需要长会话的离线场景。
做端侧产品化的团队可以关注它的内存管理策略,尤其是如何在 8GB 统一内存中同时跑模型、语音合成和听写三个任务。如果你有旧主机渠道或下沉市场硬件资源,这可能是被忽视的部署载体。
Star History
生态分析
Experimental
首个在PS4游戏主机上离线运行大模型的边缘AI探索项目
独特价值:利用游戏主机异构内存架构实现消费级端侧大模型部署