AMAZINGINDEX.COM 每天向上一点
59.4
VOL. 2026.11
2026.11.17
← 返回 2026.11.17 日报
日报快照 · Daily Snapshot
NO. 003

PS4 本地跑 90 亿参数 LLM

#REPO GitHub Search 2026.11.17
推荐指数 66.0 NO. 003 · 2026.11.17
Stars117创建5 天前Forks10Issues6

Garlic LLM 是 PS4 自制程序,在主机 GPU 上离线运行 Qwen3.5-9B,支持语音对话、编程和 25 语言听写。它证明了消费级游戏主机的异构内存架构(8GB GDDR5 统一内存)可以承载生产级端侧 AI,为边缘设备部署开辟了新路径。

A 9-billion-parameter language model running on a PS4 GPU. Offline.

PS4 本地跑 90 亿参数 LLM

端侧大模型目前集中在手机 NPU 和 Apple Silicon,主机平台几乎空白。PS4 的 8GB GDDR5 统一内存带宽 176GB/s,比多数笔记本 DDR4 方案更适合大模型推理,只是之前没人做适配。

这个项目用 MicroPython 做代码执行而非完整 Python 运行时,是内存受限场景下的务实取舍。对比 llama.cpp 在手机上的部署,主机平台的散热和供电优势能让 9B 模型持续满速运行,适合需要长会话的离线场景。

做端侧产品化的团队可以关注它的内存管理策略,尤其是如何在 8GB 统一内存中同时跑模型、语音合成和听写三个任务。如果你有旧主机渠道或下沉市场硬件资源,这可能是被忽视的部署载体。

Star History
Experimental

首个在PS4游戏主机上离线运行大模型的边缘AI探索项目

独特价值:利用游戏主机异构内存架构实现消费级端侧大模型部署

查看原文 →