离线LLM随身走：USB即插即用
值得看指数 49.0 NO. 005 · 2026.04.20
Stars119创建5 天前Forks37Issues4
为什么值得看
这是一个将Python运行时和LLM推理引擎打包进U盘的便携方案，支持Windows/macOS/Linux三系统完全离线运行。适合需要在多设备间无缝切换或隐私敏感场景下使用AI的工程师，无需配置环境即可直接推理。
The ultimate zero-install, portable local AI environment. Run high-quality, uncensored LLMs (Gemma, Qwen, NemoMix) directly from any USB drive or SSD. Fully air-gapped, cross-platform (Win/Mac/Linux), and privacy-first with persistent chat history.
媒体预览
编辑判断
之前跑本地大模型，要么装Ollama要么配conda环境，换台机器就得重来。这个项目把Python解释器和推理引擎直接打包成便携二进制，真正实现即插即用。
跟Ollama或LM Studio相比，它牺牲了部分易用性（没有GUI），但换来极致的可移植性——插到隔离内网机或客户现场的Win7老机器都能直接跑7B模型。
如果你在多家企业做AI落地咨询，或者需要在无网络环境做渗透测试报告撰写，这个比带笔记本更轻量。
Star History
