RTX 5090 单卡跑通 Qwen3.8-27B
推荐指数 49.0 NO. 005 · 2026.11.17
Stars109创建4 天前Forks23Issues6
简介
Yasakani 是专为 Windows + 单张 NVIDIA RTX GPU 优化的本地 LLM 引擎,目前只支持 Qwen3.8-27B。对想在消费级硬件上部署大模型的 Windows 开发者来说,省去了 Linux 配置和多卡并行的麻烦。
Local LLM engine for Windows and one NVIDIA RTX 5090, built for Qwen3.8-27B
编辑判断
本地 LLM 部署长期被 llama.cpp 和 Ollama 主导,但两者对 Windows 的优化始终不如 Linux,且多卡支持复杂。Yasakani 的赌注很清晰:押注 NVIDIA 消费级显卡的显存增长(RTX 5090 传闻 32GB),用极致单卡优化替代分布式方案。
目前只支持单一模型是明显短板,但如果 Qwen3.8-27B 在你的场景够用,它的工具调用修复和 JSON 参数处理比多数早期本地引擎更务实。做 Windows 桌面 AI 应用或不想碰 WSL 的团队可以跟踪,但别指望替代 vLLM 的生产级吞吐。
Star History
生态分析
Experimental
Windows单卡本地LLM推理的细分工具,填补消费级硬件部署空白
独特价值:免Linux配置,单张RTX 5090即可运行Qwen3.8-27B大模型