把RISC-V CPU编译进Qwen3.5权重
推荐指数 72.0 NO. 004 · 2026.11.03
Stars107创建2 天前Forks12Issues0
简介
QwenPU将32位RISC-V CPU及向量单元直接编译进Qwen3.5-4B的权重中，无需学习新参数。这意味着可以在模型前向传播内部运行完整神经网络程序，已能跑通Karpathy的260K参数Llama。
An LLM running on an NPU inside an LLM. Karpathy's stories260K writing stories on a vector unit compiled into Qwen3.5-4B's weights.
媒体预览
编辑判断
这个项目把'模型即计算机'的隐喻变成了字面实现。之前类似思路主要靠提示工程或微调让LLM模拟CPU，而QwenPU是用编译器直接计算权重来编码电路状态，本质上是把神经网络变成了可编程FPGA。
关键突破在于向量单元的设计——矩阵乘和attention被硬编码为CPU指令，这让在模型内部跑另一个transformer成为可能。之前llama2.c已经证明了纯C可以跑小模型，现在QwenPU证明纯权重也可以。
最该关注的是做端侧AI和模型压缩的团队：如果这种方法能扩展到更大模型，可能诞生一种全新的'模型内嵌模型'架构，用于隐私计算或模型即服务的细粒度计费场景。目前107 stars说明圈子还小，但divagr18的Qwenputer系列值得持续跟踪。
Star History
生态分析
Experimental
将RISC-V CPU编译进LLM权重的神经计算架构探索项目
独特价值：首创权重内嵌完整CPU架构，实现LLM内部自主执行程序