从Tokenizer到Attention的LLM原理课
值得看指数 45.0 NO. 011 · 2026.04.14
Stars205创建1 天前Forks18Issues0
为什么值得看
由Outcome School创始人维护的LLM内部机制学习系列，当前深入解析BPE分词算法的逐步推导与实现细节。适合已掌握模型调用但想补齐底层原理的工程师，直接填补'会训模型'与'懂内部机制'之间的知识断层。
Learn LLM internals step by step - from tokenization to attention to inference optimization.
媒体预览
编辑判断
目前大多数LLM学习资源要么停留在API调用层面，要么直接跳到论文实现，缺乏从tokenization到attention的系统性拆解。这个项目用BPE作为切入点，把'文本如何变成数字'这个黑盒打开了。
相比Karpathy的知名教程偏向代码实现，这个系列更注重算法原理的逐步推导，适合数学基础一般但想理解底层机制的工程师。
如果你已经会用Hugging Face transformers但说不清vocab映射和embedding的关系，花一小时跟着走一遍能填上很多知识漏洞。
Star History