我们希望这门 CS336 中文课程，不只是斯坦福原版的"汉化版"，而是一座为中文学习者量身打造的"LLM炼丹工坊"。在这里，你亲手锻造理解、打磨代码、调控火候，最终炼出属于自己的大模型真丹。
- Python 编程：熟练掌握 Python 和软件工程能力
- 深度学习基础：熟悉 PyTorch，了解神经网络基本原理
- 数学基础：线性代数、概率统计、微积分
- 机器学习：需对机器学习与深度学习的基础知识有扎实掌握
- GPU 编程（可选）：了解 CUDA 基础概念会更佳，不懂也没关系，本项目也有入门教程
- 硬核理论与动手实战并重：我们会完整保留原版课程的技术深度，但会用更符合中文学习者思维的方式重构知识体系。对于必要的数学、深度学习前置知识，我们会帮你补齐，确保学习曲线平滑，让每个认真投入的人都能跟上。
- 搭建一套循序渐进的知识体系：将构建LLM这个庞大工程，拆解成一个个可以上手、可以理解的模块。学完后，你将拥有一个关于LLM的完整知识图谱。
- 代码驱动，知行合一：课程的核心是"用代码思考"。所有作业，我们不仅会提供实现代码，更会分享写下每一行代码时的思考过程。
- 贴近国内环境的本土化改造：考虑到国内的网络环境、大家手头的计算资源以及独特的开源生态，我们会提供更接地气的解决方案和案例（比如，多聊聊Qwen、DeepSeek等国产优秀模型）。
学完这门课，你能得到什么？
- 扎实的技术地基：你将能亲手"造"出自己的LLM，对每个核心组件都了然于胸。
- 宝贵的工程经验：掌握从数据处理、模型训练到部署优化，堪比大厂的全流程实战技能。
- 突出的行业竞争力：具备大模型研发的核心能力，为你进入心仪的大厂或团队铺平道路。
- 清晰的科研视野：对LLM领域有体系化的认知，为未来深入研究打下坚实的基础。
| 章节 | 关键内容 | 配套作业 | 状态 |
|---|---|---|---|
| 前言 | 项目背景、学习路线、前置知识 | - | ✅ |
| 第1章 工具使用 | W&B 实验追踪、超参数搜索、可视化面板 | - | 📝 |
| 第2章 分词器 | BPE 算法原理、Unicode 规范化、手写 tokenizer 训练代码 | 作业1 | ✅ |
| 第3章 PyTorch 与资源核算 | 混合精度训练、梯度累积、FLOPs/显存估算 | - | ✅ |
| 第4章 语言模型架构与训练细节 | RoPE、RMSNorm、SwiGLU、AdamW、Pre-Norm vs Post-Norm、学习率调度 | 作业1 | ✅ |
| 第5章 混合专家模型 | Top-K 路由、负载均衡、辅助损失、Expert Parallelism、DeepSeekMoE | - | ✅ |
| 第6章 GPU 与相关优化 | 显存带宽与计算强度、Flash Attention、Kernel Fusion、混合精度、BF16/TF32 | 作业2 | ✅ |
| 第7章 GPU 高性能编程 | CUDA 编程模型、Tensor Cores、Shared Memory、Triton 入门 | 作业2 | ✅ |
| 第8章 分布式训练 | 数据并行/模型并行/流水线并行、ZeRO-1/2/3、FSDP、梯度累积、All-Reduce | 作业2 | ✅ |
| 第9章 Scaling Laws | Chinchilla 定律、计算最优配置、Scaling 实验设计、Extrapolation | 作业3 | ✅ |
| 第10章 推理 | KV Cache、投机解码、量化 (GPTQ/AWQ)、PagedAttention、Continuous Batching | 作业6 | ✅ |
| 第11章 数据工程 | 数据质量过滤、MinHash 去重、PII 脱敏、数据配比、Data Curriculum | 作业4 | ✅ |
| 第12章 评估与基准测试 | MMLU、HumanEval、HELM、CEval、AlpacaEval、Arena 排名 | 作业6 | ✅ |
| 第13章 大模型的基本训练流程 | Pre-training、SFT、DPO、RLHF PPO 流程、Alignment Tax | 作业5 | ✅ |
| 第14章 可验证奖励的强化学习 | GRPO、Rule-based Verifier、Outcome/Process Reward、RLVR 与 R1 训练方案 | 作业5 | ✅ |
| 第15章 多模态模型 | 从 CLIP 到 Omni Model：CLIP/SigLIP、LLaVA、Qwen-VL、Chameleon | - | ✅ |
| 第16章 扩展内容 | 1. 什么是LLM推理？（黎又榛） 2. LLM 的未来 - Lecun（黎又榛、jiangyinhe、李盛康、徐虎） |