动手学大语言模型：写给程序员的手搓LLM实战指南

吾辈亦有感更新于：2026.03.18

Search

Ctrl+K

目录

动手学：机器学习

1. 从零开始：机器何以学习？
2. 神经网络启蒙：PyTorch 入门实战

动手学：深度学习

3. 深度学习初探：多分类任务实战
4. 工程的进化：用 PyTorch Lightning 重构

动手学：循环神经网络

5. 语言的序章：分词与情感分析初探
6. 表示的困境：OneHot编码与模型局限
7. 记忆的萌芽：RNN与序列建模入门
8. 语义的飞跃：词嵌入技术与稠密表示
9. 记忆的进化：GRU与长期依赖问题

动手学：Seq2Seq

10. 穷举的困境：无限膨胀的类别
11. 从理解到创造：初识序列生成任务
12. 改进Seq2Seq模型：反转输入
13. 改进Seq2Seq模型：信息偷窥

动手学：Transformer

14. 注意力革命：Transformer
15. 定义 Transformer 分词器
16. 构造 Transformer 数据集
17. 实现 Transformer Input 组件
18. 实现 Transformer Encoder 组件
19. 实现 Transformer Decoder 组件
20. 实现完整的 Transformer 模型
21. Transformer 模型训练和评估

动手学：GPT

22. 从零构建 GPT 模型
23. 实现 GPT 分词器
24. 构造 GPT 预训练数据集
25. 实现 GPT 嵌入层
26. 实现 GPT 层归一化
27. 实现 GPT 多头注意力层
28. 实现 GPT 前馈网络层
29. 实现 Transformer Block 模块
30. 构建完整的 GPT 模型
31. 实现 GPT 模型的生成策略
32. GPT 模型的训练与评估
33. 更具多样性的生成策略

Lecture (PDF)
Book (PDF)

Notebook Launcher

Choose public or private cloud service for "Launch" button.

Select a server

Public
Private

Launch Notebook