基础模型 · 学习路线¶
时间紧时
先做 快速入门:它把阶段 0、2、3 与 F2、F5 压缩成一个端到端作品;之后按本页选择深入方向。
两门主课,一条连续实现路线¶
中文全貌:李宏毅导论 → 代码理解:Karpathy Zero to Hero。先建立全貌,再运行和修改模型。时间按每周 8–10 小时估计,以实验结果决定节奏。
| 阶段 | 主资源 | 针对你的学习范围 | 实践与完成标准 |
|---|---|---|---|
| 0 · 全貌,1–2 周 | 李宏毅导论 | 第 1、6–10、12 讲,先理解系统与能力边界 | F0:解释训练、推理、检索和工具,画出流程 |
| 1 · 基础检查,1–3 次学习时段 | PyTorch Quickstart | 先试着解释训练循环、验证、保存加载;有缺口再补 Basics | F1 按需;已经熟练即可通过,不重学 Python 和基础数学 |
| 2 · 实现,2–4 周 | Karpathy Zero to Hero | 不懂反向传播先看 micrograd;再做 makemore 前两讲,最后 GPT;其余讲次按需回访 | F4 前半:小型 GPT、训练曲线、Tensor 形状与一个变量实验 |
| 3 · 使用现成模型,约 1 周 | HF LLM Course 的第 2 章作接口参考 | tokenizer、模型加载、上下文与生成;不另开一套完整课程 | 能用现成模型,并解释它与自己的小模型有什么区别 |
| 4 · 应用体验,1–2 周 | F2 或 F3 的单个官方教程 | 资料问答与图片问答二选一 | 固定测试样例,保留成功和失败结果 |
阶段 0 与具身 Overview交错阅读。F1 是共享准备,不必在两个栏目各做一次。
根据实践再选深入方向¶
| 主线 | 下一步 | 保留的资源 |
|---|---|---|
| 模型算法 | 完成 F4,再做一次任务适配 | HF 微调文档;需要系统训练研究时再选 CS336 |
| 应用与 Agent | 扩展 F2,增加一个可检查的只读工具 | 应用与智能体中的单个项目入口 |
| 推理系统 | F5:质量、时延、内存比较 | 推理与部署中的 llama.cpp |
| 多模态与机器人 | E3 后选择 E4 | 具身路线中的 LeRobot |
文字学习替代路线:LLMs-from-scratch 第 2–5 章可替代 Karpathy 实现部分;选定一种媒介后沿同一套代码推进。
MoE、完整偏好优化、大规模并行、世界模型和多智能体暂作知识地图中的选修主题。不要将每个专题页都理解为一门必修课。
选课与求职判断¶
先完成两个 Overview 和一个实现项目,再对照 3–5 个目标岗位。按“能解释、能复现、能独立改进”记录能力,使用项目结果决定下一步。
每个阶段先跑原例,再改一个因素,最后用未参与调试的样例评估。记录依赖、代码版本、结果和自己的取舍。