深度学习：补充资源
经典教材
Goodfellow, Bengio, Courville — Deep Learning (花书) ★ 圣经
- 教材主页(免费在线):https://www.deeplearningbook.org/
- 中译本《深度学习》(人民邮电出版社)
- 涵盖深度学习数学基础(第一部分)、现代实践(第二部分)、研究方向(第三部分)
- 推荐当作“百科全书”按需查阅,非顺序通读
李沐《动手学深度学习》★ 中文最强实战书
- 主页:https://zh.d2l.ai/
- 三种实现版本(PyTorch / TensorFlow / MXNet)
- 配套讲座视频(B 站李沐频道)是国内深度学习自学最热资源
- 编排为“原理 + 代码 + 实验”三位一体,每章可在 1-2 小时跑通
Christopher M. Bishop — Deep Learning: Foundations and Concepts
- 2024 年新版,PRML 作者写的现代版
- 数学严格,适合做研究方向
经典与前沿课程
Andrej Karpathy — Neural Networks: Zero to Hero ★ 代码至简
- 在本站已有独立页面
- 从 0 实现 GPT-2,代码量小但每行都讲清原理,LLM 入门最高效路径
fast.ai — Practical Deep Learning for Coders
- 主页:https://course.fast.ai/
- Jeremy Howard 主讲,自顶向下教学法,先跑通再讲原理
- 配套 fastai 库,几行代码训出 SOTA 模型
NYU DLT (Yann LeCun) — Deep Learning
- 课程主页:https://atcold.github.io/NYU-DLSP21/
- 视频:YouTube
- LeCun 亲自讲 CNN 起源,适合做基础研究
实战工具
- PyTorch:研究界事实标准,本站推荐课程几乎全用 PyTorch
- JAX/Flax:Google 推动,函数式风格,LLM 训练框架(如 Pax/MaxText)的底座
- Hugging Face Transformers:NLP/LLM 预训练模型生态
- Weights & Biases:实验跟踪
- DeepSpeed / Megatron-LM:大规模分布式训练框架
作业实现与笔记参考
Stanford CS224n(NLP)
@PKUFlyingPig 的 CS224n 资源与作业实现:
UMich EECS 498-007(深度学习与计算机视觉)
@Michael-Jetson 整理的二三十万字课程笔记(PyTorch 实现,含主要章节):
Stanford CS231n(计算机视觉)
- 官方 assignment:https://cs231n.github.io/
- GitHub 搜 “CS231n solutions” 可找几十个完整作业实现仓库
Stanford CS230(吴恩达深度学习)
- 实战课与 Coursera Deep Learning Specialization 互补
- Cheatsheet:https://stanford.edu/~shervine/teaching/cs-230/
论文阅读与跟进
- Papers With Code:https://paperswithcode.com/ ── 论文 + 实现 + benchmark 一站式
- AK 的 Daily Papers:https://huggingface.co/papers ── HuggingFace 每日论文精选
- The AI Index Report(Stanford HAI):每年发布,看领域整体趋势