D2L.ai:深度学习学习者的全能指南,D2L.ai 不仅提供深度学习的概念讲解,还通过丰富的代码示例和数学推导,让你深入掌握背后的原理。这个开源教程支持多种深度学习框架,并已成为全球众多高校的教学参考。通过 D2L.ai,你可以从零开始构建自己的深度学习模型。中文版《动手学深度学习》。
目录
- 引言
- 预备知识
2.1. 数据操作
2.2. 数据预处理
2.3. 线性代数
2.4. 微积分
2.5. 自动微分
2.6. 概率
2.7. 查阅文档 - 线性神经网络
3.1. 线性回归
3.2. 线性回归的从零开始实现
3.3. 线性回归的简洁实现
3.4. softmax回归
3.5. 图像分类数据集
3.6. softmax回归的从零开始实现
3.7. softmax回归的简洁实现 - 多层感知机
4.1. 多层感知机
4.2. 多层感知机的从零开始实现
4.3. 多层感知机的简洁实现
4.4. 模型选择、欠拟合和过拟合
4.5. 权重衰减
4.6. 暂退法(Dropout)
4.7. 前向传播、反向传播和计算图
4.8. 数值稳定性和模型初始化
4.9. 环境和分布偏移
4.10. 实战Kaggle比赛:预测房价 - 深度学习计算
5.1. 层和块
5.2. 参数管理
5.3. 延后初始化
5.4. 自定义层
5.5. 读写文件
5.6. GPU - 卷积神经网络
6.1. 从全连接层到卷积
6.2. 图像卷积
6.3. 填充和步幅
6.4. 多输入多输出通道
6.5. 汇聚层
6.6. 卷积神经网络(LeNet) - 现代卷积神经网络
7.1. 深度卷积神经网络(AlexNet)
7.2. 使用块的网络(VGG)
7.3. 网络中的网络(NiN)
7.4. 含并行连结的网络(GoogLeNet)
7.5. 批量规范化
7.6. 残差网络(ResNet)
7.7. 稠密连接网络(DenseNet) - 循环神经网络
8.1. 序列模型
8.2. 文本预处理
8.3. 语言模型和数据集
8.4. 循环神经网络
8.5. 循环神经网络的从零开始实现
8.6. 循环神经网络的简洁实现
8.7. 通过时间反向传播 - 现代循环神经网络
9.1. 门控循环单元(GRU)
9.2. 长短期记忆网络(LSTM)
9.3. 深度循环神经网络
9.4. 双向循环神经网络
9.5. 机器翻译与数据集
9.6. 编码器-解码器架构
9.7. 序列到序列学习(seq2seq)
9.8. 束搜索 - 注意力机制
10.1. 注意力提示
10.2. 注意力汇聚:Nadaraya-Watson 核回归
10.3. 注意力评分函数
10.4. Bahdanau 注意力
10.5. 多头注意力
10.6. 自注意力和位置编码
10.7. Transformer - 优化算法
11.1. 优化和深度学习
11.2. 凸性
11.3. 梯度下降
11.4. 随机梯度下降
11.5. 小批量随机梯度下降
11.6. 动量法
11.7. AdaGrad算法
11.8. RMSProp算法
11.9. Adadelta
11.10. Adam算法
11.11. 学习率调度器 - 计算性能
12.1. 编译器和解释器
12.2. 异步计算
12.3. 自动并行
12.4. 硬件
12.5. 多GPU训练
12.6. 多GPU的简洁实现
12.7. 参数服务器 - 计算机视觉
13.1. 图像增广
13.2. 微调
13.3. 目标检测和边界框
13.4. 锚框
13.5. 多尺度目标检测
13.6. 目标检测数据集
13.7. 单发多框检测(SSD)
13.8. 区域卷积神经网络(R-CNN)系列
13.9. 语义分割和数据集
13.10. 转置卷积
13.11. 全卷积网络
13.12. 风格迁移
13.13. 实战 Kaggle 比赛:图像分类 (CIFAR-10)
13.14. 实战Kaggle比赛:狗的品种识别(ImageNet Dogs) - 自然语言处理:预训练
14.1. 词嵌入(word2vec)
14.2. 近似训练
14.3. 用于预训练词嵌入的数据集
14.4. 预训练word2vec
14.5. 全局向量的词嵌入(GloVe)
14.6. 子词嵌入
14.7. 词的相似性和类比任务
14.8. 来自Transformers的双向编码器表示(BERT)
14.9. 用于预训练BERT的数据集
14.10. 预训练BERT - 自然语言处理:应用
15.1. 情感分析及数据集
15.2. 情感分析:使用循环神经网络
15.3. 情感分析:使用卷积神经网络
15.4. 自然语言推断与数据集
15.5. 自然语言推断:使用注意力
15.6. 针对序列级和词元级应用微调BERT
15.7. 自然语言推断:微调BERT - 附录:深度学习工具
16.1. 使用Jupyter Notebook
16.2. 使用Amazon SageMaker
16.3. 使用Amazon EC2实例
16.4. 选择服务器和GPU
16.5. 为本书做贡献
16.6. d2l API 文档