机器学习算法导论
机器学习是计算机智能围棋博弈系统、无人驾驶汽车和工业界人工智能助理等新兴技术的灵魂，特别是深度学习理论更是诸多高精尖人工智能技术的核心。掌握机器学习理论与实践技术是学习现代人工智能科学*重要的一步。本书既讲述机器学习算法的理论分析，也结合具体应用介绍它们在Python中的实现及使用方法。本书的第2到第9章主要介绍监督式学习算法。其中包括：监督式学习算法基础、线性回归算法、机器学习中的搜索算法、Logistic回归算法、支持向量机算法、决策树、神经网络和深度学习。随后，在第10与11这两章，着重介绍无监督学习算法。其中包括：降维算法和聚类算法。第12章中讲述强化学习的相关知识。在本书的附录中还提供了学习本书必备的数学基础知识和Python语言与机器学习工具库基本知识。与其他机器学习类书籍相比，本书同时包含机器学习的算法理论和算法实践。希望通过课程的学习，读者能够从机器学习的理论基础和实际应用两个层面全面掌握其核心技术，同时计算思维能力得到显著提高，对于整个课程讲述的机器学习算法核心知识，能够知其然且知其所以然。同时着力培养读者的计算思维能力，使他们在面临实际应用的挑战时，能够以算法的观点思考问题，并灵活应用数学概念来设计出高效安全的解决方案。
作者简介
王磊：2006年本科毕业于清华大学，2011年获得美国佐治亚理工学院博士学位。现就职于美国Facebook公司，担任主任工程经理。主要研究方向是：人工智能算法与架构、博弈论与优化算法理论。
目 录
目录
第1章机器学习算法概述1
1.1什么是机器学习2
1.2机器学习的形式分类4
1.2.1监督式学习4
1.2.2无监督学习7
1.2.3强化学习8
1.3机器学习算法综览9
1.4有关术语的约定15
小结16
第2章监督式学习算法基础17
2.1监督式学习基本概念17
2.2经验损失最小化架构20
2.3监督式学习与经验损失最小化实例23
2.4正则化算法29
小结34
习题35
第3章线性回归算法38
3.1线性回归基本概念38
3.2线性回归优化算法43
3.3多项式回归49
3.4线性回归的正则化算法52
3.5线性回归的特征选择算法58
3.5.1逐步回归58
3.5.2分段回归63
小结66
习题66
第4章机器学习中的搜索算法70
4.1梯度下降算法与次梯度下降算法71
4.2随机梯度下降算法77
4.3牛顿迭代算法83
4.4坐标下降算法87
小结91
习题92
第5章Logistic回归算法94
5.1Logistic回归基本概念94
5.2Logistic回归优化算法100
5.3分类问题的度量107
5.3.1准确率107
5.3.2精确率与召回率108
5.3.3ROC曲线及AUC度量112
5.4Softmax回归115
5.4.1Softmax回归基本概念115
5.4.2Softmax回归优化算法116
5.4.3Softmax模型与指数分布族121
小结123
习题123
第6章支持向量机算法126
6.1支持向量机基本概念126
6.1.1支持向量机思想起源127
6.1.2支持向量机的凸优化描述129
6.1.3支持向量机的对偶132
6.2支持向量机优化算法133
6.3核方法140
6.4软间隔支持向量机1476.4.1软间隔支持向量机基本概念147
6.4.2软间隔支持向量机优化算法149
6.4.3Hinge损失与软间隔支持向量机152
小结153
习题154
第7章决策树158
7.1决策树的基本概念158
7.2决策树优化算法166
7.2.1决策树回归问题的CART算法166
7.2.2决策树分类问题的CART算法168
7.3CART算法实现及应用171
7.3.1决策树CART算法基类171
7.3.2决策树回归问题的CART算法的实现及应用175
7.3.3决策树分类问题的CART算法的实现及应用178
7.4集成学习算法180
7.4.1随机森林分类算法181
7.4.2随机森林回归算法187
7.5梯度提升决策树回归算法189
小结192
习题193
第8章神经网络197
8.1神经网络基本概念197
8.1.1神经网络模型197
8.1.2神经网络算法描述202
8.2神经网络优化算法204
8.3神经网络算法实现208
8.4神经网络的TensorFlow实现216
小结218
习题218
第9章深度学习222
9.1卷积神经网络2229.1.1滤镜224
9.1.2卷积层226
9.1.3卷积神经网络的实现230
9.2循环神经网络237
9.2.1循环神经网络基本概念238
9.2.2循环神经网络的实现241
9.2.3时间反向传播算法245
9.2.4长短时记忆基本概念246
9.2.5长短时记忆的实现249
小结250
习题251
第10章降维算法256
10.1主成分分析法256
10.1.1算法思想256
10.1.2算法实现261
10.1.3奇异值分解263
10.2主成分分析的核方法265
10.2.1主成分分析法的等价形式265
10.2.2核方法算法描述266
10.2.3核方法算法实现268
10.3线性判别分析法271
10.3.1算法思想271
10.3.2算法实现273
10.4流形降维算法275
10.4.1局部线性嵌入法276
10.4.2多维缩放法280
10.5自动编码器284
小结287
习题288
第11章聚类算法293
11.1k均值算法293
11.2合并聚类算法29811.3DBSCAN算法304
小结309
习题310
第12章强化学习313
12.1强化学习基本概念314
12.1.1马尔可夫环境模型314
12.1.2策略316
12.2动态规划型算法318
12.2.1值迭代算法319
12.2.2策略迭代算法323
12.3时序差分型算法327
12.4深度Q神经网络335
12.5策略梯度型算法341
12.5.1REINFORCE算法342
12.5.2ActorCritic算法345
小结348
习题349
附录A机器学习数学基础352
A.1线性代数352
A.2微积分357
A.3优化理论361
A.3.1凸函数的定义及判定361
A.3.2无约束凸优化问题362
A.3.3带约束凸优化问题364
A.4概率论简介366
附录BPython语言与机器学习工具库370
B.1Python语言基础370
B.2SciPy工具库374
B.2.1NumPy简介374
B.2.2Matplotlib简介378B.2.3Pandas简介379
B.3Sklearn简介380
B.4TensorFlow简介383
附录C本书使用的数据集387
参考文献388
作者简介
王磊：2006年本科毕业于清华大学，2011年获得美国佐治亚理工学院博士学位。现就职于美国Facebook公司，担任主任工程经理。主要研究方向是：人工智能算法与架构、博弈论与优化算法理论。
目 录
目录
第1章机器学习算法概述1
1.1什么是机器学习2
1.2机器学习的形式分类4
1.2.1监督式学习4
1.2.2无监督学习7
1.2.3强化学习8
1.3机器学习算法综览9
1.4有关术语的约定15
小结16
第2章监督式学习算法基础17
2.1监督式学习基本概念17
2.2经验损失最小化架构20
2.3监督式学习与经验损失最小化实例23
2.4正则化算法29
小结34
习题35
第3章线性回归算法38
3.1线性回归基本概念38
3.2线性回归优化算法43
3.3多项式回归49
3.4线性回归的正则化算法52
3.5线性回归的特征选择算法58
3.5.1逐步回归58
3.5.2分段回归63
小结66
习题66
第4章机器学习中的搜索算法70
4.1梯度下降算法与次梯度下降算法71
4.2随机梯度下降算法77
4.3牛顿迭代算法83
4.4坐标下降算法87
小结91
习题92
第5章Logistic回归算法94
5.1Logistic回归基本概念94
5.2Logistic回归优化算法100
5.3分类问题的度量107
5.3.1准确率107
5.3.2精确率与召回率108
5.3.3ROC曲线及AUC度量112
5.4Softmax回归115
5.4.1Softmax回归基本概念115
5.4.2Softmax回归优化算法116
5.4.3Softmax模型与指数分布族121
小结123
习题123
第6章支持向量机算法126
6.1支持向量机基本概念126
6.1.1支持向量机思想起源127
6.1.2支持向量机的凸优化描述129
6.1.3支持向量机的对偶132
6.2支持向量机优化算法133
6.3核方法140
6.4软间隔支持向量机1476.4.1软间隔支持向量机基本概念147
6.4.2软间隔支持向量机优化算法149
6.4.3Hinge损失与软间隔支持向量机152
小结153
习题154
第7章决策树158
7.1决策树的基本概念158
7.2决策树优化算法166
7.2.1决策树回归问题的CART算法166
7.2.2决策树分类问题的CART算法168
7.3CART算法实现及应用171
7.3.1决策树CART算法基类171
7.3.2决策树回归问题的CART算法的实现及应用175
7.3.3决策树分类问题的CART算法的实现及应用178
7.4集成学习算法180
7.4.1随机森林分类算法181
7.4.2随机森林回归算法187
7.5梯度提升决策树回归算法189
小结192
习题193
第8章神经网络197
8.1神经网络基本概念197
8.1.1神经网络模型197
8.1.2神经网络算法描述202
8.2神经网络优化算法204
8.3神经网络算法实现208
8.4神经网络的TensorFlow实现216
小结218
习题218
第9章深度学习222
9.1卷积神经网络2229.1.1滤镜224
9.1.2卷积层226
9.1.3卷积神经网络的实现230
9.2循环神经网络237
9.2.1循环神经网络基本概念238
9.2.2循环神经网络的实现241
9.2.3时间反向传播算法245
9.2.4长短时记忆基本概念246
9.2.5长短时记忆的实现249
小结250
习题251
第10章降维算法256
10.1主成分分析法256
10.1.1算法思想256
10.1.2算法实现261
10.1.3奇异值分解263
10.2主成分分析的核方法265
10.2.1主成分分析法的等价形式265
10.2.2核方法算法描述266
10.2.3核方法算法实现268
10.3线性判别分析法271
10.3.1算法思想271
10.3.2算法实现273
10.4流形降维算法275
10.4.1局部线性嵌入法276
10.4.2多维缩放法280
10.5自动编码器284
小结287
习题288
第11章聚类算法293
11.1k均值算法293
11.2合并聚类算法29811.3DBSCAN算法304
小结309
习题310
第12章强化学习313
12.1强化学习基本概念314
12.1.1马尔可夫环境模型314
12.1.2策略316
12.2动态规划型算法318
12.2.1值迭代算法319
12.2.2策略迭代算法323
12.3时序差分型算法327
12.4深度Q神经网络335
12.5策略梯度型算法341
12.5.1REINFORCE算法342
12.5.2ActorCritic算法345
小结348
习题349
附录A机器学习数学基础352
A.1线性代数352
A.2微积分357
A.3优化理论361
A.3.1凸函数的定义及判定361
A.3.2无约束凸优化问题362
A.3.3带约束凸优化问题364
A.4概率论简介366
附录BPython语言与机器学习工具库370
B.1Python语言基础370
B.2SciPy工具库374
B.2.1NumPy简介374
B.2.2Matplotlib简介378B.2.3Pandas简介379
B.3Sklearn简介380
B.4TensorFlow简介383
附录C本书使用的数据集387
参考文献388
精选留言