依据《统计学习方法》(第2版)中的介绍,统计学习方法可以从多个角度进行分类,一般包括监督学习、无监督学习、强化学习,有时还包括半监督学习、主动学习。另外从模型、算法和技巧三个方面可以对各种统计学习方法进行更加具体的细分。
一、按模型分类
| 概率/非概率模型 | 线性/非线性模型 | 参数化/非参数化模型 | |
|---|---|---|---|
| 决策树 | Y | N | |
| 朴素贝叶斯 | Y | Y | |
| 隐马尔科夫模型 | Y | ||
| 条件随机场 | Y | ||
| 概率潜在语义分析 | Y | N | |
| 潜在狄利克雷分配 | Y | N | |
| 高斯混合模型 | Y | Y | |
| 感知机 | N | Y | Y |
| 线性支持向量机 | N | Y | N |
| 核函数支持向量机 | N | N | N |
| k近邻 | N | Y | N |
| AdaBoost | N | N | N |
| k均值 | N | Y | Y |
| 潜在语义分析 | N | Y | N |
| 神经网络 | N | N | |
| 逻辑斯谛回归 | Both | Y |
二、按算法分类
(1)在线学习:每次接受一个样本,进行预测,之后学习模型,并不断重复。
(2)批量学习:一次接受所有数据,学习模型,之后进行预测。
三、按技巧分类
(1)贝叶斯学习:在概率模型的学习和推理中,利用贝叶斯定理,计算在给定数据条件下模型的条件概率,即后验概率,并应用这个原理进行模型的估计,以及对数据的预测。
例:朴素贝叶斯、潜在狄利克雷分配
(2)核方法:使用核函数表示和学习非线性模型。
例:核函数支持向量机、核PCA(主成分分析)、核k均值