目录
决策树ID3C4.5CART
支持向量积
决策树
训练：构造树，测试：从模型从上往下走一遍。建树方法：ID3，C4.5，CART
ID3
以信息论为基础，以信息增益为衡量标准熵越小，混乱程度越小，不确定性越小信息熵：
H
(
D
)
=
−
∑
i
=
1
n
P
(
D
i
)
log
2
P
(
D
i
)
H(D) = -\sum_{i=1}^{n} P(D_i) \log_{2} P(D_i)
H(D)=−i=1∑nP(Di)log2P(Di)条件熵：
H
(
D
∣
A
)
=
−
∑
i
=
1
n
∣
D
i
∣
∣
D
∣
log
2
(
∣
D
i
∣
∣
D
∣
)
H(D|A) = -\sum_{i=1}^{n} \frac{|D_i|}{|D|} \log_{2} \left(\frac{|D_i|}{|D|}\right)
H(D∣A)=−i=1∑n∣D∣∣Di∣log2(∣D∣∣Di∣)信息增益：
G
(
D
,
A
)
=
H
(
D
)
−
H
(
D
∣
A
)
G(D,A) = H(D) - H(D|A)
G(D,A)=H(D)−H(D∣A)步骤
求特征对最后结果的信息熵，条件熵，和最后的信息增益选择信息增益最大的作为当前决策节点删除上一步使用的特征，用特征值划分不同的数据集合重复2,3步
C4.5
ID3算法的改进利用信息增益率：
G
R
(
D
,
A
)
=
G
(
D
,
A
)
H
(
D
)
G_R(D,A) = \frac{G(D,A)}{H(D)}
GR(D,A)=H(D)G(D,A)预剪枝：边建树边剪枝，限制深度、叶子节点个数、叶子结点样本数、信息增益率后剪枝：建完树剪枝。用叶子节点替换非叶子节点，然后判断错误率是保持还是下降
CART
分类树利用基尼指数来进行分类，分类树最后叶子节点众数作为结果。回归树利用方差来进行分类，利用特征划分成子集后，各自自己方差要最小，总体方差和也要最小。回归树用最后的均值或中位数作为结果。
支持向量积
解决问题：什么样的分类结果最好监督学习、分类算法距离定义，决策面，优化目标拉格朗日乘子法软间隔核变换
参考文章
发表评论