0 前言
- 本文主要介绍决策树信息增益比的计算，并给出例子帮助读者理解。
- 读者需要具备：信息熵、条件熵、信息增益 相关知识。
- 本文使用数据集：游玩数据集 1.1节。
1 信息增益比计算公式
2 信息增益比计算
2.1 gR(play,outlook)的计算
根据信息增益(跳转)相关知识，得出：
-
特征outlook对数据集D的信息增益g(D,outlook)就等同于g(play,outlook)，这里play是最终分类的属性。
先计算分子：g(play,outlook)，有如下计算过程：
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|outlook)=(4.0/14)* 0.0000+(5.0/14)* 0.9710+(5.0/14)* 0.9710=0.6935
g(play,outlook)=H(play)-H(play|outlook)=0.9403-0.6935=0.2467
H(play)的计算方法请参考：信息熵。
H(play|outlook)的计算方法请参考：条件熵。 -
根据分母HA(D)的公式，不难看出其就是某个随机变量D的信息熵。
故有HA(D)等同于H(D)，即随机变量D的信息熵，在本例题等同于H(play)。
计算分母：HA(D)=H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403 -
计算gR(play,outlook)。
根据公式gR(play,outlook)=g(play,outlook) / H(play) = 0.2467 / 0.9403=0.2624
2.2 gR(play,temperature)的计算
-
计算分子g(play,temperature)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|temperature)=(4.0/14)* 0.8113+(4.0/14)* 1.0000+(6.0/14)* 0.9183=0.9111
g(play,temperature)=H(play)-H(play|temperature)=0.9403-0.9111=0.0292 -
计算分母H(play)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403 -
计算gR(play,temperature)。
gR(play,temperature)=g(play,temperature) / H(play)=0.0292 / 0.9403=0.0311
3 计算程序
程序
4 结语
如有错误请指正，禁止商用。
