文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

数据挖掘从入门到放弃之决策树

2024-12-02 18:09

关注

比如说买瓜的时候,根据瓜的某些特征属性直观判断瓜的好坏,下图依次根据纹理清晰度、根蒂、色泽、触感4个进行分类,生活中我们会将某个最重要或最明显的分类属性放在第一位,然后是次重要属性,这很符合我们平常的判断思维,这就是决策树!

在特征属性非常大的时候,就出现了首选哪个特征属性进行分类?如何剪枝?分类的层次是多少?....系列问题,这些就是决策树构建的核心问题,而且不可能再通过生活直觉判,这时候就要运用数学思维。根据上面问题的不同解决方案,决策树又分为了ID3(熵增益)、C4.5(熵增益率)、CART几种同类算法。

熵增益(ID3)

通信层面,信息熵衡量信息的不确定性,信息熵越大表明信息越不准确,可以用信息熵的减少值来衡量信息的价值。在决策树模型中把信息确定性叫做熵增益,有了熵增益后,我们就可以根据熵增益来判断特征值的重要程度,从而选取最重要的特征作为第一次切分,再根据相同的方法用其他特征进行切分,直到得到得到每个划分的叶子节点。信息熵的定义是:

以某个特征属性值切分后子集熵的和称为条件A下的熵,也叫做条件熵,可以如下表示:

分类前的信息熵减去条件熵,得到熵增益:

比如说有以下数据集(相亲结果表lol..)

6条数据中相中(4个)与不想中(2个),暂且不关系如何进行分类,我们首先计算这个分类结果的信息熵:

其次,我们计算“富”属性的条件信息熵,6条数据中“富”与否各半,其中3个“富”都被分类到“相中”,3个“不富”都被分到“不想中”:

两者之差就是我们想要得到的熵增益:

计算各个特征属性的熵增益后,比较哪个熵增益最大,就选择该属性做第一分类特征。

熵增益率(C4.5)

按照熵增益最大准则的ID3算法,遇到全部都是非重复值(类似ID)属性容易造成过拟合,因为如果根据ID这个属性进行划分发现此时的熵增益是最大的:

信息增益率定义为:

其中info就是该特征属性中,属性值的信息熵:

按照上面的例子计算,“富”的增益率为:

剪枝处理

当训练数据量大、特征数量较多时构建的决策树过于庞大时,可能对训练集依赖过多,也就是对训练数据过度拟合。从训练数据集上看,拟合效果很好,但对于测试数据集或者新的实例来说,并不一定能够准确预测出其结果。因此,对于决策树的构建还需要最后一步--决策树的修剪,主要分为2种:预剪枝(Pre-Pruning)和后剪枝(Post-Pruning),这里先不讲。

鸢尾花(iris)分类模型

Iris 鸢尾花数据集是一个经典数据集,在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录,每类各 50 个数据,每条记录都有 4 项特征:花萼长度、花萼宽度、花瓣长度、花瓣宽度,可以通过这4个特征预测鸢尾花卉属于(iris-setosa, iris-versicolour, iris-virginica)中的哪一品种,数据集地址:https://github.com/yezonggang/iris

  1. import pandas as pd 
  2. from pandas import DataFrame 
  3. import numpy as np 
  4. import matplotlib.pyplot as plt 
  5. %matplotlib inline 
  6. import seaborn as sns 
  7. from sklearn.tree import DecisionTreeClassifier 
  8. from sklearn import metrics  
  9.   
  10. baseUrl="C:\\Users\\71781\\Desktop\\2020\\ML-20200422\\iris\\" 
  11. iris_df=pd.read_csv(baseUrl+"iris.csv"
  12. iris_df.head() 
  13. iris_df.describe() 

数据分布探索:

  1. # pandas 自带的散点图 
  2. iris_df.plot(kind="scatter", x="Sepal.Length", y="Sepal.Width"

  1. # seaborn 的联合分布图 
  2. sns.jointplot(x="Sepal.Length", y="Sepal.Width", data=iris_df, height=5) 

  1. # 上面的两个散点图并不能显示每一个点所属的类别 
  2. # 所以,接下来用 seaborn 的 FacetGrid 函数按照Species花的种类来在散点图上标上不同的颜色,hue英文是色彩的意思。 
  3. sns.FacetGrid(iris_df, hue="Species", height=5).map(plt.scatter, "Sepal.Length""Sepal.Width").add_legend() 

  1. # 通过箱线图来查看单个特征的分布 
  2. # 对 Numerical Variable,可以用 Box Plot 来直观地查看不同花类型的分布。 
  3. sns.boxplot(x="Species", y="Sepal.Length", data=iris_df) 

  1. # 下面的操作,将每一个Species所属的点加到对应的位置,加上散点图, 
  2. # 振动值jitter=True 使各个散点分开,要不然会是一条直线 
  3. # 注意此处要将坐标图用ax先保存起来,这样第二次才会在原来的基础上加上散点图 
  4. ax = sns.boxplot(x="Species", y="Sepal.Length", data=iris_df) 
  5. ax = sns.stripplot(x="Species", y="Sepal.Length", data=iris_df, jitter=True, edgecolor="gray"

  1. # violinplot 小提琴图,查看密度分布,结合了前面的两个图,并且进行了简化 
  2. # 数据越稠密越宽,越稀疏越窄 
  3. sns.violinplot(x="Species", y="Sepal.Length", data=iris_df, height=6) 
  4.  # sns.kdeplot == kernel density 核密度图(单个变量) 
  5. sns.FacetGrid(iris_df, hue="Species", height=6).map(sns.kdeplot, "Sepal.Length").add_legend() 
  6.  # pairplot 任意两个变量间的关系 
  7. sns.pairplot(iris_df, hue="Species", height=3) 

  1. # 模型构建比较简单,关键是模型的调参 
  2. train_df=test_df=iris_df.sample(frac=0.8,replace=False, random_state=None) 
  3. train_X=train_df.drop(['Species'],axis=1) 
  4. train_Y=train_df['Species'
  5. # 由于么有提供建模数据集,所以我们随机从样本集中选择40%的数据集 
  6. replace=False 无放回的抽取 
  7. # random-state 数据不能重复 
  8. test_df=iris_df.sample(frac=0.9,replace=False, random_state=None) 
  9. test_df.head() 
  10.   
  11. test_X=test_df.drop(['Species'],axis=1) 
  12. test_Y=test_df['Species'
  13.   
  14. model=DecisionTreeClassifier() 
  15. model.fit(train_X, train_Y) 
  16. prediction = model.predict(test_X) 
  17. print('The accuracy of the Decision Tree is: {0}'.format(metrics.accuracy_score(prediction,test_Y))) 

分类决策树总共有12个参数可以自己调整,这么多参数一个个记起来太麻烦,我们可以把这些参数分成几个类别:

1)分类策略:有两个参数 ‘entropy’(熵) 和 ‘gini’(基尼系数)可选,默认为gini。

2)max_depth(树的最大深度):默认为None,此时决策树在建立子树的时候不会限制子树的深度。也可以设置具体的整数,一般来说,数据少或者特征少的时候可以不管这个值。如果模型样本量多,特征也多的情况下,推荐限制这个最大深度,具体的取值取决于数据的分布。常用的可以取值10-100之间。

3)min_samples_split(分割内部节点所需的最小样本数):意思就是只要在某个结点里有k个以上的样本,这个节点才需要继续划分,这个参数的默认值为2,也就是说只要有2个以上的样本被划分在一个节点,如果这两个样本还可以细分,这个节点就会继续细分

4)min_samples_leaf(叶子节点上的最小样本数):当你划分给某个叶子节点的样本少于设定的个数时,这个叶子节点会被剪枝,这样可以去除一些明显异常的噪声数据。默认为1,也就是说只有有两个样本类别不一样,就会继续划分。如果是int,那么将min_samples_leaf视为最小数量。如果为float,则min_samples_leaf为分数,ceil(min _ samples _ leaf * n _ samples)为每个节点的最小样本数。

本文转载自微信公众号「数据社」,可以通过以下二维码关注。转载本文请联系数据社公众号。

 

来源:数据社内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯