文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

数据量太大?散点图装不下怎么办?用Python解决数据密度过大难题

2024-12-24 16:59

关注

可当数据量非常大,数据点又比较集中在某个区间中,图表没法看,密密麻麻的怎么看? 

[[337680]]

怎么办?这时候就得看密度图了

什么是密度图? 

所谓的密度图 (Density Plot) 就是数据的分布稠密情况,它常用于显示数据在连续时间段内的分布状况。严格来说,它是由直方图演变而来,类似于把直方图进行了填充。

一般是使用平滑曲线来绘制数值水平来观察分布,峰值数值位置是该时间段内最高度集中的地方。

它比直方图适用性更强,不受分组数量(直方图的条形数量不宜过多)的影响,能更好地界定分布形状 。

本篇文章不谈论直方图,之后老海会专门总结关于直方图的使用。

什么是2D密度图?

说完了密度图和直方图,它们都是一维数据变量。

这下我们来看看2D密度图,它显示了数据集中两个定量变量范围内值的分布,有助于避免在散点图中过度绘制。

如果点太多,则2D密度图会计算2D空间特定区域内的观察次数。

该特定区域可以是正方形或六边形(六边形),还可以估算2D内核密度估算值,并用轮廓表示它。

本篇文章主要描述一下2D密度图的使用。 

2D密度图的基本数据样式 

2D密度图的使用建议

下面开始具体的操作案例

准备工作

还是和之前一样,引入必要的工具包 


  1. ## 初始字体设置,设置好可避免很多麻烦 
  2. plt.rcParams['font.sans-serif']=['Source Han Sans CN']      # 显示中文不乱码,思源黑体  
  3. plt.rcParams['font.size'] = 22                              # 设置图表全局字体大小,后期某个元素的字体大小可以自行调整 
  4. plt.rcParams['axes.unicode_minus'] = False                  # 显示负数不乱码 
  5. ## 初始化图表大小 
  6. plt.rcParams['figure.figsize'] = (20.0, 8.0)                # 设置figure_size尺寸 
  7. ## 初始化图表分辨率质量 
  8. plt.rcParams['savefig.dpi'] = 300                           # 设置图表保存时的像素分辨率 
  9. plt.rcParams['figure.dpi'] = 300                            # 设置图表绘制时的像素分辨率 
  10.  
  11. ## 图表的颜色自定义 
  12. colors = ['#dc2624''#2b4750''#45a0a2''#e87a59'
  13.          '#7dcaa9''#649E7D''#dc8018''#C89F91',  
  14.          '#6c6d6c''#4f6268''#c7cccf'
  15. plt.rcParams['axes.prop_cycle'] = plt.cycler( color=colors) 
  16.  
  17. path = 'D:\\系列文章\\' 
  18. # 自定义文件路径,可以自行设定 
  19. os.chdir(path) 
  20. # 设置为该路径为工作路径,一般存放数据源文件 

设定图表样式和文件路径 

 

  1. Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表'
  2. Financial_data 

读入数据 


  1. Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表'
  2. Financial_data 

常见的6种密度图表类型 


  1. from scipy.stats import kde  # 引入核密度计算方法 
  2.  
  3.  
  4. # 为方便演示,创建6个子图的画板 
  5. fig, axes = plt.subplots(3,2, figsize=(20, 20)) 
  6.  
  7. # 第一个子图,我们来画一个基本的散点图 
  8. # 散点图是最经典的观察2个变量关系,但数据量非常大就会出数据点堆叠交错,当值我们无法进一步探索 
  9. axes[0][0].set_title('散点图')                                           # 设置 
  10. axes_0 = axes[0][0].plot(Financial_data['材料'], Financial_data['管理'], 'ko')    # 画出散点图 
  11.  
  12.  
  13.  
  14. # 第二个子图,我们画出六边形蜂巢图 
  15. # 当寻找2个数值型变量的关系,数据量很大且不希望数据堆叠在一起,就可以按照蜂巢形状切割数据点,计算每个六边形里的点数来表达密度 
  16. num_bins = 50                                                      # 设置六边形包含的距离 
  17. axes[0][1].set_title('蜂巢六边形图')                                # 设置 
  18. axes_1= axes[0][1].hexbin(Financial_data['材料'], Financial_data['管理'],  
  19.                   gridsize=num_bins,                               # 设置六边形的大小 
  20.                   cmap="Blues"                                     # 设置颜色组合 
  21.                  ) 
  22.  
  23. fig.colorbar(axes_1,ax=axes[0][1])                                 # 设置颜色显示条 
  24.  
  25. # 第三个子图,我们画出2D直方图。 
  26. # 我们您需要分析两个数据量比较大的数值变量关系时,2D直方图非常有用,它可以避免在散点图中出现的的数据密度过大问题 
  27. num_bins = 50 
  28. axes[1][0].set_title('2D 直方图'
  29. axes_2 = axes[1][0].hist2d(Financial_data['材料'], Financial_data['管理'],  
  30.                   bins=(num_bins,num_bins),  
  31.                   cmap="Blues"
  32.  
  33. # fig.colorbar(axes_2,ax=axes[1][0]) 
  34.  
  35.   
  36. # 第四个子图,我们画出高斯核密度图 
  37. # 考虑到想研究具有很多点的两个数值变量之间的关系。可以考虑绘图区域每个部分上的点数,来计算2D内核密度估计值。 
  38. # 就像平滑的直方图,这个方法不会使某个点掉入特定的容器中,而是会增加周围容器的权重,比如颜色会加深。 
  39. k = kde.gaussian_kde(Financial_data.loc[:,['材料','管理']].values.T)           # 进行核密度计算 
  40. xi, yi = np.mgrid[Financial_data['材料'].min():Financial_data['材料'].max():num_bins*1j, Financial_data['管理'].min():Financial_data['管理'].max():num_bins*1j] 
  41. zi = k(np.vstack([xi.flatten(), yi.flatten()])) 
  42.  
  43. axes[1][1].set_title('高斯核密度图'
  44. axes_3 = axes[1][1].pcolormesh(xi,  
  45.                       yi,  
  46.                       zi.reshape(xi.shape),  
  47.                       cmap="Blues"
  48.  
  49. fig.colorbar(axes_3,ax=axes[1][1])                                  # 设置颜色显示条 
  50.  
  51. # 第五个子图,我们画出带阴影效果的2D密度图 
  52. axes[2][0].set_title('带阴影效果的2D密度图'
  53. axes[2][0].pcolormesh(xi,  
  54.                       yi,  
  55.                       zi.reshape(xi.shape),  
  56.                       shading='gouraud',  
  57.                       cmap="Blues"
  58.   
  59. # 第六个子图,我们画出带轮廓线的密度图 
  60. axes[2][1].set_title('带阴影+轮廓线的2D密度图'
  61. axes_5 = axes[2][1].pcolormesh(xi,  
  62.                       yi,  
  63.                       zi.reshape(xi.shape),  
  64.                       shading='gouraud',  
  65.                       cmap="Blues"
  66.  
  67. fig.colorbar(axes_5,ax=axes[2][1])                                  # 设置颜色显示条 
  68.  
  69. # 画出轮廓线 
  70. axes[2][1].contour(xi,  
  71.                    yi,  
  72.                    zi.reshape(xi.shape)) 
  73.  
  74. plt.show() 

 

特别提一下:2D核密度估计图

 


  1. sns.kdeplot(Financial_data['材料'],Financial_data['管理']) 
  2. sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到  

  1. sns.kdeplot(Financial_data['材料'],Financial_data['管理'], 
  2.             cmap="Reds",  
  3.             shade=True,                                    # 若为True,则在kde曲线下面的区域中进行阴影处理,color控制曲线及阴影的颜色 
  4.             shade_lowest=True,                        # 如果为True,则屏蔽双变量KDE图的最低轮廓。 
  5. #             bw=.15 
  6.            ) 
  7. sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到  

写在最后

之前介绍了散点图、热力图,这次的2D密度图,也是观察数据分布的好图表

它同样符合图表演变原则,符合直方图→1D密度图→2D密度图的变化过程

在解决数据点密度大,造成数据堆叠无法观察的问题上,密度图非常有用。

OK,今天先到这里了,老海日常随笔总结,码字不易,初心不改!

如果觉得喜欢,请动动小手关注和转发,鼓励一下我们。

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯