文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python爬取近十年TIOBE编程语言热度数据并可视化

2024-12-03 17:45

关注

[[349825]]

一、数据获取

我们需要爬取的目标url为https://www.tiobe.com/tiobe-index/打开之后如下👇 

 

分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。 

 

完整爬虫代码如下,其中大多数语句都给出了详细注释,感兴趣的读者可以进一步研究。 

  1. # -*- coding: UTF-8 -*- 
  2. ""
  3. @File    :spider.py 
  4. @Author  :叶庭云 
  5. @CSDN    :https://yetingyun.blog.csdn.net/ 
  6. ""
  7. import requests 
  8. import re 
  9. import openpyxl 
  10. import logging 
  11.  
  12. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s'
  13. headers = { 
  14.     "User-Agent""Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" 
  15.  
  16. wb = openpyxl.Workbook()    # 创建工作簿对象 
  17. sheet = wb.active           # 获取活动的工作表 
  18. # 编程语言   时间    热度 
  19. sheet.append(['Programing''Date''data_per']) 
  20.  
  21. url = 'https://www.tiobe.com/tiobe-index/' 
  22. rep = requests.get(url, headers=headers).text 
  23.  
  24. # 正则匹配提取数据 
  25. data = re.findall('{name : (.*?),data : (.*?)}', rep) 
  26. programing = [eval(k[0]) for k in data]     # 编程语言 
  27. dates = [i[1] for i in data] 
  28.  
  29. # 正则表达式处理 提取出想要的数据 
  30. for x in range(len(dates)): 
  31.     name = programing[x] 
  32.     datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL) 
  33.     for m in datas: 
  34.         date1 = re.findall(r'\d+', m)       # 正则提取出数字 
  35.         date2 = '-'.join(date1[:3])         # 拼接得到时间 
  36.         data_per = '.'.join(date1[-2:])     # 得到热度数据 
  37.         sheet.append([name, date2, data_per]) 
  38.         logging.info([name, date2, data_per]) 
  39.  
  40. wb.save('language_data.xlsx'

最终运行效果如下: 

 

可以看到成功提取出想要的数据,并保存到Excel,在jupyter notebook 环境中查看数据: 

 

 

二、 数据可视化

本节使用pyecharts绘制时间轮播图数据可视化,展示现在热度排 Top10 的编程语言 2009-2019 年每年的平均热度变化。 

  1. # -*- coding: UTF-8 -*- 
  2. ""
  3. @File    :轮播图.py 
  4. @Author  :叶庭云 
  5. @CSDN    :https://yetingyun.blog.csdn.net/ 
  6. ""
  7.  
  8. import pandas as pd 
  9. import xlrd 
  10. import pyecharts.options as opts 
  11. from pyecharts.charts import Timeline, Bar 
  12. from pyecharts.globals import CurrentConfig 
  13.  
  14.  
  15. CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' 
  16.  
  17. # 提取编程语言名字 
  18. name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates()) 
  19.  
  20. data = xlrd.open_workbook('language_data.xlsx'
  21. table = data.sheets()[0] 
  22.  
  23. dic1 = {k: [] for k in name
  24. # 各编程语言对应每年里不同时间的热度 
  25. for i in range(1, table.nrows): 
  26.  x = table.row_values(i) 
  27.  dic1[x[0]].append((x[1], x[2])) 
  28.  
  29. # 与编程语言顺序对应  每年编程语言对应的不同时间的热度 
  30. data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)} 
  31. print(data_per) 
  32.  
  33. count = 0 
  34. for k, v in dic1.items(): 
  35.  for j in v:   # v (时间,热度)  热度数据添加进各年对应的列表里 
  36.   data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应起来 
  37.  count += 1 
  38.  
  39. # print(data_per) 
  40. data_per1 = {k: [] for k in list(data_per.keys())} 
  41.  
  42. for k, v in list(data_per.items()): 
  43.  for x in v: 
  44.   if len(x) == 0:                  # 这一年里该语言没有热度数据 
  45.    data_per1[k].append(0) 
  46.   else
  47.    avg = sum(x) / len(x) 
  48.    data_per1[k].append(avg)     # 这一年里的平均热度 
  49.  
  50. # 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度 
  51. print(data_per1) 
  52.  
  53.  
  54. def get_year_overlap_chart(year) -> Bar: 
  55.  sum_info = [(m, n) for m, n in zip(name, data_per1[year])] 
  56.  # 编程语言按每年平均热度排序 
  57.  sum_info.sort(key=lambda z: z[1], reverse=True
  58.  name_ = [m[0] for m in sum_info] 
  59.  datas = [m[1] for m in sum_info] 
  60.  # 每根柱子的颜色列表 
  61.  colors = ['#00BFFF''#0000CD''#000000''#008000''#FF1493''#FFD700''#FF4500''#00FA9A''#191970'
  62.      '#9932CC'
  63.  x = [] 
  64.  for i in range(10): 
  65.   x.append( 
  66.    opts.BarItem( 
  67.     name=name_[i], 
  68.     value=datas[i], 
  69.     itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 设置每根柱子的颜色 
  70.    ) 
  71.   ) 
  72.  # 绘制柱形图 
  73.  bar = Bar() 
  74.  bar.add_xaxis(name_) 
  75.  bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True
  76.                   label_opts=opts.LabelOpts(is_show=False)) 
  77.  bar.set_global_opts(title_opts=opts.TitleOpts( 
  78.       title="2009-2019编程语言热度"), 
  79.       tooltip_opts=opts.TooltipOpts( 
  80.       is_show=Truetrigger="axis", axis_pointer_type="shadow"), 
  81.                   xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'), 
  82.  ) 
  83.  return bar 
  84.  
  85. # 生成时间轴的图 
  86. timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) 
  87. for y in range(2009, 2020): 
  88.  timeline.add(get_year_overlap_chart(y), time_point=str(y)) 
  89.  
  90. timeline.add_schema(is_auto_play=True, play_interval=1000) 
  91. timeline.render("language_2009_2019.html"

运行效果如下,可以看到虽然Python越来越火热,但Java稳坐编程语言热度排行榜第一!(此处一位PHP程序员拍桌)

 

三、补充

本节对有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题进行说明。

根据网站资源引用说明:pyecharts 使用的所有静态资源文件存放于pyecharts-assets项目中

默认挂载在 https://assets.pyecharts.org/assets/,因为默认优先从远程引用资源,这就导致有的时候无法加载 js 文件,图表显示不出来。

解决办法:下载所需 js 文件到本地,修改资源引用地址,Github地址:https://github.com/pyecharts/pyecharts-assets看网站的介绍,pyecharts 提供了更改全局 HOST 的快捷方式。 

  1. from pyecharts.globals import CurrentConfig 
  2.  
  3. CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径 

 

 

 

 

来源:早起Python内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯