文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

手把手教你用Python获取新冠疫情数据并进行可视化

2024-12-03 01:57

关注

Hello,大家好。我叫“小屁孩i”。

前言

不知道大伙有没有看到过这一句话:“中国(疫苗研发)非常困难,因为在中国我们没有办法做第三期临床试验,因为没有病人了。”这句话是中国工程院院士钟南山在上海科技大学2021届毕业典礼上提出的。这句话在全网流传,被广大网友称之为“凡尔赛”发言。

今天让我们用数据来看看这句话是不是“凡尔赛”本赛。在开始之前我们先来说说今天要用到的python库吧!

1.数据获取部分

  1. requests lxml json openpyxl 

2.数据可视化部分

  1. pandas pyecharts(可视化库) 

以上的库都可以通过在线下载:

  1. pip instll xx 

ps:如果下载速度太慢的话也可以用国内镜像,使用命令,例如:

  1. pip install xx(库名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清华镜像) 

现在一起进入今天的代码部分吧!!!

数据获取

目标地址:

https://voice.baidu.com/act/newpneumonia/newpneumonia

进入目标地址我们可以看到如下所示:

现在让我们一起去解析网页结构找到我们要爬取到的数据如下所示:

现在我们找到想要的页面数据接下来就是通过Python来获取这些数据了,上代码:

  1. import requests 
  2. from lxml import etree 
  3. import json 
  4. import openpyxl 
  5.  
  6. #通用爬虫 
  7. url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia' 
  8. headers = { 
  9.     "User-Agent"".....(换成自己的)" 
  10. response = requests.get(url=url,headers=headers).text 
  11. #在使用xpath的时候要用树形态 
  12. html = etree.HTML(response) 
  13. #用xpath来获取我们之前找到的页面json数据  并打印看看 
  14. json_text = html.xpath('//script[@type="application/json"]/text()'
  15. json_text = json_text[0] 
  16. # print(json_text) 

之后我们来解析一下json数据,上代码:

  1. #用python本地自带的库转换一下json数据 
  2. result = json.loads(json_text) 
  3. # print(result) 
  4. #通过打印出转换的对象我们可以看到我们要的数据都要key为component对应的值之下  所以现在我们将值拿出来 
  5. result = result["component"
  6. #再次打印看看结果 
  7. # print(result) 
  8. # 获取国内当前数据 
  9. result = result[0]['caseList'
  10. # print(result) 

接着我们将获取到的数据保存到excel中,上代码:

  1. # 创建工作簿 
  2. wb = openpyxl.Workbook() 
  3. # 创建工作表 
  4. ws = wb.active 
  5. # 设置表的 
  6. ws.title = "国内疫情" 
  7. # 写入表头 
  8. ws.append(["省份","累计确诊","死亡","治愈"]) 
  9. #获取各省份的数据并写入 
  10. for line in result: 
  11.     line_name = [line["area"],line["confirmed"],line["died"],line["crued"]] 
  12.     for ele in line_name: 
  13.         if ele == ''
  14.             ele = 0 
  15.     ws.append(line_name) 
  16. #保存到excel中 
  17. wb.save('./china.xlsx'

最后我们查看一下获取到的数据是什么样的,如图:

emmmm,终于我们把数据获取部分完成了,第二部分的数据可视化来了!!!

数据可视化

这次我们用到的库是pyecharts里面的Map,我们先展示一下本次可视化用到的库

  1. #可视化部分 
  2. import pandas  as pd 
  3. from pyecharts.charts import Map,Page 
  4. from pyecharts import options as opts 

首先我们要先通过pandas库来获取到刚才我们爬取到的数据,上代码:

  1. # 设置列对齐 
  2. pd.set_option('display.unicode.ambiguous_as_wide'True
  3. pd.set_option('display.unicode.east_asian_width'True
  4. # 打开文件 
  5. df = pd.read_excel('china.xlsx'
  6. # 对省份进行统计 
  7. data2 = df['省份'
  8. data2_list = list(data2) 
  9. data3 = df['累计确诊'
  10. data3_list = list(data3) 
  11. data4 = df['死亡'
  12. data4_list = list(data4) 
  13. data5 = df ['治愈'
  14. data5_list = list(data5) 

接着我们来做数据可视化,将在我国地图上的各个省份显示出对应的数值

我们以疫情发生以来治愈数为例,上代码:

  1. c = ( 
  2.     Map() 
  3.         .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china"
  4.         .set_global_opts( 
  5.         title_opts=opts.TitleOpts(), 
  6.         visualmap_opts=opts.VisualMapOpts(max_=200), 
  7.     ) 
  8. c.render() 

当然仅仅一个治愈情况当然说明不了什么,所以我们将三种情况都以这种形式显示出来,上代码:

  1. a = ( 
  2.     Map() 
  3.         .add("累计确诊", [list(z) for z in zip(data2_list, data3_list)], "china"
  4.         .set_global_opts( 
  5.         title_opts=opts.TitleOpts(), 
  6.         visualmap_opts=opts.VisualMapOpts(max_=200), 
  7.     ) 
  8.  
  9. b = ( 
  10.     Map() 
  11.         .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china"
  12.         .set_global_opts( 
  13.         title_opts=opts.TitleOpts(), 
  14.         visualmap_opts=opts.VisualMapOpts(max_=200), 
  15.     ) 
  16.  
  17. c = ( 
  18.     Map() 
  19.         .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china"
  20.         .set_global_opts( 
  21.         title_opts=opts.TitleOpts(), 
  22.         visualmap_opts=opts.VisualMapOpts(max_=200), 
  23.     ) 
  24.  
  25. page = Page(layout=Page.DraggablePageLayout) 
  26. page.add
  27.     a, 
  28.     b, 
  29.     c, 
  30. # 先生成render.html文件 
  31. page.render() 

当然如果是直接运行代码的话展现出来的地图不是这样的,这个是通过后期的排版来完成的。那么在最后我们来说说是怎么排版的吧。

首先你先将上面的代码运行之后会产生一个render.html的文件然后你打开文件之后可以调整整个页面的布局,根据自己的喜欢来调整,接着点击左上角的“Save Config”将这个json文件保存到跟render.html这个文件同一个路径之下,最后运行一下代码:

  1. #完成上一步之后把 page.render()这行注释掉 
  2. # 然后循行这下面 
  3. Page.save_resize_html("render.html"
  4.     cfg_file="chart_config.json"
  5.     dest="my_test.html"

这样以后会产生一个my_test.html这个文件就是我们上面展示的那样啦。

结束语

以上就是我们这次的结果。从数据的获取到数据可视化,怎么说呢pyecharts还具有其他强大的可视化功能。

 

来源: Python爬虫与数据挖掘内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯