文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用Python爬了你们单身的原因

2023-06-02 04:25

关注

如何使用Python爬了你们单身的原因,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

前两天偶然在微博看到这样的一个关于520,七夕,情人节等等的普法教育。。。!相信前几天的七夕很多小仙女都收到了来自对方的爱意!

如何使用Python爬了你们单身的原因

可是还有很多伙伴连发红包的机会都没有。。。

如何使用Python爬了你们单身的原因

我就是这类,没收到爱意,也没机会送出爱意的这类!我也不知道我为什么还单着!哈哈哈,我想知道,这么多单着的人,你们单着是因为什么!爬虫!爬虫!爬虫!

大家说说,单着的这么多人,有分析过为什么如此优秀的你却还是单身呢?

一、需求背景

今天逛微博的时候发现一个有趣的话题#90后单身原因TOP3#

七夕之际,一份针对全国90后青年婚恋观进行抽样调查公布了结果。结果显示,一线城市单身占比持续领先。90后单身原因TOP3:圈子小、工作忙、对爱情幻想过于完美。

单身的三大原因:圈子小、工作忙、对爱情幻想过于完美!

我倒觉得这三个原因都似乎并不合理,难道单身的原因难道不是因为穷吗?哭唧唧。。。

二、功能描述

好奇这个调查是怎么来的?真实性有待考证,刚好这几天我们也学习了如何爬取微博话题,今天就来分析一下为何很多同学如此优秀却依然单身!

三、技术方案

  1. 模拟登录微博

  2. 爬取话题

  3. 保存文件

  4. 数据清洗

  5. 数据分析

四、模拟登录

模拟登录之前讲爬取#周杰伦超话#的时候已经讲过了,这里就不再重复,直接贴出代码!

如何使用Python爬了你们单身的原因

五、爬取话题

找到话题加载数据url

如何使用Python爬了你们单身的原因

https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D61%26q%3D%2390%E5%90%8E%E5%8D%95%E8%BA%AB%E5%8E%9F%E5%9B%A0TOP3%23%26t%3D0&isnewpage=1&extparam=pos%3D41%26c_type%3D31%26realpos%3D40%26flag%3D0%26filter_type%3Drealtimehot%26cate%3D0%26display_time%3D1565179797&luicode=10000011&lfid=106003type%3D25%26t%3D3%26disable_hot%3D1%26filter_type%3Drealtimehot&page_type=searchall

代码模拟请求数据

我们依然使用requests库来爬取数据,这次猪哥在请求的时候增加了一个参数:timeout,这样做是为了防止请求某个一直没有应答导致堵死其他请求!

如何使用Python爬了你们单身的原因

提取微博内容

要想提取微博内容就需要了解请求返回的数据格式

如何使用Python爬了你们单身的原因

了解数据格式之后我们就可以写代码提取我们想要的微博内容啦!

如何使用Python爬了你们单身的原因

上图我们已经拿到微博内容,但是还有很多网页标签,我们来用正则将网页标签去掉,和开头的话题开头!

如何使用Python爬了你们单身的原因

保存文件

微博内容提取出来之后,我们将他们保存起来!

如何使用Python爬了你们单身的原因

六、批量爬取

批量爬取就涉及分页,上次我们将周杰伦超话时,它的分页机制是:

微博超话分页机制:根据时间分页,每一条微博都有一个since_id,时间越大的since_id越大所以在请求时将since_id传入,则会加载对应话题下比此since_id小的微博,然后又重新获取最小since_id将最小since_id传入,依次请求,这样便实现分页

那这个话题的分页机制也是这样的吗?我们来对比一下第一次请求与第二次请求的url

如何使用Python爬了你们单身的原因

我们发现普通话题的分页机制竟然是page的形式,看来微博对不同级别的话题有不同的分页机制!

page形式的分页机制,之前我们讲了很多个案例,直接for循环传入i,而这个i就当作page就可以啦!

如何使用Python爬了你们单身的原因

七、数据分析

数据分析我们采用pyecharts库,这是一个非常好用的可视化分析库!

如何使用Python爬了你们单身的原因

先读取数据,然后使用jieba库进行分词和数据清洗,最后使用pyecharts库做展示!

如何使用Python爬了你们单身的原因

之前调查结果显示单身的三大原因是:圈子小、工作忙、对爱情幻想过于完美。在我们数据分析得出的结果好像也确实如此!

看完上述内容,你们掌握如何使用Python爬了你们单身的原因的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注编程网行业资讯频道,感谢各位的阅读!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯