文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

教你用Python爬取手机App数据!居然有人说爬不了APP

2023-09-03 08:52

关注

最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)!

本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据!

2、配置抓包工具
1.安装软件
本文选择的抓包工具:Fiddler

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

配置Fiddler
安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!)

配置Connections
打开Fiddler后,点击Tools->Options

 

点击Connections

 

勾选上对应的选项

配置HTTPS


由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

 

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler!重启Fiddler!重启Fiddler!不然可能不生效

3、配置手机代理
1.设置代理
准备工作
 首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网)

查看ip命令

 

window:ipconfig复制代码


开始配置
目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

 

安装证书
 在浏览器输入:

http://192.168.31.195:8888 复制代码

 

点击下载证书后,下面就开始安装(看图操作)

 

 

ok,这样手机端就配置完成,下面开始抓取数据!!!

4、抓取数据
1.打开某乎app

 


2.查看数据包列表
打开app之后,Fiddler就已经抓取到数据了

 

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

 

这样我们获取的数据包列表就都是过滤条件内的目标网址

 

查找数据包
比如点击热榜

 

对应的https加密数据包如下:

 

数据包中的数据如下:

 

提取出url链接


https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

 

拿到url之后,接着开始编程爬取保存数据。

编写爬虫程序
# -*- coding: utf-8 -*-


ok这样就可以将数据获取下来! 5、总结 1.配置抓包工具Fiddler(重点)。 2.ios苹果手机配置证书和设置代理(安卓手机也类似)。 3.简单使用Fiddler(过滤数据包、查看数据包等)。 4.本文以某户为实战,实现了python爬取手机app数据(详细教程,推荐收藏)。
————————————————
版权声明:本文为CSDN博主「Python是世界上最好的语言」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_52994140/article/details/118249249

 

来源地址:https://blog.csdn.net/qq_30871771/article/details/129487593

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯