文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用Python爬取抖音APP视频

2024-12-03 16:50

关注

假设已经配置好我们所需要的工具

一、mitmproxy/mitmdump抓包

确保已经安装好了mitmproxy,并且手机和PC处于同一个局域网下,同时也配置好了mitmproxy的CA证书,网上有很多相关的配置教程,这里我就略过了。

因为mitmproxy不支持windows系统,所以这里用的是它的组件之一mitmdump,它是mitmproxy的命令行接口,可以利用它对接我们的Python脚本,用Python实现监听后的处理。

在配置好mitmproxy之后,在控制台上输入mitmdump并在手机上打开抖音app,mitmdump会呈现手机上的所有请求,如下图: 

可以在抖音app一直往下滑,看mitmdump所展示的请求,会发现前缀分别为:

  1. http://v1-dy.ixigua.com/;http://v3-dy.ixigua.com/;http://v9-dy.ixigua.com/ 

这3个类型前缀的url正是我们的目标抖音视频url。

那接下来就要编写python脚本将视频下载下来,需要使用 mitmdump -s scripts.py(此处为python文件名)来执行脚本。 

  1. import requests 
  2. # 文件路径 
  3. path = 'D:/video/' 
  4. num = 1788 
  5.   
  6.   
  7. def response(flow): 
  8.     global num 
  9.     # 经测试发现视频url前缀主要是3个 
  10.     target_urls = ['http://v1-dy.ixigua.com/''http://v9-dy.ixigua.com/'
  11.                    'http://v3-dy.ixigua.com/'
  12.     for url in target_urls: 
  13.         # 过滤掉不需要的url 
  14.         if flow.request.url.startswith(url): 
  15.             # 设置视频名 
  16.             filename = path + str(num) + '.mp4' 
  17.             # 使用request获取视频url的内容 
  18.             # stream=True作用是推迟下载响应体直到访问Response.content属性 
  19.             res = requests.get(flow.request.url, stream=True
  20.             # 将视频写入文件夹 
  21.             with open(filename, 'ab'as f: 
  22.                 f.write(res.content) 
  23.                 f.flush() 
  24.                 print(filename + '下载完成'
  25.             num += 1 

代码写得比较粗糙,不过基本的逻辑还是比较清晰的,这样我们就可以把抖音的视频下载下来,不过这个方法有个缺陷,就是获取视频需要人来不断地滑动抖音的下一个视频,这时候我们可以用一个强大的appium自动化测试工具来解决。

二、Appium对手机进行模拟操作

确保已经配置好appium所依赖的环境Android和SDK,网上也有许多教程,这里我就不说了。

appium的用法很简单,首先我们先打开appium,启动界面如下: 

点击Start Server按钮即可启动appium服务。 

将Android手机通过数据线与PC相连,同时打开USB调试功能,可以输入adb命令(具体可以去网上查找)测试连接情况,若出现以下结果,则说明连接成功。 

model是设备名,后面配置需要用到。之后点击下图箭头所指的按钮就会出现一个配置页面。 

 

在右下角的JSON Representation配置启动app的Desired Capabilities参数,分别是paltformName、deviceName、appPackage、appActivity。

platformName和deviceName比较容易获得,而appPackage和appActivity这两个可以通过以下方法获取到。

在控制台上输入 adb logcat>D:\log.log 命令,并且在手机打开抖音app,然后在D盘中打开log.log文件,查找Displayed关键字。 

由上图可以知道Displayed后面的 com.ss.android.ugc.aweme对应的是appPackage,.main.MainActivity对应的是appActivity,最后我们的配置结果如下: 

  1.   "platformName""Android"
  2.   "deviceName""Mi_Note_3"
  3.   "appPackage""com.ss.android.ugc.aweme"
  4.   "appActivity"".main.MainActivity" 

再点击Start Session即可启动Android手机上的抖音app并进入到启动页面,同时PC上会弹出一个调试窗口,从这个窗口可以预览当前手机页面,还可以对手机模拟各种操作,在本文不是重点,所以略过。 

在下面我们将使用python脚本来驱动app,直接在pycharm运行即可。 

  1. from appium import webdriver 
  2. from time import sleep 
  3.   
  4.   
  5. class Action(): 
  6.     def __init__(self): 
  7.         # 初始化配置,设置Desired Capabilities参数 
  8.         self.desired_caps = { 
  9.             "platformName""Android"
  10.             "deviceName""Mi_Note_3"
  11.             "appPackage""com.ss.android.ugc.aweme"
  12.             "appActivity"".main.MainActivity" 
  13.         } 
  14.         # 指定Appium Server 
  15.         self.server = 'http://localhost:4723/wd/hub' 
  16.         # 新建一个Session 
  17.         self.driver = webdriver.Remote(self.server, self.desired_caps) 
  18.         # 设置滑动初始坐标和滑动距离 
  19.         self.start_x = 500 
  20.         self.start_y = 1500 
  21.         self.distance = 1300 
  22.   
  23.     def comments(self): 
  24.         sleep(2) 
  25.         # app开启之后点击一次屏幕,确保页面的展示 
  26.         self.driver.tap([(500, 1200)], 500) 
  27.   
  28.     def scroll(self): 
  29.         # 无限滑动 
  30.         while True
  31.             # 模拟滑动 
  32.             self.driver.swipe(self.start_x, self.start_y, self.start_x,  
  33.                               self.start_y-self.distance) 
  34.             # 设置延时等待 
  35.             sleep(2) 
  36.   
  37.     def main(self): 
  38.         self.comments() 
  39.         self.scroll() 
  40.   
  41.   
  42. if __name__ == '__main__'
  43.   
  44.     action = Action() 
  45.     action.main() 

下面是爬虫的过程。ps:偶尔会爬取到重复的视频。

 

 
 

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯