文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python如何实现短视频爬虫

2023-06-25 16:55

关注

这篇文章主要介绍了Python如何实现短视频爬虫,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

网站地址在代码里面,大家用心一下就能看到了。

使用的软件

python 3.8pycharm 2021.2

模块

requestsparselreconcurrent.futurestimewarnings

不会安装模块看这篇:python模块的安装以及安装失败的解决方法

知道你们不想看那些步骤,我直接上代码吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings("ignore")def get_html(url):    """发送请求获取网页源代码"""    html_data = requests.get(url=url, verify=False).text    return html_datadef parse_data_1(html_data):    """第一次解析, 拿到所有的详情页链接"""    selector = parsel.Selector(html_data)    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()    return url_listdef parse_data_2(html_data):    """第二次解析, 获取视频链接"""    video_url = re.findall('url: "(.*?)",', html_data)[0]    return video_urldef save(video_url):    """保存视频"""    title = video_url.split('/')[-1]    # 取链接当中的字段作为    video_data = requests.get(video_url, verify=False).content    # 发送网络请求    with open(f'video/{title}', mode='wb') as f:        f.write(video_data)    print(title, "爬取成功!!!")start_time = time.time()url = 'https://www.520mmtv.com/hd/rewu.html'# 1. 向目标网站发送请求html_data = get_html(url=url)# 2. 第一次解析数据 提取详情页链接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:    # 3. 向详情页发送请求    html_data_2 = get_html(url=info_url)    # 4. 第二次解析数据 提取视频播放地址    video_url = parse_data_2(html_data=html_data_2)    # 5. 保存视频    save(video_url=video_url)print('花费时间:', time.time() - start_time)

感谢你能够认真阅读完这篇文章,希望小编分享的“Python如何实现短视频爬虫”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网行业资讯频道,更多相关知识等着你来学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯