文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

用 50 行代码写个听小说的爬虫

2024-12-03 03:24

关注

本文转载自微信公众号「Python技术」,作者派森酱。转载本文请联系Python技术公众号。

在路上发现好多人都喜欢用耳机听小说,同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 Python 下载听小说 tingchina.com的音频。

书名和章节列表

随机点开一本书,这个页面可以使用 BeautifulSoup 获取书名和所有单个章节音频的列表。复制浏览器的地址,如:https://www.tingchina.com/yousheng/disp_31086.htm。

  1. from bs4 import BeautifulSoup 
  2. import requests 
  3. import re 
  4. import random 
  5. import os 
  6.  
  7. headers = { 
  8.     'user-agent''Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36' 
  9.  
  10. def get_detail_urls(url): 
  11.     url_list = [] 
  12.     response = requests.get(url, headers=headers) 
  13.     response.encoding = 'gbk' 
  14.     soup = BeautifulSoup(response.text, 'lxml'
  15.     name = soup.select('.red12')[0].strong.text 
  16.     if not os.path.exists(name): 
  17.         os.makedirs(name
  18.     div_list = soup.select('div.list a'
  19.     for item in div_list: 
  20.         url_list.append({'name': item.string, 'url''https://www.tingchina.com/yousheng/{}'.format(item['href'])}) 
  21.     return name, url_list 

音频地址

打开单个章节的链接,在 Elements 面板用章节名称作为搜索词,在底部发现了一个 script,这一部分就是声源的地址。

在 Network 面板可以看到,声源的 url 域名和章节列表的域名是不一样的。在获取下载链接的时候需要注意这一点。

  1. def get_mp3_path(url): 
  2.     response = requests.get(url, headers=headers) 
  3.     response.encoding = 'gbk' 
  4.     soup = BeautifulSoup(response.text, 'lxml'
  5.     script_text = soup.select('script')[-1].string 
  6.     fileUrl_search = re.search('fileUrl= "(.*?)";', script_text, re.S) 
  7.     if fileUrl_search: 
  8.         return 'https://t3344.tingchina.com' + fileUrl_search.group(1) 

下载

惊喜总是突如其来,把这个 https://t3344.tingchina.com/xxxx.mp3 放入浏览器中运行居然是 404。

肯定是少了关键性的参数,回到上面 Network 仔细观察 mp3 的 url,发现在 url 后面带了一个 key 的关键字。如下图,这个 key 是来自于 https://img.tingchina.com/play/h5_jsonp.asp?0.5078556568562795 的返回值,可以使用正则表达式将 key 取出来。

  1. def get_key(url): 
  2.     url = 'https://img.tingchina.com/play/h5_jsonp.asp?{}'.format(str(random.random())) 
  3.     headers['referer'] = url 
  4.     response = requests.get(url, headers=headers) 
  5.     matched = re.search('(key=.*?)";', response.text, re.S) 
  6.     if matched: 
  7.         temp = matched.group(1) 
  8.         return temp[len(temp)-42:] 

最后的最后在 __main__ 中将以上的代码串联起来。

  1. if __name__ == "__main__"
  2.     url = input("请输入浏览器书页的地址:"
  3.     dir,url_list = get_detail_urls() 
  4.  
  5.     for item in url_list: 
  6.         audio_url = get_mp3_path(item['url']) 
  7.         key = get_key(item['url']) 
  8.         audio_url = audio_url + '?key=' + key 
  9.         headers['referer'] = item['url'
  10.         r = requests.get(audio_url, headers=headers,stream=True
  11.         with open(os.path.join(dir, item['name']),'ab'as f: 
  12.             f.write(r.content) 
  13.             f.flush() 

总结

这个 Python 爬虫比较简单,小编的每个月 30 元的流量都不够用,又了这个小程序在地铁上就可以不用流量听小说了。

 

来源:Python技术内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯