文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

利用Selenium批量下载100首网易云热歌榜音乐

2024-12-03 04:51

关注

本文转载自微信公众号「菜J学Python」,作者游世九黎。转载本文请联系菜J学Python公众号。

今天的小demo我们使用的是selenium和xpath.函数式编程采集数据.采集到的数据如图所示。

01需求数据

网易云音乐新歌榜数据100首歌曲。

02页面分析

首先这个页面通过reuqests方法是无法获取页面数据的,所以我们这里使用selenium,xpath方法解析数据。

这个table标签装了100首歌曲数据,但是这个页面是嵌在iframe标签中的,所以需要定位iframe标签,获取到里面的的内容。

  1. url = "https://music.163.com/#/discover/toplist?id=3779629" # 新歌榜 
  2.  
  3. driver = webdriver.Chrome() 
  4.  
  5. driver.get(url) 
  6.  
  7. time.sleep(3) 
  8.  
  9. _iframe = driver.find_element_by_id('g_iframe') # 找到iframe标签 
  10.  
  11. driver.switch_to.frame(_iframe) 
  12.  
  13. time.sleep(1) 
  14.  
  15. page_text = driver.execute_script("return document.documentElement.outerHTML"

03解析数据

得到了iframe中的元素page_text,我们使用xpath。

  1. html = etree.HTML(page_text) 
  2.  
  3. trs = html.xpath('//tr'
  4. id_list = [] 
  5. song_name_list = [] 
  6. singer_list = [] 
  7.  
  8. for tr in trs[1:]: 
  9.     id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] #  
  10.     id_list.append(id) 
  11.     song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0] 
  12.     song_name_list.append(song_name) 
  13.     print(id,"----",song_name) 

04保存数据

  1. base_url = 'http://music.163.com/song/media/outer/url?id={}.mp3' 
  2. try: 
  3.     for index,id in enumerate(id_list): 
  4.         if index == 25: # 因为这个26首歌曲名非正常字符,要排除,否则报错 
  5.             continue 
  6.         file_name = song_name_list[index
  7.         resp = requests.get(base_url.format(id)) 
  8.         with open(r'HotMusic/'+ file_name + '.mp3','wb'as f: 
  9.             f.write(resp.content) 
  10.             print('歌曲:%s下载成功' % file_name) 
  11. except Exception as error: 
  12.     print(error) 

05运行程序

 

来源:菜J学Python 内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯