这篇“Python如何实现抖音热搜定时爬取功能”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Python如何实现抖音热搜定时爬取功能”文章吧。
抖音热搜榜
整个热榜共50条数据,本次爬取的内容:排名、热度、、链接。
requests 爬取
requests
是一种非常简单的方法,由于该页面没有反爬措施,所以直接get
请求页面即可。
import requestsimport pandas as pdheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'}url = 'https://tophub.today/n/K7GdaMgdQy'page_text = requests.get(url=url, headers=headers).textpage_text
可以看到,只需要几行代码,数据就很轻松地获取到了。
selenium 爬取
将selenium
设置为无头浏览器,打开指定url
获取页面数据。
from selenium import webdriveroption = webdriver.ChromeOptions()option.add_argument('--headless')driver = webdriver.Chrome(options=option)url = 'https://tophub.today/n/K7GdaMgdQy'driver.get(url)page_text = driver.page_source
两种爬取方法都能够成功获取到数据,但requests
相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,用requests
相对方便。
数据解析
现在用lxml
库解析我们爬取的数据,并保存到excel
中。
tree = etree.HTML(page_text)tr_list = tree.xpath( '//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')df = pd.DataFrame(columns=['排名', '热度', '', '链接'])for index, tr in enumerate(tr_list): hot = tr.xpath('./td[3]/text()')[0] title = tr.xpath('./td[2]/a/text()')[0] article_url = tr.xpath('./td[2]/a/@href')[0] df = df.append({ '排名': index + 1, '热度': hot, '': title, '链接': article_url}, ignore_index=True)df['链接'] = 'https://tophub.today' + df['链接']df
运行结果
设置定时运行
至此,爬取代码已经完成,想要实现每小时自动运行代码,可以使用任务计划程序。
打开任务计划程序,【创建任务】
输入名称,名称随便起就好。
选择【触发器】>>【新建】>>【设置触发时间】
选择【操作】>>【新建】>>【选择程序】
最后确认即可。到时间就会自动运行,或者右键任务手动运行。
以上就是关于“Python如何实现抖音热搜定时爬取功能”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注编程网行业资讯频道。