文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python怎么利用多线程+队列技术爬取中介网互联网网站排行榜

2023-06-30 14:19

关注

本篇内容介绍了“python怎么利用多线程+队列技术爬取中介网互联网网站排行榜”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

目标站点分析

本次要抓取的目标站点为:中介网,这个网站提供了网站排行榜、互联网网站排行榜、中文网站排行榜等数据。

网站展示的样本数据量是 :58341。

采集页面地址为 https://www.zhongjie.com/top/rank_all_1.html

UI如下所示: 

python怎么利用多线程+队列技术爬取中介网互联网网站排行榜

 由于页面存在一个【尾页】超链接,所以直接通过该超链接获取累计页面即可。

其余页面遵循简单分页规则:

https://www.zhongjie.com/top/rank_all_1.htmlhttps://www.zhongjie.com/top/rank_all_2.html

基于此,本次Python爬虫的解决方案如下,页面请求使用 requests 库,页面解析使用 lxml,多线程使用 threading 模块,队列依旧采用 queue 模块。

编码时间

在正式编码前,先通过一张图将逻辑进行梳理。

本爬虫编写步骤文字描述如下:

python怎么利用多线程+队列技术爬取中介网互联网网站排行榜

总页码的生成代码非常简单

def get_total_page():# get_headers() 函数,可参考开源代码分享数据    res = requests.get(        'https://www.zhongjie.com/top/rank_all_1.html', headers=get_headers(), timeout=5)    element = etree.HTML(res.text)    last_page = element.xpath("//a[@class='weiye']/@href")[0]    pattern = re.compile('(\d+)')    page = pattern.search(last_page)    return int(page.group(1))

总页码生成完毕,就可以进行多线程相关编码,本案例未编写存储部分代码,留给你自行完成啦,

完整代码如下所示:

from queue import Queueimport timeimport threadingimport requestsfrom lxml import etreeimport randomimport redef get_headers():    uas = [        "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",        "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"    ]    ua = random.choice(uas)    headers = {        "user-agent": ua    }    return headersdef get_total_page():    res = requests.get(        'https://www.zhongjie.com/top/rank_all_1.html', headers=get_headers(), timeout=5)    element = etree.HTML(res.text)    last_page = element.xpath("//a[@class='weiye']/@href")[0]    pattern = re.compile('(\d+)')    page = pattern.search(last_page)    return int(page.group(1))# 生产者def producer():    while True:        # 取一个分类ID        url = urls.get()        urls.task_done()        if url is None:            break        res = requests.get(url=url, headers=get_headers(), timeout=5)        text = res.text        element = etree.HTML(text)        links = element.xpath('//a[@class="copyright_title"]/@href')        for i in links:            wait_list_urls.put("https://www.zhongjie.com" + i)# 消费者def consumer():    while True:        url = wait_list_urls.get()        wait_list_urls.task_done()        if url is None:            break        res = requests.get(url=url, headers=get_headers(), timeout=5)        text = res.text        element = etree.HTML(text)# 数据提取,更多数据提取,可自行编写 xpath         title = element.xpath('//div[@class="info-head-l"]/h2/text()')        link = element.xpath('//div[@class="info-head-l"]/p[1]/a/text()')        description = element.xpath('//div[@class="info-head-l"]/p[2]/text()')        print(title, link, description)if __name__ == "__main__":    # 初始化一个队列    urls = Queue(maxsize=0)    last_page = get_total_page()    for p in range(1, last_page + 1):        urls.put(f"https://www.zhongjie.com/top/rank_all_{p}.html")    wait_list_urls = Queue(maxsize=0)    # 开启2个生产者线程    for p_in in range(1, 3):        p = threading.Thread(target=producer)        p.start()    # 开启2个消费者线程    for p_in in range(1, 2):        p = threading.Thread(target=consumer)        p.start()

“python怎么利用多线程+队列技术爬取中介网互联网网站排行榜”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯