python如何实现多线程并发抓取

这篇文章主要介绍了python如何实现多线程并发抓取，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

多线程并发抓取

单线程太慢的话，就需要多线程了，这里给个简单的线程池模板 这个程序只是简单地打印了1-10，但是可以看出是并发的。

虽然说Python的多线程很鸡肋，但是对于爬虫这种网络频繁型，还是能一定程度提高效率的。

from threading import Threadfrom Queue import Queuefrom time import sleep# q是任务队列#NUM是并发线程总数#JOBS是有多少任务q = Queue()NUM = 2JOBS = 10#具体的处理函数，负责处理单个任务def do_somthing_using(arguments):    print arguments#这个是工作进程，负责不断从队列取数据并处理def working():while True:arguments = q.get()do_somthing_using(arguments)sleep(1)q.task_done()#fork NUM个线程等待队列for i in range(NUM):t = Thread(target=working)t.setDaemon(True)t.start()#把JOBS排入队列for i in range(JOBS):q.put(i)#等待所有JOBS完成q.join()

感谢你能够认真阅读完这篇文章，希望小编分享的“python如何实现多线程并发抓取”这篇文章对大家有帮助，同时也希望大家多多支持编程网，关注编程网行业资讯频道，更多相关知识等着你来学习!