文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

5分钟快速掌握scrapy爬虫框架

2024-12-03 15:50

关注

1. scrapy简介

scrapy是基于事件驱动的Twisted框架下用纯python写的爬虫框架。很早之前就开始用scrapy来爬取网络上的图片和文本信息,一直没有把细节记录下来。这段时间,因为工作需要又重拾scrapy爬虫,本文和大家分享下,包你一用就会, 欢迎交流。

1.1 scrapy框架

scrapy框架包括5个主要的组件和2个中间件Hook。

从上可知,我们只要实现SPIDERS(要爬什么网站,怎么解析)和ITEM PIPELINES(如何处理解析后的内容)就可以了。其他的都是有框架帮你完成了。(图片来自网络,如果侵权联系必删)

1.2 scrapy数据流

我们再详细看下组件之间的数据流,会更清楚框架的内部运作。(图片来自网络,如果侵权联系必删)

  1.   SPIDERS发爬虫请求给ENGIINE, 告诉它任务来了
  2.   ENGIINE将请求添加到SCHEDULER调度队列里, 说任务就交给你了,给我安排好
  3.   SCHEDULER看看手里的爬取请求很多,挑一个给ENGIINE, 说大哥帮忙转发给下载DOWNLOADER
  4.   ENGIINE:好的, DOWNLOADER你的任务来了
  5.   DOWNLOADER:开始下载了,下载好了,任务结果 交给ENGIINE
  6.   ENGIINE将结果给SPIDERS, 你的一个请求下载好了,快去解析吧
  7.   SPIDERS:好的,解析产生了结果字段。又给SPIDERS转发给ITEM PIPELINES
  8.   ITEM PIPELINES: 接收到字段内容,保存起来。

第1步到第8步,一个请求终于完成了。是不是觉得很多余?ENGIINE夹在中间当传话筒,能不能直接跳过?可以考虑跳过了会怎么样。

这里分析一下

2. 基础:XPath

写爬虫最重要的是解析网页的内容,这个部分就介绍下通过XPath来解析网页,提取内容。

2.1 HTML节点和属性

(图片来自网络,如果侵权联系必删)

2.2 解析语法

一个例子 

  1. response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').get_all()  
  2. # 获取所有class属性(css)为taglist的div, 下一个层ul下的所有li下所有a下所有img标签下data-original属性  
  3. # data-original这里放的是图片的url地址 

更多详见

http://zvon.org/comp/r/tut-XPath_1.html

3. 安装部署

Scrapy 是用纯python编写的,它依赖于几个关键的python包(以及其他包):

  1. # 安装  
  2. pip install scrapy 

4. 创建爬虫项目 

  1. scrapy startproject sexy  
  2. # 创建一个后的项目目录  
  3. # sexy  
  4. # │  scrapy.cfg  
  5. # │  
  6. # └─sexy  
  7. #     │  items.py  
  8. #     │  middlewares.py  
  9. #     │  pipelines.py  
  10. #     │  settings.py  
  11. #     │  __init__.py  
  12. #     │  
  13. #     ├─spiders  
  14. #     │  │  __init__.py  
  15. #     │  │  
  16. #     │  └─__pycache__  
  17. #     └─__pycache__  
  18. # 执行 需要到scrapy.cfg同级别的目录执行  
  19. scrapy crawl sexy 

从上可知,我们要写的是spiders里的具体的spider类和items.py和pipelines.py(对应的ITEM PIPELINES)

5. 开始scrapy爬虫

5.1 简单而强大的spider

这里实现的功能是从图片网站中下载图片,保存在本地, url做了脱敏。需要注意的点在注释要标明

可以看到parse实现的时候没有转发给ITEM PIPELINES,直接处理了。这样简单的可以这么处理,如果业务很复杂,建议交给ITEM PIPELINES。后面会给例子 

  1. # 目录结果为:spiders/sexy_spider.py  
  2. import scrapy  
  3. import os  
  4. import requests  
  5. import time  
  6. def download_from_url(url):  
  7.     response = requests.get(url, stream=True 
  8.     if response.status_code == requests.codes.ok:  
  9.         return response.content  
  10.     else:  
  11.         print('%s-%s' % (url, response.status_code))  
  12.         return None  
  13. class SexySpider(scrapy.Spider):  
  14.    # 如果有多个spider, name要唯一  
  15.     name = 'sexy'  
  16.     allowed_domains = ['uumdfdfnt.94demo.com']  
  17.     allowed_urls = ['http://uumdfdfnt.94demo.com/']  
  18.     # 需要爬取的网站url加到start_urls list里  
  19.     start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']  
  20.     save_path = '/home/sexy/dingziku'  
  21.     def parse(self, response):  
  22.         # 解析网站,获取图片列表  
  23.         img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()  
  24.         time.sleep(1)  
  25.         # 处理图片, 具体业务操作, 可交给items, 见5.2 items例子  
  26.         for img_url in img_list:  
  27.             file_name = img_url.split('/')[-1]  
  28.             content = download_from_url(img_url)  
  29.             if content is not None:  
  30.                 with open(os.path.join(self.save_path, file_name), 'wb') as fw:  
  31.                     fw.write(content)  
  32.         # 自动下一页(见5.3 自动下一页)  
  33.         next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()  
  34.         if next_page is not None:  
  35.             next_page = response.urljoin(next_page)  
  36.             yield scrapy.Request(next_page, callback=self.parse) 

5.2 items和pipline例子

这里说明下两个的作用

我们来改写下上面的例子

  1. import scrapy 
  2. class SexyItem(scrapy.Item):  
  3.     # define the fields for your item here like:  
  4.     # name = scrapy.Field()  
  5.     img_url = scrapy.Field() 
  1. import scrapy  
  2. import os  
  3. # 导入item  
  4. from ..items import SexyItem  
  5. class SexySpider(scrapy.Spider): 
  6.    # 如果有多个spider, name要唯一  
  7.     name = 'sexy'  
  8.     allowed_domains = ['uumdfdfnt.94demo.com']  
  9.     allowed_urls = ['http://uumdfdfnt.94demo.com/']  
  10.     # 需要爬取的网站url加到start_urls list里  
  11.     start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']  
  12.     save_path = '/home/sexy/dingziku'  
  13.     def parse(self, response):  
  14.         # 解析网站,获取图片列表  
  15.         img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()  
  16.         time.sleep(1)  
  17.         # 处理图片, 具体业务操作, 可交给yield items  
  18.         for img_url in img_list:  
  19.             items = SexyItem()  
  20.             items['img_url'] = img_url  
  21.             yield items 
  1. import os  
  2. import requests  
  3. def download_from_url(url):  
  4.     response = requests.get(url, stream=True 
  5.     if response.status_code == requests.codes.ok:  
  6.         return response.content  
  7.     else:  
  8.         print('%s-%s' % (url, response.status_code))  
  9.         return None 
  10.  class SexyPipeline(object):  
  11.     def __init__(self):  
  12.         self.save_path = '/tmp'  
  13.     def process_item(self, item, spider):  
  14.         if spider.name == 'sexy':  
  15.             # 取出item里内容  
  16.             img_url = item['img_url']           
  17.              # 业务处理  
  18.             file_name = img_url.split('/')[-1]  
  19.             content = download_from_url(img_url)  
  20.             if content is not None:  
  21.                 with open(os.path.join(self.save_path, file_name), 'wb') as fw:  
  22.                     fw.write(content)  
  23.         return item 
  1. ITEM_PIPELINES = {  
  2.    'sexy.pipelines.SexyPipeline': 300,  

5.3 自动下一页

有时候我们不仅要爬取请求页面中的内容,还要递归式的爬取里面的超链接url,特别是下一页这种,解析内容和当前页面相同的情况下。一种笨方法是手动加到start_urls里。大家都是聪明人来试试这个。

完美了,完整例子见5.1 

  1. next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一页"]/@href').get()  
  2. if next_page is not None:  
  3.    next_page = response.urljoin(next_page)  
  4.    yield scrapy.Request(next_page, callback=self.parse) 

5.4 中间件

这里举一个添加模拟浏览器请求的方式,防止爬虫被封锁。重写process_request 

  1. from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware  
  2. import random  
  3. agents = ['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',  
  4.               'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',  
  5.               'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',  
  6.               'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',  
  7.               'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)']  
  8. class RandomUserAgent(UserAgentMiddleware):  
  9.     def process_request(self, request, spider):  
  10.         ua = random.choice(agents)  
  11.         request.headers.setdefault('User-agent',ua,) 

统一要在settings.py中开启下载中间件,数值表示优先级 

  1. DOWNLOADER_MIDDLEWARES = {  
  2.     'sexy.middlewares.customUserAgent.RandomUserAgent': 20,  

5.5 可用配置settings.py

除了上面提供的pipline配置开启和中间件配置外,下面介绍几个常用的配置

所有的配置详见 https://doc.scrapy.org/en/latest/topics/settings.html

6. 总结

相信从上面的介绍,你已经可以动手写一个你自己的爬虫了。我也完成了做笔记的任务了。scrapy还提供更加详细的细节,可参见https://docs.scrapy.org/en/latest/

最后总结如下:

 

来源:Python中文社区内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯