文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Scrapy使用案例分析

2023-06-28 00:34

关注

这篇“Scrapy使用案例分析”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Scrapy使用案例分析”文章吧。

scrapy是一个快速的高级web抓取和web抓取框架,用于抓取网站并从其页面中提取结构化数据。它可以用于广泛的用途,从数据挖掘到监控和自动化测试。

Scrapy使用案例分析

安装

首先,确定你的电脑上已经安装了 Python 3 以及对应的 pip。可以使用下面的命令查看:

$ python3 --versionPython 3.6.3$ pip3 --versionpip 9.0.1 from /usr/local/lib/python3.6/site-packages (python 3.6)

如果没有安装的话,推荐使 Homebrew 这个工具来进行安装。

pip 是 Python 的一个包管理工具,类似于 npm,可以在线安装、卸载所有的第三方 Python 模块,并自动处理依赖关系。这里我们使用下面的命令来安装 Scrapy 模块:

$ pip3 install scrapy

教程:一个抓取豆瓣电影 Top 250 的爬虫

首先,我们使用下面的命令来创建并初始化 Scrapy 项目:

$ scrapy startproject doubanmovie

这样便会在当前目录下创建一个 doubanmovie 的爬虫项目,其内部结构如下:

$ tree.├── doubanmovie│   ├── __init__.py│   ├── __pycache__│   ├── items.py│   ├── middlewares.py│   ├── pipelines.py│   ├── settings.py│   └── spiders│       ├── __init__.py│       └── __pycache__└── scrapy.cfg

其中:

scrapy.cfg 为 Scrapy 项目的核心配置文件

items.py 用于定义爬虫程序爬取到的数据实体的属性结构

piplines.py 用于定义爬虫程序每次爬取到的数据实体进行后续处理的操作流程,比如写入文件系统或数据库

settings.py 为爬虫程序的配置文件,可以在这里定义多个 pipline 和 middleware

spiders 文件夹中存放爬虫文件

接着,我们需要在 items.py 文件中定义电影实体的属性结构:

class DoubanmovieItem(scrapy.Item):   # define the fields for your item here like:   # name = scrapy.Field()   rank = scrapy.Field() # 豆瓣排名   title = scrapy.Field() # 电影名称   poster = scrapy.Field() # 电影海报   link = scrapy.Field() # 链接地址   rating = scrapy.Field() # 豆瓣评分   pass

然后,我们使用下面的命令来创建一个名为 doubanspider 的爬虫程序:

$ scrapy genspider moviespider douban.com

运行之后会在 spiders 目录下生成一个名为 moviespider.py 的爬虫文件,内部定义了爬虫的名称、作用域及起始 URL 等基本信息,以及一个解析函数,该函数的主要功能便是通过 XPath 分析页面中的 HTML 元素,并将解析结果输出:

class MoviespiderSpider(scrapy.Spider):   name = 'moviespider'   allowed_domains = ['douban.com']   start_urls = ['https://movie.douban.com/top250']   def parse(self, response):       movie_items = response.xpath('//div[@class="item"]')       for item in movie_items:           movie = DoubanmovieItem()           movie['rank'] = item.xpath('div[@class="pic"]/em/text()').extract()           movie['title'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/span[@class="title"][1]/text()').extract()           movie['poster'] = item.xpath('div[@class="pic"]/a/img/@src').extract()           movie['link'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/@href').extract()           movie['rating'] = item.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()           yield movie       pass

通过爬虫解析后的实体数据,会通过一种 Pipeline 的过程将结果进行打印输出、存入文件或数据库等:

class DoubanmoviePipeline(object):   def process_item(self, item, spider):       print('豆瓣排名:' + item['rank'][0])       print('电影名称:' + item['title'][0])       print('链接地址:' + item['link'][0])       print('豆瓣评分:' + item['rating'][0] + '\n')       return item

由于豆瓣电影的网站设置了防爬虫技术,所以在完成上述步骤后运行爬虫会出现 403 的 HTTP 状态码。于是我们需要在发送的请求中加入 User Agent 信息来伪装成一个浏览器:

from scrapy.downloadermiddlewares.useragent import UserAgentMiddlewareclass FakeUserAgentMiddleware(UserAgentMiddleware):   def process_request(self, request, spider):       request.headers.setdefault('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')

最后,我们将上述修改写入配置文件:

# Enable or disable downloader middlewares# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.htmlDOWNLOADER_MIDDLEWARES = {   'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,   'doubanmovie.fakeuseragent.FakeUserAgentMiddleware': 543,}# Configure item pipelines# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {   'doubanmovie.pipelines.DoubanmoviePipeline': 300,}

运行 scrapy crawl moviespider 命令,便会在控制台中输出爬取到的数据。

以上就是关于“Scrapy使用案例分析”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯