文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

介绍一款能取代 Scrapy 的爬虫框架 - feapder

2024-12-03 04:30

关注

 1. 前言

大家好,我是安果!

众所周知,Python 最流行的爬虫框架是 Scrapy,它主要用于爬取网站结构性数据

今天推荐一款更加简单、轻量级,且功能强大的爬虫框架:feapder

项目地址:

https://github.com/Boris-code/feapder

2. 介绍及安装

和 Scrapy 类似,feapder 支持轻量级爬虫、分布式爬虫、批次爬虫、爬虫报警机制等功能

内置的 3 种爬虫如下:

    轻量级爬虫,适合简单场景、数据量少的爬虫

    分布式爬虫,基于 Redis,适用于海量数据,并且支持断点续爬、自动数据入库等功能

    分布式批次爬虫,主要用于需要周期性采集的爬虫

在实战之前,我们在虚拟环境下安装对应的依赖库 

  1. # 安装依赖库  
  2. pip3 install feapder 

3. 实战一下

我们以最简单的 AirSpider 来爬取一些简单的数据

目标网站:https://www.51cto.com/article/aHR0cHM6Ly90b3BodWIudG9kYXkvIA==

详细实现步骤如下( 5 步)

3-1  创建爬虫项目

首先,我们使用「 feapder create -p 」命令创建一个爬虫项目 

  1. # 创建一个爬虫项目  
  2. feapder create -p tophub_demo 

3-2  创建爬虫 AirSpider

命令行进入到 spiders 文件夹目录下,使用「 feapder create -s 」命令创建一个爬虫 

  1. cd spiders  
  2. # 创建一个轻量级爬虫  
  3. feapder create -s tophub_spider 1 

其中

3-3  配置数据库、创建数据表、创建映射 Item

以 Mysql 为例,首先我们在数据库中创建一张数据表 

  1. # 创建一张数据表  
  2. create table topic  
  3.  
  4.     id         int auto_increment  
  5.         primary key,  
  6.     title      varchar(100)  null comment '文章',  
  7.     auth       varchar(20)   null comment '作者',  
  8.     like_count     int default 0 null comment '喜欢数',  
  9.     collection int default 0 null comment '收藏数',  
  10.     comment    int default 0 null comment '评论数'  
  11. ); 

然后,打开项目根目录下的 settings.py 文件,配置数据库连接信息 

  1. # settings.py  
  2. MYSQL_IP = "localhost"  
  3. MYSQL_PORT = 3306  
  4. MYSQL_DB = "xag"  
  5. MYSQL_USER_NAME = "root"  
  6. MYSQL_USER_PASS = "root" 

最后,创建映射 Item( 可选 )

进入到 items 文件夹,使用「 feapder create -i 」命令创建一个文件映射到数据库

PS:由于 AirSpider 不支持数据自动入库,所以这步不是必须

3-4  编写爬虫及数据解析

第一步,首先使「 MysqlDB 」初始化数据库 

  1. from feapder.db.mysqldb import MysqlDB  
  2. class TophubSpider(feapder.AirSpider):  
  3.     def __init__(self, *args, **kwargs):  
  4.         super().__init__(*args, **kwargs)  
  5.         self.db = MysqlDB() 

第二步,在 start_requests 方法中,指定爬取主链接地址,使用关键字「download_midware 」配置随机 UA 

  1. import feapder  
  2. from fake_useragent import UserAgent  
  3. def start_requests(self):  
  4.     yield feapder.Request("https://tophub.today/", download_midware=self.download_midware)  
  5. def download_midware(self, request):  
  6.     # 随机UA  
  7.     # 依赖:pip3 install fake_useragent  
  8.     ua = UserAgent().random  
  9.     request.headers = {'User-Agent': ua}  
  10.     return request 

第三步,爬取首页、链接地址

使用 feapder 内置方法 xpath 去解析数据即可 

  1. def parse(self, request, response):  
  2.     # print(response.text)  
  3.     card_elements = response.xpath('//div[@class="cc-cd"]')  
  4.     # 过滤出对应的卡片元素【什么值得买】  
  5.     buy_good_element = [card_element for card_element in card_elements if  
  6.                         card_element.xpath('.//div[@class="cc-cd-is"]//span/text()').extract_first() == '什么值得买'][0]  
  7.     # 获取内部文章及地址  
  8.     a_elements = buy_good_element.xpath('.//div[@class="cc-cd-cb nano"]//a')  
  9.     for a_element in a_elements:  
  10.         # 和链接  
  11.         title = a_element.xpath('.//span[@class="t"]/text()').extract_first()  
  12.         href = a_element.xpath('.//@href').extract_first()  
  13.         # 再次下发新任务,并带上文章  
  14.         yield feapder.Request(href, download_midware=self.download_midware, callback=self.parser_detail_page,  
  15.                               titletitle=title) 

第四步,爬取详情页面数据

上一步下发新的任务,通过关键字「 callback 」指定回调函数,最后在 parser_detail_page 中对详情页面进行数据解析 

  1. def parser_detail_page(self, request, response):  
  2.     """  
  3.     解析文章详情数据  
  4.     :param request:  
  5.     :param response:  
  6.     :return:  
  7.     """  
  8.     title = request.title  
  9.     url = request.url  
  10.     # 解析文章详情页面,获取点赞、收藏、评论数目及作者名称  
  11.     author = response.xpath('//a[@class="author-title"]/text()').extract_first().strip()  
  12.     print("作者:", author, '文章', title, "地址:", url)  
  13.     desc_elements = response.xpath('//span[@class="xilie"]/span')  
  14.     print("desc数目:", len(desc_elements))  
  15.     # 点赞  
  16.     like_count = int(re.findall('\d+', desc_elements[1].xpath('./text()').extract_first())[0])  
  17.     # 收藏 
  18.     collection_count = int(re.findall('\d+', desc_elements[2].xpath('./text()').extract_first())[0])  
  19.     # 评论  
  20.     comment_count = int(re.findall('\d+', desc_elements[3].xpath('./text()').extract_first())[0])  
  21.     print("点赞:", like_count, "收藏:", collection_count, "评论:", comment_count) 

3-5  数据入库

使用上面实例化的数据库对象执行 SQL,将数据插入到数据库中即可 

  1. # 插入数据库  
  2. sql = "INSERT INTO topic(title,auth,like_count,collection,comment) values('%s','%s','%s','%d','%d')" % (  
  3. title, author, like_count, collection_count, comment_count)  
  4. # 执行  
  5. self.db.execute(sql) 

4. 最后

本篇文章通过一个简单的实例,聊到了 feapder 中最简单的爬虫 AirSpider 

 

来源:Python编程内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯