怎么在python中使用feapde实现一个爬虫

这篇文章给大家介绍怎么在python中使用feapde实现一个爬虫，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

python是什么意思

Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言，其最初的设计是用于编写自动化脚本，随着版本的不断更新和新功能的添加，常用于用于开发独立的项目和大型项目。

1、首先，让MysqlDB初始化数据库。

from feapder.db.mysqldb import MysqlDB class TophubSpider(feapder.AirSpider):     def __init__(self, *args, **kwargs):        super().__init__(*args, **kwargs)        self.db = MysqlDB()

2、在start_requests方法中，指定爬取主链接地址，使用关键词download_midware配置。

import feapderfrom fake_useragent import UserAgent def start_requests(self):    yield feapder.Request("https://tophub.today/", download_midware=self.download_midware) def download_midware(self, request):    # 随机UA    # 依赖：pip3 install fake_useragent    ua = UserAgent().random    request.headers = {'User-Agent': ua}    return request

3、抓取主页和链接地址。

使用内置方法xpath分析数据。

def parse(self, request, response):    # print(response.text)    card_elements = response.xpath('//div[@class="cc-cd"]')     # 过滤出对应的卡片元素【什么值得买】    buy_good_element = [card_element for card_element in card_elements if                        card_element.xpath('.//div[@class="cc-cd-is"]//span/text()').extract_first() == '什么值得买'][0]     # 获取内部文章及地址    a_elements = buy_good_element.xpath('.//div[@class="cc-cd-cb nano"]//a')     for a_element in a_elements:        # 和链接        title = a_element.xpath('.//span[@class="t"]/text()').extract_first()        href = a_element.xpath('.//@href').extract_first()         # 再次下发新任务，并带上文章        yield feapder.Request(href, download_midware=self.download_midware, callback=self.parser_detail_page,                              title=title)

关于怎么在python中使用feapde实现一个爬虫就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。