这期内容当中小编将会给大家带来有关如何实现URL字段的解析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
1.修改爬取的目标地址
我们知道如果想要爬取网站的数据需要在spiders文件中创建一个蜘蛛,创建后这个蜘蛛中会自动生成一个类,类名也是由蜘蛛名加Spider组成,如上一节中爬去csdn网站生成的:CsdnSpider
类,这个类中的name
也就是蜘蛛的名称,allowed_domains
是允许爬取网站的域名,start_urls
是需要爬取的目标网站的网址,如果需要更改爬取的目标页面,只需要修改start_urls
就可以了;
import scrapyclass CsdnSpider(scrapy.Spider): name = 'csdn' allowed_domains = ['www.csdn.net'] start_urls = ['http://www.csdn.net/'] def parse(self, response): pass
2.解析的超链接a标签的跳转地址和内容
那我们继续用csdn的今天推荐作为爬取信息,首先需要在CsdnSpider类中的
parse(self,response)
方法中使用response对象来对css选择器获取到的a元素的href值进行解析,如response.css('h3 a::attr(href)').extract()
,这样就可以得到一个url地址的列表;
import scrapyclass CsdnSpider(scrapy.Spider): name = 'csdn' allowed_domains = ['www.csdn.net'] start_urls = ['http://www.csdn.net/'] def parse(self, response): urls = response.css('.company_list .company_name a::attr(href)').extract() print(urls)
接着我们循环得到的列表,拿到每一个a标签的url地址,然后使用Request请求,需要传递两个参数,一个是url用于告诉我们接下来解析哪个页面,可以通过
parse.urljoin()
方法拼接页面链接,另一个是callback回调函数。
这个回调函数是我们自己定义的,也会传递一个response对象,通过这个response对象对css选择器获取的元素进行解析,这样我们就可以拿到每个解析页面的内容了;
import scrapyfrom scrapy.http import Requestfrom urllib import parseclass CsdnSpider(scrapy.Spider): name = 'csdn' allowed_domains = ['www.csdn.net'] start_urls = ['http://www.csdn.net/'] def parse(self, response): # 获取url urls = response.css('.company_list .company_name a::attr(href)').extract() # print(urls) # 解析页面 for url in urls: yield Request(url = parse.urljoin(response.url, url), callback=self.parse_analyse, dont_filter=True) # 回调函数 def parse_analyse(self, response): title = response.css('.company_list .company_name a::text').extract_first() print(title)
3.Request对象的介绍
class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8',priority=0, dont_filter=False, errback])
,一个request对象代表一个HTTP请求,通常由Spider产生,经Downloader执行从而产生一个Response;url
:用于请求的URL;callback
:指定一个回调函数,该回调函数以这个request是的response作为第一个参数,如果未指定callback则默认使用spider的parse()方法;method
: HTTP请求的方法,默认为GET;headers
:请求的头部;body
:请求的正文,可以是bytes或者str;cookies
:请求携带的cookie;meta
:指定Request.meta属性的初始值,如果给了该参数,dict将会浅拷贝;encoding
:请求的编码, 默认为utf-8;priority
:优先级,优先级越高,越先下载;dont_filter
:指定该请求是否被 Scheduler过滤,该参数可以使request重复使用;errback
:处理异常的回调函数;
上述就是小编为大家分享的如何实现URL字段的解析了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注编程网行业资讯频道。