在我们创建配置文件的时候,可能会出现一些值需要重复填写多次的问题。例如我最近写了一个可配置爬虫,只需要配置几条 XPath,就能够自动生成一个 Scrapy 爬虫。从而快速完成简单网站的爬取。
这个配置文件长这样:
- name: 某某网站爬虫
- host: 'https://www.kingname.info'
- headers:
- user-agent: xxx
- host: yyyy
- referer: zzz
- rule:
- start_url: 'https://www.kingname.info'
- detail_url: //div[@class="xxx"]/a/@href
- next_page_xpath: //div[@class="next"]/@href
- ...其他配置参数...
这个配置文件是使用 YAML 格式创建的。我们可以看到,最外层的host的值为https://www.kingname.info,而在rule里面,start_url的值也是这个网址。这样就重复了。这种重复的情况还有很多,例如列表页的翻页链接的 XPath 与正文页的翻页链接的 XPath 是一样的,多个类型可以具有相同的执行规则等等。
如果你使用 JSON 来作为配置文件的格式,那么确实你要重复写。但如果你使用 YAML 来作为配置文件的格式,那么你可以通过添加锚记(anchor)和别名(alias)的方式,实现一次填写,多次使用的效果。
我们先来看一个简单的例子:
- import yaml
-
- config = '''
- name: &name 青南
- salary: 99999
- other_name: *name
- '''
- info = yaml.safe_load(config)
- print(info)
运行效果如下图所示:
可以看到,原本定义一个key-value类型的值,应该是key: value的形式,但是这里我写成key: &锚记名 value,于是,这个锚记名就相当于是一个变量名,就可以在其他地方引用。引用的时候,写作*锚记名。这有点像 C 语言中的获取变量的内存地址(&),然后显示指针的值(*)。锚记名可以 key 相同,也可以不同。
当然,除了简单的key-value,也可以在复杂的场景下使用,例如:
- import yaml
-
- config = '''
- article_xpath: &article
- title: //div[@class="title"]/text()
- detail: //div[@class="content"]/text()
- image:
- - //div/img[@class="xx"]/@href
- - //p/img[@class="yy"]/@href
- about_xpath:
- summary: //div[@class="summary"]/text()
- book_xpath: *article
- '''
- info = yaml.safe_load(config)
运行效果如下图所示:
这样一来,如果某一项会多次出现的配置发生了修改,我们只需要改一个地方,就能在多个地方同时自动生效,不用再一个一个手动修改了。既节省了时间又不容易出错。
本文转载自微信公众号「未闻Code」,可以通过以下二维码关注。转载本文请联系未闻Code公众号。