Python学习教程：关于Scrapy爬虫项目运行和调试的小技巧-第一讲

Python学习教程：关于Scrapy爬虫项目运行和调试的小技巧

扫除运行Scrapy爬虫程序的bug之后，基本可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前，在这里跟大家介绍四个小技巧，可以方便我们操纵和调试爬虫。

一、建立main.py文件，直接在Pycharm下进行调试

很多时候我们在使用Scrapy爬虫框架的时候，如果想运行Scrapy爬虫项目的话，一般都会想着去命令行中直接执行命令“scrapy crawl crawler_name”，其中crawler_name指的是爬虫的名字，在一开始创建Scrapy爬虫模板的时候就指定了的，而且在该爬虫项目中具有唯一性。但是每次跑到命令行下去执行，看交互的结果，有时候并不是很清晰，所以这里介绍一种方法，可以帮助大家提高开发效率，尤其是调试的时候更是显得方便。

在与爬虫项目的scrapy.cfg文件同级目录下建立一个main.py文件，用于控制整个爬虫项目的执行。