服务器上部署scrapy爬虫项目

爬爬们，如果你已经开始部署项目了，那么你肯定也已经写好了完整的爬虫项目，恭喜你，你很优秀！
**今天忙了小半天的服务器部署，跟大家分享一些心得～

1. 首先我们要有一台服务器，不好意思，这是废话，略过。。。。。

2. 安装python

      # 下载安装包，好习惯可以自己创建文件夹/home/download/
      $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
      # 解压
      $ tar zxvf Python-3.4.1.tgz /us
      3进入解压后的目录，执行安装配置
      $ ./configure
      #或指定安装目录
      $ ./configure --prefix=/opt/python3
      $ make
      $ make install
      #安装后建立一个链接，这样我们可以用python3直接运行程序，和python2区别开来。
      $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意：1.在安装之前最好要安装各种依赖包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了，请修改/usr/bin/yum文件中的第一行python后加2.？版本号，还有一个文件需要修改叫什么我忘记了，同理

注意：2.pip3安装之前要建立pip3软连接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若没有在第二步安装依赖环境 sqlite-devel，那么在启动scrapyd的时候会报错。
安装各种依赖包最好创建虚拟环境，

#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate