爬虫的实际例子
- 搜索引擎：关键字匹配提取，前提是要将所有的页面爬一遍，然后存到自己的服务器，当用户惊醒搜索的时候，根据自己的搜索内容，搜索引擎将用户搜索信息返回给用户。
- 伯乐在线： 文章的搬运工（
http://www.jobbole.com/） - 惠惠购物助手： 谷歌插件，爬到电商平台的价格对比。
- 数据分析与研究： 某一行业的数据分析（基于实际的数据分析），数据冰山&舆情分析&数据可视化
- 抢票软件：模拟人点击的操作。
什么是网络爬虫
- 通俗理解就是： 一个模拟人请求网站的程序，可以自动请求网页并将所定义需求的数据抓取下来，然后提取有价值的数据。
通用爬虫和聚焦爬虫
- 通用爬虫：类似于搜索引擎抓取系统的重要组成部分。主要将网页信息下载到搜索引擎存储，形成一个互联网内容的镜像备份
- 聚焦爬虫： 面向特定需求的一种爬虫。会将爬去到的信息进行筛选和处理
准备工具
- Python3+
- Pycharm Professional
- 虚拟环境
