Python Scrapy爬虫框架

Scrapy 是用 Python 实现的爬虫应用框架,Scrapy 经常被应用在数据挖掘、信息处理等方面。

借助 Scrapy 框架,只需编写很少的代码,即可实现一个爬虫,从而提取某个网站或者某组网站的相关格式化的数据。

Scrapy 最初是为了页面抓取所设计的,但是也可以应用在获取 API 所返回的数据(例如Amazon Associates Web Services)。作为通用的网络爬虫,其具有以下特点使用简单、功能强大、易于扩展,速度快、支持 Windows、Linux、macOS 多个平台等特点。

本章内容:
1. Scrapy安装(针对不同平台)
2. 网络爬虫的工作原理
3. Python编写一个简单的爬虫
4. Scrapy框架的运行流程
5. Scrapy Spider类的用法
6. Scrapy selector选择器用法详解
7. Scrapy配置项用法详解
8. Scrapy命令行用法精讲