1.有python基础
2.网页基础
掌握web前端基础语法，如html、css、javascript等
掌握网络爬虫原理及常用爬虫库的使用，如requests、beautifulsoup、scrapy、selenium等
掌握常用的突破反爬虫技术，如添加header、使用ip代理、突破动态渲染等
掌握分布式爬虫的原理及开发
|
章节 |
主要授课内容 |
|
Web前端基础 |
1．web程序原理 2．Html 基础 3．Css 基础 4．Javascript 基础 5．ajax |
|
网络爬虫基础 |
1．初识爬虫：什么是爬虫、爬虫的*流程 2．抓*分析：charles 及 fiddler的使用 3．获取内容：urllib、urllib3、requests等库的使用 4．HTML解析：正则表达式、beautifulsoup4 5．数据保存：保存为文件、保存进数据库 6．基础爬虫实战：url 管理器、html 下载器、html 解析器、数据存储器、爬虫调度器 7．反爬与突破反爬虫：设置 ip 代理、验证码、动态渲染等 8．selenium 框架 |
|
Scrapy爬虫框架 |
1．初识 Scrapy ：Scrapy架构、创建项目、执行流程 2．Scrapy 基本使用：编写spider、使用 item封装数据、pipline 处理数据、标签提取、导出数据、下载图片和文件、中间件等 3．增量式爬虫：重方案、布隆过滤器等 4．分布式爬虫：redis基础、分布式爬虫原理、scrapy实现分布式爬虫 5．部署爬虫：Scrapyd 的安装及使用 |
