【Github】项目名：lining0806/PythonSpiderNotes：Python入门网络爬虫知识汇总
项目简介
这是一个关于Python入门网络爬虫知识的项目。涵盖网络爬虫的抓取、分析、存储三大板块内容，对常用的爬虫框架Scrapy也有详细介绍，还包含如处理登陆情况、反爬虫机制、Ajax请求、验证码识别等多方面知识以及相关参考项目。
核心技术
在抓取方面，介绍了Python的urllib、urllib2、requests、httplib2等模块的使用。对于登陆情况，阐述了表单登陆（post请求）、cookie登陆的操作。反爬虫机制中提到了代理、时间设置、伪装浏览器等技术手段。分析方面涉及正则表达式、BeautifulSoup、lxml等工具。存储方面提及可选择文本文件、MySQL或MongoDB数据库等方式。另外，还介绍了自动化测试工具Selenium的使用。
项目总结
这个项目全面地介绍了Python入门网络爬虫的知识，无论是初学者还是有一定基础的开发者都能从中受益。希望大家能积极留言，分享自己对Python网络爬虫的见解或者在使用这个项目知识时遇到的问题。