- 多线程并发抓取 天眼通 js动态页面
- 自动创建mysql数据库、数据表
- 解析字段随意添加，程序会自动帮创建数据表字段
- 加入了随机伪装头headers，代理ip
- 采用lxml xpath解析处理响应信息
- 实现主页面跳转到分页面，垂直深度抓取
- 正在写一个代理ip系统，随后接到本程序上。主要实现：
- 抓取网络上各大免费代理ip网站ip数据
- 保存到sqlite中
- 验证代理ip有效性
- 对有效性进行标记，以便清理无效ip
- 加入重试参数（主要为大范围抓取防止遗漏）
-
Notifications
You must be signed in to change notification settings - Fork 1
LetItGrow/Selenium-Phantomjs
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
多线程并发抓取 天眼通 js动态页面
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published