PySpider. Learn how to build a tool that visits websites and collects information automatically.

github.com/521xueweihan/PySpider

Vaya's read on this project

Problem, audience, market, and the verdict — sign in to see it.

Updates

September 2017
  • add GitHub spider 异步
  • 占个坑,TODO异步
August 2017
  • 完成 tiobe 爬虫:日志、存储、测试 huge 任务队列
  • add tiobe spider(当前只完成解析内容)
May 2016
  • 修复:因为获取代理的网站改版,导致获取不了代理
April 2016
  • Update:爬虫v2.5 Readme
  • Add: 爬虫v2.5
  • update:注释掉相关数据库的操作
  • add:requirements;
  • update:spider2.0
June 2015
  • 爬虫v1.0 正常使用
  • v1.0 消除了bug可以正常玩耍
  • v1.0 消除了bug可以正常玩耍
  • v0.8 有Bug
  • v0.3 在写爬取总条数的策略
  • v0.2
  • 版本号v0.1
  • Initial commit