news_spider. 项目基于Scrapy实现,爬取新闻网站主要新闻,通过gen库提取内容,存储到mysql中。实现定时爬取和增量爬取。已爬取:、湖南在线、四月、四川新闻、广州日报大洋网、光明网、四川在线、东南网、中青在线、中评网、北晚在线、中国消费网、中国科技网、中国经济网、中国日报、中国交通新闻网、中国经济新闻网、中华网、文明网、南方网、中国新闻网

github.com/0xAllenChen/news_spider

Vaya's read on this project

Problem, audience, market, and the verdict — sign in to see it.

Updates

No recent activity.