想借助Scrapy来编写自己的爬虫,请教几个问题


目的就是全网的爬,来下载网页,并且通过远程数据库的控制来避免重复下载,请问用Scrapy可行吗?

python 网络编程

仓密目琉夏 10 years, 5 months ago

可行的,github上有个distribute_crawler可以作为参考,另外,scrapy这个框架不能爬取动态内容。得结合其他工具才能完成

美丽温柔欠踹脸 answered 10 years, 5 months ago

Your Answer