哪种技术做定向网页采集比较成熟,学习资料多?


主要是网页数据的垂直抓取。之前搜索了一些资料,最后选择了python的scrapy框架,学了几天发现资料很少,无论是中文的还是英文的资料都很少,网上搜索到的、以及官方的文档都没有比较具体的讲解,也没有相关的书籍,不知道是使用的人比较少还是怎么回事,求学习资料丰富的技术推荐?

数据采集 网页爬虫

春天花花优等生 9 years, 10 months ago

Scrapy的官方文档已经是非常详尽的了, 这里再提供一下.

官网: http://doc.scrapy.org/en/latest/
翻译: https://scrapy-chs.readthedocs.org/zh_CN/0.24/


先看看Spiders 和 Selectors(选择器)这两段, 基本既可以开始写程序了.

Twlen answered 9 years, 10 months ago

Your Answer