如何实现scrapy 抓到某个特定数据就结束

scrapy可以通过rules来指定抓取的url,这样会一直抓取下去,我想实现的是在这些url中,如果其中有一组数据是我需要的,我就结束爬虫的运行.

python python-爬虫


share
天云残D月 9 years, 11 months ago

Answers

Your Answer

Ask Question
Related questions

scrapy抓取的GBK编码的网页，怎么转为utf-8？

python网络爬虫中文乱码问题

使用python和beautifulSoup爬数据，爬到第三条就爬不动了

Python requests 多线程抓取 出现HTTPConnectionPool Max ...

用python抓新浪首页，返回的是乱码

python爬虫怎么在网易博客发表评论