如何让python编写的爬虫实时运行?


问题如标题所说,用scrapy框架写了几个爬虫,由于一些原因,需要实时或者说是隔几十秒左右跑一遍,查了一下好像 time.stop()能实现,但是我这边加了之后没效果。请求支援

python 网页爬虫 应用问题

一个人的旅行 10 years, 10 months ago

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以 用crontab计划任务一下

chendm answered 10 years, 10 months ago

Your Answer