scrapy主动触发关闭爬虫

 

在spider中时在方法里直接写

self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫')  

在pipeline和downloaderMiddlewares里

spider.crawler.engine.close_spider(spider, '没有新数据关闭爬虫')

转载于:https://www.cnblogs.com/c-x-a/p/9758493.html

相关资源：JAVA上百实例源码以及开源项目