settings中的ITEM_PIPELINES

通常我们需要把数据存在数据库中，一般通过scrapy的pipelines管道机制来实现。做法是，先在pipelines.py模块中编写Pipeline类，然后在project的settings.py中设置ITEM_PIPELINES，如：

ITEM_PIPELINES = { 'scrapyproj.pipelines.ScrapyprojPipeline': 300, }

Spider类属性custom_settings

上述这种做法不能单独地为某个Spider设置指定的Pipeline。那么，如何为每一个Spider设置自己的Pipeline呢？

我们需要利用Spider类属性custom_settings来实现，仿照如下配置即可：

custom_settings = { 'ITEM_PIPELINES': {'scrapyproj.pipelines.ScrapyprojPipeline': 300, } }

 

　　至此。转载请注明出处。

转载于:https://www.cnblogs.com/wcwnina/p/9463919.html