改写scrapy

第一步： 首先创建scrapy项目,打开虚拟机 第二步： 在setting中添加调度器、过滤器等 第三步： 在spider中修改集成的类RedisSpider redis_key， 添加redis_key

返回数据

第四步：

修改pipelines，导入数据库（自选数据库，本人选择的是虚拟机中的mongodb）

第五步：

修改虚拟机中的相关文件

1.进入 /etc/

2.用vim修改mongodb.conf中的bind_ip

 

保存并退出：  ：wq

第六步：

重启数据库

接下来，上传项目到虚拟机，运行spider, 运行中会堵塞， 在redis中添加一个redis_key

查看mongodb

虚拟机和本地可同时运行。

参考文档：https://github.com/rmax/scrapy-redi