python爬虫 1.自己定义类实现scrapy框架的基本功能

python爬虫 1.自己定义类实现scrapy框架的基本功能

1.定义调度器，引擎，下载器，爬虫器，管道器

# 调度器，下载器，爬虫器，引擎，管道类 class Scheduler(): """调度器类""" def __init__(self): pass class Downloader(): """下载器类""" def __init__(self): pass class Spider(): """爬虫器类""" def __init__(self): pass class Engine(): """引擎类""" def __init__(self): pass def run(self): pass class Pipline(): """管道类""" def open_spider(self,spider): pass def process_item(self,item,spider): return item def close_spider(self,spider): pass

 

posted on 2019-08-15 19:17  张京墨 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/meloncodezhang/p/11359972.html