通过下面的命令可以快速创建 CrawlSpider模板 的代码
scrapy genspider -t crawl 文件名 (allowed_url)首先在说下Spider，它是所有爬虫的基类，而CrawSpiders就是Spider的派生类。对于设计原则是只爬取start_url列表中的网页，而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合
Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中
class scrapy.contrib.spiders.Rule ( link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None )参数含义：
link_extractor为LinkExtractor，用于定义需要提取的链接callback参数：当link_extractor获取到链接时参数所指定的值作为回调函数 callback参数使用注意： 当编写爬虫规则时，请避免使用parse作为回调函数。于CrawlSpider使用parse方法来实现其逻辑，如果您覆盖了parse方法，crawlspider将会运行失败follow：指定了根据该规则从response提取的链接是否需要跟进。当callback为None,默认值为Trueprocess_links：主要用来过滤由link_extractor获取到的链接process_request：主要用来过滤在rule中提取到的request
response对象中获取链接，并且该链接会被接下来爬取 每个LinkExtractor有唯一的公共方法是 extract_links()，它接收一个 Response 对象，并返回一个 scrapy.link.Link 对象
主要参数：
allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。deny：与这个正则表达式(或正则表达式列表)匹配的URL一定不提取。allow_domains：会被提取的链接的domains。deny_domains：一定不会被提取链接的domains。restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接(只选到节点，不选到属性)首先运行
scrapy shell http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml继续import相关模块：
from scrapy.linkextractors import LinkExtractor提取当前网页中获得的链接
link = LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')调用LinkExtractor实例的extract_links()方法查询匹配结果
link.extract_links(response)注意：
rules = [ Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),] callback后面函数名用引号引起函数名不能是parse格式问题
Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。
这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:
将所有下载的图片转换成通用的格式（JPG）和模式（RGB）避免重新下载最近已经下载过的图片缩略图生成检测图像的宽/高，确保它们满足最小限制这个管道也会为那些当前安排好要下载的图片保留一个内部队列，并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片
当使用 ImagesPipeline ，典型的工作流程如下所示:
在一个爬虫里，你抓取一个项目，把其中图片的URL放入 image_urls 组内项目从爬虫内返回，进入项目管道当项目进入 ImagesPipeline，image_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成图片的下载（或者由于某些原因未完成下载）。当图片下载完，另一个组(images)将被更新到结构中。这个组将包含一个字典列表，其中包括下载图片的信息，比如下载路径、源抓取地址（从 image_urls 组获得）和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现在 images 组中
此处是一张一张的推送
class ZolSpiderSpider(scrapy.Spider): name = 'zol' allowed_domains = ['zol.com.cn'] url ='http://desk.zol.com.cn' start_urls = [url+'/bizhi/7106_88025_2.html'] def parse(self, response): image_url = response.xpath('//img[@id="bigImg"]/@src').extract_first() image_name = response.xpath('//h3')[0].xpath('string(.)').extract_first().strip().replace('\r\n\t\t', '') next_image = response.xpath('//a[@id="pageNext"]/@href').extract_first() item = ImagedownloadItem() item["img_name"] = image_name item["img_urls"] = image_url yield item yield scrapy.Request(self.url+next_image,callback=self.parse,) 编写pipline首先引入源码中 scrapy.pipelines.images 下的 ImagesPipeline 类，自己编写类要继承，然后重写以下两个方法。
from scrapy.pipelines.images import ImagesPipeline from scrapy import Request class ImagePipeline(ImagesPipeline):以下如果不想改文件名，meta属性可以忽略不写
def get_media_requests(self, item, info): ''' #如果item[urls]里里面是列表，用下面 urls= item['urls'] for url in urls: yield scrapy.Request(url,meta={"item",item}) ''' # 如果item[urls]里里面是一个图片地址，用这下面的 yield scrapy.Request(item['img_urls'], meta={"item": item})因为scrapy里是使用它们URL的 SHA1 hash 作为文件名，所以如果想重命名：
def file_path(self, request, response=None, info=None): item = request.meta["item"] #去掉文件里的/,用 - 替换 ，避免创建图片文件时出错 filename = item["img_name"].replace("/","-")+".jpg" return filename 定义图片保存在哪？ 在settings中增加一句 IMAGES_STORE = "e:/pics" settings 中的 ITEM_PIPELINES 配置注意 ITEM_PIPELINES = { # 'scrapy.contrib.pipeline.images.ImagesPipeline': 300, # 旧版本0.24 的写法，已经不可用 # 'scrapy.pipelines.images.ImagesPipeline': 300, # 第一种写法。1.7版本的新的写法 'image.pipelines.ImagePipeline': 300, # 将自己定义的pipelines设置添加到这里 }
Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request
要激活一个下载器中间件组件，将其添加到 DOWNLOADER_MIDDLEWARES设置中，该设置是一个字典，其键是中间件类路径，它们的值是中间件命令
DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware' ： 543 ， }该DOWNLOADER_MIDDLEWARES设置与DOWNLOADER_MIDDLEWARES_BASEScrapy中定义的设置（并不意味着被覆盖）合并， 然后按顺序排序，以获得最终的已启用中间件的排序列表：第一个中间件是靠近引擎的第一个中间件，最后一个是靠近引擎的中间件到下载器。换句话说，process_request() 每个中间件的方法将以增加中间件的顺序（100,200,300，...）process_response()被调用，并且每个中间件的方法将以降序调用
要决定分配给中间件的顺序，请参阅 DOWNLOADER_MIDDLEWARES_BASE设置并根据要插入中间件的位置选择一个值。顺序很重要，因为每个中间件都执行不同的操作，而您的中间件可能依赖于之前（或后续）正在使用的中间件
如果要禁用内置中间件（DOWNLOADER_MIDDLEWARES_BASE默认情况下已定义和启用的中间件 ），则必须在项目DOWNLOADER_MIDDLEWARES设置中定义它，并将“ 无” 作为其值。例如，如果您要禁用用户代理中间件
DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware' ： 543 ， 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware' ： None ， }最后，请记住，某些中间件可能需要通过特定设置启用
每个中间件组件都是一个Python类，它定义了一个或多个以下方法
class scrapy.downloadermiddlewares.DownloaderMiddleware 任何下载器中间件方法也可能返回一个延迟process_request()必须返回其中之一
返回 None Scrapy 将继续处理该 request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用，该 request 被执行(其 response 被下载)返回一个 Response 对象 Scrapy 将不会调用 任何 其他的 process_request()或 process_exception()方法，或相应地下载函数； 其将返回该 response。已安装的中间件的 process_response()方法则会在每个 response 返回时被调用
返回一个 Request 对象 Scrapy 则停止调用 process_request 方法并重新调度返回的 request。当新返回的 request 被执行后， 相应地中间件链将会根据下载的 response 被调用
raise IgnoreRequest 如果抛出 一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则 request 的 errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)
参数:
request (Request 对象) – 处理的requestspider (Spider 对象) – 该request对应的spider参数: request (Request 对象) – response所对应的requestresponse (Response 对象) – 被处理的responsespider (Spider 对象) – response所对应的spider
settings.py
PROXIES=[ {"ip":"122.236.158.78:8118"}, {"ip":"112.245.78.90:8118"} ] DOWNLOADER_MIDDLEWARES = { #'xiaoshuo.middlewares.XiaoshuoDownloaderMiddleware': 543, 'xiaoshuo.proxyMidde.ProxyMidde':100 }创建一个midderwares
from xiaoshuo.settings import PROXIES import random class ProxyMidde(object): def process_request(self, request, spider): proxy = random.choice(PROXIES) request.meta['proxy']='http://'+proxy['ip']写一个spider测试
from scrapy import Spider class ProxyIp(Spider): name = 'ip' #http://www.882667.com/ start_urls = ['http://ip.cn'] def parse(self, response): print(response.text)
Scrapy的Request和Response对象用于爬网网站。
通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。
sequenceDiagram 爬虫->>Request: 创建 Request->>Response:获取下载数据 Response->>爬虫:数据一个Request对象表示一个HTTP请求，它通常是在爬虫生成，并由下载执行，从而生成Response
参数 url（string） - 此请求的网址callback（callable） - 将使用此请求的响应（一旦下载）作为其第一个参数调用的函数。有关更多信息，请参阅下面的将附加数据传递给回调函数。如果请求没有指定回调，parse()将使用spider的 方法。请注意，如果在处理期间引发异常，则会调用errback。method（string） - 此请求的HTTP方法。默认为'GET'。可设置为"GET", "POST", "PUT"等，且保证字符串大写meta（dict） - 属性的初始值Request.meta,在不同的请求之间传递数据使用body（str或unicode） - 请求体。如果unicode传递了a，那么它被编码为 str使用传递的编码（默认为utf-8）。如果 body没有给出，则存储一个空字符串。不管这个参数的类型，存储的最终值将是一个str（不会是unicode或None）。headers（dict） - 这个请求的头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。如果 None作为值传递，则不会发送HTTP头.一般不需要encoding: 使用默认的 'utf-8' 就行。cookie（dict或list） - 请求cookie。这些可以以两种形式发送。 使用dict：
``` request_with_cookies = Request(url="http://www.sxt.cn/index/login/login.html",) ```
使用列表：request_with_cookies = Request(url="http://www.example.com", cookies=[{'name': 'currency', 'value': 'USD', 'domain': 'example.com', 'path': '/currency'}]) 后一种形式允许定制 cookie的属性domain和path属性。这只有在保存Cookie用于以后的请求时才有用
request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'}, meta={'dont_merge_cookies': True})请求的回调是当下载该请求的响应时将被调用的函数。将使用下载的Response对象作为其第一个参数来调用回调函数
def parse_page1(self, response): item = MyItem() item['main_url'] = response.url request = scrapy.Request("http://www.example.com/some_page.html", callback=self.parse_page2) request.meta['item'] = item return request def parse_page2(self, response): item = response.meta['item'] item['other_url'] = response.url return itemFormRequest类扩展了Request具有处理HTML表单的功能的基础。它使用lxml.html表单 从Response对象的表单数据预填充表单字段
class scrapy.http.FormRequest(url[, formdata, ...])本FormRequest类增加了新的构造函数的参数。其余的参数与Request类相同，这里没有记录
参数：formdata（元组的dict或iterable） - 是一个包含HTML Form数据的字典（或（key，value）元组的迭代），它将被url编码并分配给请求的主体。该FormRequest对象支持除标准以下类方法Request的方法：
classmethod from_response(response[, formname=None, formid=None, formnumber=0, formdata=None, formxpath=None, formcss=None, clickdata=None, dont_click=False, ...])返回一个新FormRequest对象，其中的表单字段值已预先<form>填充在给定响应中包含的HTML 元素中.
参数：
response（Responseobject） - 包含将用于预填充表单字段的HTML表单的响应formname（string） - 如果给定，将使用name属性设置为此值的形式formid（string） - 如果给定，将使用id属性设置为此值的形式formxpath（string） - 如果给定，将使用匹配xpath的第一个表单formcss（string） - 如果给定，将使用匹配css选择器的第一个形式formnumber（integer） - 当响应包含多个表单时要使用的表单的数量。第一个（也是默认）是0formdata（dict） - 要在表单数据中覆盖的字段。如果响应元素中已存在字段，则其值将被在此参数中传递的值覆盖clickdata（dict） - 查找控件被点击的属性。如果没有提供，表单数据将被提交，模拟第一个可点击元素的点击。除了html属性，控件可以通过其相对于表单中其他提交表输入的基于零的索引，通过nr属性来标识dont_click（boolean） - 如果为True，表单数据将在不点击任何元素的情况下提交使用FormRequest通过HTTP POST发送数据
如果你想在你的爬虫中模拟HTML表单POST并发送几个键值字段，你可以返回一个FormRequest对象（从你的爬虫）像这样：
return [FormRequest(url="http://www.example.com/post/action", formdata={'name': 'John Doe', 'age': '27'}, callback=self.after_post)]使用FormRequest.from_response（）来模拟用户登录
网站通常通过元素（例如会话相关数据或认证令牌（用于登录页面））提供预填充的表单字段。进行剪贴时，您需要自动预填充这些字段，并且只覆盖其中的一些，例如用户名和密码。您可以使用 此作业的方法。这里有一个使用它的爬虫示例：
<input type="hidden"> FormRequest.from_response() import scrapy class LoginSpider(scrapy.Spider): name = 'example.com' start_urls = ['http://www.example.com/users/login.php'] def parse(self, response): return scrapy.FormRequest.from_response( response, formdata={'username': 'john', 'password': 'secret'}, callback=self.after_login ) def after_login(self, response): # check login succeed before going on if "authentication failed" in response.body: self.logger.error("Login failed") return # continue scraping with authenticated session...一个Response对象表示的HTTP响应，这通常是下载（由下载），并供给到爬虫进行处理
参数：
url（string） - 此响应的URLstatus（integer） - 响应的HTTP状态。默认为200headers（dict） - 这个响应的头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）body（str） - 响应体。它必须是str，而不是unicode，除非你使用一个编码感知响应子类，如 TextResponseflags（list） - 是一个包含属性初始值的 Response.flags列表。如果给定，列表将被浅复制request（Requestobject） - 属性的初始值Response.request。这代表Request生成此响应
用的函数：
start_requests()可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求Request()get请求，可以设置，url、cookie、回调函数FormRequest.from_response()表单post提交，第一个必须参数，上一次响应cookie的response对象，其他参数，cookie、url、表单内容等yield Request()可以将一个新的请求返回给爬虫执行在发送请求时cookie的操作，
meta={'cookiejar':1}表示开启cookie记录，首次请求时写在Request()里meta={'cookiejar':response.meta['cookiejar']}表示使用上一次response的cookie，写在FormRequest.from_response()里post授权meta={'cookiejar':True}表示使用授权后的cookie访问需要登录查看的页面获取Scrapy框架Cookies
样例代码
start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求
在发送请求时cookie的操作
meta={'cookiejar':1}表示开启cookie记录，首次请求时写在Request()里
meta={'cookiejar':response.meta['cookiejar']}表示使用上一次response的cookie，写在Request里post授权
import scrapy from scrapy import Request from scrapy import FormRequest class SxtSpiderSpider(scrapy.Spider): name = 'sxt1' allowed_domains = ['sxt.cn'] def start_requests(self): return [Request('http://www.sxt.cn/index/login/login.html', meta={'cookiejar': 1}, callback=self.parse)] def parse(self, response): formdata = { "user": "17703181473", "password": "123456" } return FormRequest( formdata=formdata, url='http://www.sxt.cn/index/login/login.html', meta={'cookiejar': response.meta['cookiejar']}, callback=self.login_after) def login_after(self, response): yield scrapy.Request('http://www.sxt.cn/index/user.html', meta={"cookiejar": response.meta['cookiejar']}, callback=self.next) def next(self,response): print(response.text)
