re爬取糗图

import urllib.request import re import os import time # 输入起始页码和结束页码 start_page = int(input('请输入起始页码-')) end_page = int(input('请输入结束页码-')) #https://www.qiushibaike.com/pic/page/2/ url = 'https://www.qiushibaike.com/pic/page/{}/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36', } # 搞一个循环，依次下载每一页的所有图片 for page in range(start_page, end_page + 1): print('正在爬取第--%s--页......' % page) # 拼接url urlt = url.format(page) # 构建请求对象 request = urllib.request.Request(url=urlt, headers=headers) # 发送请求，得到响应 response = urllib.request.urlopen(request) print(response) #<http.client.HTTPResponse object at 0x0000000002ABADD8> # 得到网页字符串格式内容 content = response.read().decode('utf8') # 写一个正则表达式，提取里面所有的图片链接 # pattern = re.compile(r'<img src="(.*?)" alt="(.*?)">') # 这样写不对，接着修改，先找所有的div class="thumb" # pattern = re.compile(r'<div class="thumb">.*?</div>', re.S) # 接着细化，得到里面的img的src属性 # < div class ="thumb" >< a href = "/article/121275861" target = "_blank" >< img src = "//pic.qiushibaike.com/system/pictures/12127/121275861/medium/2XPCMHUBH8F154RX.jpg" alt = "人生实在是大起大落" ></a> # </div> pattern = re.compile(r'<div class="thumb">.*?<img src="(.*?)" alt="(.*?)" />.*?</div>', re.S) ret = pattern.findall(content) # print(ret) # 遍历这个列表，依次下载每个图片 for info in ret: # 取出图片的地址 image_url = 'https:' + info[0] # 取出图片的名字 image_name = info[1] # print(image_name) # 拼接文件的名字 filename = image_name + '.' + image_url.split('.')[-1] print('正在下载--%s--...' % filename) dirname = 'qiutu' filepath = os.path.join(dirname, filename) # 下载图片 urllib.request.urlretrieve(image_url, filepath) print('结束下载--%s--' % filename) time.sleep(2) print('结束爬取第--%s--页...' % page) time.sleep(2) # 单行模式 注意提取字符串里面内容有换行 re.S 否则返回可能为空 # .*? 不需要，匹配走 (.*?)保留 #注意右击检查中的代码可能与源码中的代码不同， 导致匹配错误,某个标签可能会有 /符号，而检查中没有 /符号