还是那个充满福利的网站 不过这次我们先来点别的,来点前置的技术 先从网上随便找一张图片下载下来,这点比较简单,直接上代码了
import requests url = 'http://img.mp.itc.cn/upload/20170115/41577bdc81e248fd830b4758d7ccd52e_th.jpeg' img = requests.get(url) with open('涂山雅雅.jpeg','wb') as f: f.write(img.content) f.close()知道链接了,下载就是这么简单
那么我们来下载一下mzitu.com的图片,爬取链接我就不写了,直接右键获取了,因为在之前学习的时候有写的全套的(下载单个套图,批量下载指定套图,下载整站套图,单线程多线程的都有,都是从不会到会一点点的学过来的) 所以不想再写了(爬虫不就是为了偷懒) 爬这个吧
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36' } url = 'https://i5.meizitu.net/2019/07/06c02.jpg' img = requests.get(url=url,headers=headers) print(img) with open('mzitu.jpg','wb') as f: f.write(img.content) f.close()哦哦,失败了,返回403 这是另一重反爬虫措施,防盗链 这个的原理在于你的请求必须经过别的页面跳转才行,至于跳转的页面是不是指定的就要自己测试了,不过为了不麻烦,直接设置跳转页面就是mzitu.com的页面得了 头部加"Referer": ‘https://www.mzitu.com/193626’,这里批量下载的时候要修改一下,改成变量
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36', 'Referer': 'https://www.mzitu.com/193626' } url = 'https://i5.meizitu.net/2019/07/06c02.jpg' img = requests.get(url=url,headers=headers) print(img) with open('mzitu.jpg','wb') as f: f.write(img.content) f.close()下载ok