python爬虫入门，几个常用方法

将互联网上的东西下载到本地 import urllib.request #urlretrieve urllib.request.urlretrieve("https://www.baidu.com","C:/Users/10167/Desktop/address.html") 清除缓存用 #urlcleanup， urllib.request.urlcleanup() 爬取的网页的简介信息 #info， data = urllib.request.urlopen("https://blog.csdn.net/qq_40666620/article/details/102834104") print(data.info()) 状态码，就可以找失效的连接什么的 #getcode： print(data.getcode()) 获取当前爬取的url地址 #geturl： print(data.geturl()) timeout超时设置 for i in range(0,100): try: data = urllib.request.urlopen("https://blog.csdn.net/qq_40666620/article/details/102834104" ,timeout=0.1).read() print("success") except Exception as error: print(error) 自动模拟http请求 import re #post,get #get: keyword = "python" keyword = urllib.request.quote(keyword) url="http://www.baidu.com/s?wd="+keyword target = 'title":"(.*?)"' #print(data) for pn in range(0,10): #9*pn是因为现在百度一页是9条信息，pn已经不是页数了 data = urllib.request.urlopen(url+"&pn="+str(9*pn)).read().decode("utf-8") result = re.compile(target).findall(data) for i in range(0,len(result)): print(result[i])