①发起请求 通过HTTP库向目标站点发起请求,即发送一个request,请求可以包含额外的headers等信息,等待服务器相应。 ②获取响应内容 如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。 ③解析内容 得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。 ④保存数据 保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。
一、网页文本(HTML文档,json格式文本) 二、图片(获取到的是二进制文件,保存为图片格式) 在所需抓取的网页上打开源码 得到所需抓取文件内容链接,使用requests.get方法获取响应体二进制格式 在写入的文件夹内可以看到获取 下来的图片。 三、视频(二进制文件,保存为视频格式) 四、其他(可以请求到的都可以获取)
直接处理 返回简单的字符串,取出空格等,适用于构造内容简单的情况 Json解析 返回Json格式的字符串,把Json字符串解析转化成Json对象,然后提取有效数据。 ①选择目标网页,F12查看源码,选择XHR ②查找preview与response响应体中的内容 ③解析字符串得到结果。 正则表达式提取方式 规则字符串,把html中的代码文本提取出。 BeautifulSoup
Pyquery
XPath
分析Ajax请求 Selenium/WebDriver Splash PyV8 Ghost.py
一、纯文本,Json、Xml 二、关系型数据库(如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。) 三、非关系型数据库(如MongoDB、Redis等Key-Value形式存储。) 四、二进制文件(如图片、视频、音频等等直接保存成特定格式即可。)