对于京东图书名称、价格等多元素的爬取,并带有采集翻页的功能

mac2022-06-30  20

结合老师的课件以及网上总结的资料,做一些简单的总结:

1.首先需要导入包  from lxml import html ,import requests,import json,然后利用xpath找到书价格的id(找的方式感觉有点凑的样子,多是参考老师给的课件的形式),通过xpath找到书名、价格等元素的信息,此处要仔尝试几次,看看能否达到迅速找到的要求。

2.然后要将需要采集的网页通过requests请求get到,然后用html中的html.fromstring()将page.content解析为tree,利用tree将xapth解析为输出结果。

3.将此问题分解为两大部分,第一是对下一页的采集,然后是对每一页的内容的解析,由于京东的图书价格是利用Ajax方式加载的,所以需要利用开发者模式,找出前边不变的量,然后将id加在后面

 

转载于:https://www.cnblogs.com/Eumendies/p/7841189.html

相关资源:JAVA上百实例源码以及开源项目
最新回复(0)