序言
当遇到有些网页table数据读取不全,只有拉动滚动条加会加载数据时,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错
实测试两个验证可以用的方法
第一种方法
使用比较简单
js
= "window.scrollTo(0,document.body.scrollHeight)"
js
= "window.scrollTo(document.body.scrollHeight, 0)"
web
.execute_script
(js
)
第二种方法
因为有些小窗口无法使用第一种方法实现时,可模拟选择小窗口内后,再使用翻页键帮助实现获取需要的数据
height
= 0
while True:
table
= web
.find_element_by_xpath
('//*[@id="HotTable"]/div[1]/div/div/div/table')
rows
= table
.find_elements_by_tag_name
('tr')
if len(rows
) == height
:
break
else:
height
= len(rows
)
ActionChains
(web
).send_keys
(Keys
.PAGE_DOWN
).perform
()
time
.sleep
(0.5)