python selenium控制滚动条(滚动加载处理)

mac2024-04-02  46

序言

当遇到有些网页table数据读取不全,只有拉动滚动条加会加载数据时,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错

实测试两个验证可以用的方法

第一种方法

使用比较简单

# 直接移至底部 js = "window.scrollTo(0,document.body.scrollHeight)" # 回到顶部 js = "window.scrollTo(document.body.scrollHeight, 0)" # 就是这么简单,修改这个元素的scrollTop就可以 web.execute_script(js)

第二种方法

因为有些小窗口无法使用第一种方法实现时,可模拟选择小窗口内后,再使用翻页键帮助实现获取需要的数据

# 设置高度变量 height = 0 while True: table = web.find_element_by_xpath('//*[@id="HotTable"]/div[1]/div/div/div/table') rows = table.find_elements_by_tag_name('tr') # 对高度进行对比,等于高度变量时,退出循环 if len(rows) == height: break else: # 高度变量小于获取高度时,重新定位高度 height = len(rows) # 模拟键盘 PgDn进行翻页 ActionChains(web).send_keys(Keys.PAGE_DOWN).perform() time.sleep(0.5)
最新回复(0)