我玩 Beautiful Soup 已经有一段时间了,它在减去 javascript 限制后效果很好。我正在尝试使用 Selenium 来弥补我工具箱中的差距。我要抓取的网站是http://www.5dimes.eu/livelines/livelines.aspx
**我应该提到我在 Windows 中并且无法让 QTWebKit 工作,我被告知这也是一种选择。
该站点要求您单击复选框才能预览表格。一旦我能够让表格进行预览,我就认为我很清楚,但遗憾的是没有。
我试着用
driver = webdriver.Chrome()
page = driver.get("http://www.5dimes.eu/livelines/livelines.aspx")
driver.find_element_by_xpath("//*[@id='l_26']").click()
html_source = driver.page_source
并且能够让页面实际上单击一个链接,但 html_source 没有表格数据。
在测试中出现了几个问题。
xpath id 每天都会根据发布的内容数量而变化。一天是 26,第二天是 27,等等。是否有另一种方法可以通过类或文本名称导航到此复选框?
显示表格后,如何提取这些数据?
我在课程信息中注意到它提到了一个“隐藏”属性
<div id="divLoading" style="width: 100%; text-align: center;" class="Hidden">
<img id="imgLoading" src="images/scanning.gif">
</div>
这可能是问题的根源吗?任何帮助将不胜感激