python - 使用 Python Selenium 和 PhantomJS 获取 AJAX 内容

Question

我正在编写一个爬虫，它需要等待所有 AJAX 加载的 HTML 内容，然后从中提取任何锚标记。当我调用 webdriver.get(URL) 时，我不确定它是否真的在等待将一些 AJAX 内容添加到 DOM。我可以按照此处文档中的定义进行某种隐式或显式等待。然而，即使在等待之后，webdriver.page_source 还是和等待之前一样。有没有反正我可以在等待之后将AJAX内容放入webdriver.page_source中，以便我可以分析异步插入的内容？

Answer 1

我会检查您知道在 HTML DOM 中异步加载的某个元素是否存在。