15

我一直在使用 python selenium 进行网络自动化测试。自动化的关键部分是为 HTML 页面中的用户可见对象找到正确的元素。以下 API 将在大部分时间工作，但并非一直有效。

find_element_by_xxx,  xxx can be id, name, xpath, tag_name etc.

当 HTML 页面太复杂时，我想搜索 dom 树。想知道是否可以要求 selenium 服务器序列化整个 DOM（具有可用于通过 webdriver 服务器执行操作的元素 id）。客户端（python 脚本）可以执行自己的搜索算法来找到正确的元素。

请注意，python selenium 可以通过以下方式获取整个 html 页面

drv.page_source

但是，从 selenium 服务器的角度来看，解析它并没有给出内部元素 id，因此没有用。

EDIT1：解释 它以使其更清晰（感谢@alecxe）：这里需要的是硒服务器中所有DOM元素（保留其DOM结构）的序列化表示，这个序列化表示可以发送到客户端（一个 python selenium 测试应用程序），它可以进行自己的搜索。

4

5 回答 5

20

问题

好的，所以在某些情况下，您可能需要在客户端（Python）端而不是在服务器（浏览器）端对页面执行一些实质性处理。例如，如果您有某种已经用 Python 编写的机器学习系统，并且它需要在对它们执行操作之前分析整个页面，那么尽管可以通过一堆find_element调用来完成，但这会变得非常昂贵，因为每个call 是客户端和服务器之间的往返。并且重写它以在浏览器中工作可能太昂贵了。

为什么 Selenium 的标识符不会这样做

但是，我没有看到一种将 DOM与 Selenium 自己的标识符一起序列化的有效方法。Selenium 根据需要创建这些标识符，当您调用或从调用返回 DOM 节点时（或传递给脚本的回调）。但是，如果您调用以获取每个元素的标识符，那么您又回到了原点。我可以想象用所需的信息在浏览器中装饰 DOM，但是没有公共 API 来请求某种预先分配的find_elementexecute_scriptexecute_async_scriptfind_elementWebElement身份证。事实上，这些标识符被设计为不透明的，因此即使解决方案设法以某种方式获取所需信息，我也会担心跨浏览器的可行性和持续支持。

一个解法

然而，有一种方法可以获得一个双方都可以使用的寻址系统：XPath。这个想法是在客户端将DOM序列化解析成树，然后获取您感兴趣的节点的XPath，并使用它来获取相应的WebElement。因此，如果您必须执行数十次客户端-服务器往返来确定您需要执行单击的单个元素，您可以将其减少为页面源的初始查询加上find_element使用 XPath 的单个调用你需要。

这是一个超级简单的概念证明。它获取 Google 首页的主要输入字段。

from StringIO import StringIO

from selenium import webdriver
import lxml.etree

#
# Make sure that your chromedriver is in your PATH, and use the following line...
#
driver = webdriver.Chrome()
#
# ... or, you can put the path inside the call like this:
# driver = webdriver.Chrome("/path/to/chromedriver")
#

parser = lxml.etree.HTMLParser()

driver.get("http://google.com")

# We get this element only for the sake of illustration, for the tests later.
input_from_find = driver.find_element_by_id("gbqfq")
input_from_find.send_keys("foo")

html = driver.execute_script("return document.documentElement.outerHTML")
tree = lxml.etree.parse(StringIO(html), parser)

# Find our element in the tree.
field = tree.find("//*[@id='gbqfq']")
# Get the XPath that will uniquely select it.
path = tree.getpath(field)

# Use the XPath to get the element from the browser.
input_from_xpath = driver.find_element_by_xpath(path)

print "Equal?", input_from_xpath == input_from_find
# In JavaScript we would not call ``getAttribute`` but Selenium treats
# a query on the ``value`` attribute as special, so this works.
print "Value:", input_from_xpath.get_attribute("value")

driver.quit()

笔记：

  1. 上面的代码没有使用driver.page_source，因为 Selenium 的文档声明不能保证它返回的内容的新鲜度。它可以是当前 DOM 的状态，也可以是第一次加载页面时 DOM 的状态。

  2. find_element该解决方案存在与动态内容完全相同的问题。如果在分析过程中 DOM 发生了变化，那么您正在处理 DOM 的陈旧表示。

  3. 如果您必须在执行分析时生成 JavaScript 事件，并且这些事件会更改 DOM，那么您需要再次获取 DOM。（这与前一点类似，但使用调用的解决方案可以通过仔细排序调用序列来避免我在这find_element一点上谈论的问题。）

  4. lxml的树可能在结构上与 DOM 树不同，因此从中获取的 XPathlxml不会处理 DOM 中的相应元素。处理的是lxml浏览器对传递给它的 HTML 的清理后的序列化视图。因此，只要编写代码以防止我在第 2 点和第 3 点中提到的问题，我认为这不是可能的情况，但这并非不可能。

于 2014-09-03T14:03:15.437 回答
16

尝试：

find_elements_by_xpath("//*")

这应该匹配文档中的所有元素。

更新（以匹配问题细化）：

使用 javascript 并将 DOM 作为字符串返回：

execute_script("return document.documentElement.outerHTML")
于 2014-08-31T14:27:56.383 回答
2

有关获取 Selenium 标识符的任何尝试的问题，请参阅我的其他答案。

同样，问题是减少一堆find_element调用，以避免与它们相关的往返。

与我的其他答案不同的方法是使用在浏览器execute_script上执行搜索，然后返回所需的所有元素。例如，此代码需要 3 次往返，但可以减少到仅 1 次往返：

el, parent, text = driver.execute_script("""
var el = document.querySelector(arguments[0]);
return [el, el.parentNode, el.textContent];
""", selector)

这将根据我希望传递的任何 CSS 选择器返回一个元素、元素的父元素和元素的文本内容。在页面加载了 jQuery 的情况下，我可以使用 jQuery 来执行搜索。逻辑可以根据需要变得复杂。

这种方法可以处理绝大多数需要减少往返行程的情况，但它不能处理像我在其他答案中给出的说明那样的场景。

于 2014-09-03T14:18:52.293 回答
0

您可以尝试利用页面对象模式。在这种情况下，这听起来更接近您正在寻找的内容。您可能不会将所有内容都更改为那样，但至少对于这一部分您可能要考虑这一点。

http://selenium-python.readthedocs.org/en/latest/test-design.html?highlight=page%20object

您还可以遍历页面的所有元素并一次保存它们，但应该有一些库可以做到这一点。我知道 .Net 有 htmlAgility。我不确定python。

更新 我发现了这个......也许它会帮助你。 用于 python 的 Html 敏捷包

于 2014-08-18T14:03:31.853 回答
-1

实际上你可以很容易地做到这一点。将输出写入流var w = window.open...，然后document.write...

递归遍历返回 JSON.Stringify 的文档对象，返回每个对象。我建议你也投进去typeof。

var s = 
recurse(obj) {
    for(var i in obj) {
       return typeof(i) + ":" + i.toString() + ":" + JSON.stringify(obj[i]);
    }
}

我建议添加某种过滤来删除您不想看到的属性。此外，我怀疑浏览器会在检测到并退出递归循环时运行。

我发现这个问题正在寻找类似的东西，但我希望有一个 DataTable 对象（我正在使用.Net），我可以绑定到某种调试窗口中，比 chrome 更好。在我使用萤火虫来做到这一点之前，但这已经死了。

因此，您也可以使用调试器实时获取这些数据。

于 2017-02-24T09:16:58.590 回答