1

这是我从 Selenium WebElement 获取价值的测试代码。

import java.util.List;    
import org.apache.commons.lang3.ObjectUtils.Null;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebDriverException;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;

public class Scan extends WebDriverException {
    private long start = 0;
    private WebDriver driver = null;

    public static void main(String[] args) {

        Scan scan = new Scan();
        scan.driver = new FirefoxDriver();
        scan.driver.get("https://en.wikipedia.org/");
        scan.scanAllElements();
        scan.driver.quit();
    }

    public void scanAllElements() {
        // get all elements
        List<WebElement> elms = driver.findElements(By.xpath("//*"));
        System.out.println("elms size:" + elms.size());

        // start timer
        this.start = System.currentTimeMillis();

        // scan all elements and get some value.
        for (WebElement elm : elms) {
            elm.getTagName();
            elm.getAttribute("class");
            elm.getAttribute("id");
            elm.getAttribute("href");
            elm.getText();
            elm.getSize();
            elm.getLocation();
        }

        // check the time
        stopTimer(elms.size());
    }

    public void stopTimer(int elmsSize) {
        long end = System.currentTimeMillis();
        long ms = end - this.start;
        long sec = ms / 1000;
        long min = sec / 60;

        System.out.println("--- Speed Test ---");
        System.out.println(ms + " ms");
        System.out.println(sec + " s");
        System.out.println(min + " min " + (sec % 60) + " s ");
        System.out.println("1 loop average time:" + (ms / elmsSize) + " ms");

    }

}

结果是这样的。这需要很长时间。我想让它快点。

elms size:1031
--- Speed Test ---
123468 ms
123 s
2 min 3 s 
each loop average time:119 ms

我做了什么。

1.跳过一些元素

如果价值不是我想要的。跳过（继续）获取另一个获取值。

2.按xpath过滤

此示例获取所有元素 (//*)。所以当我得到它时我过滤了元素，这是一个好方法。但是我还有几百个元素，我需要尽量减少处理时间。

3.多线程

我测试了 Runnable Callable Stream。

Runnable 和 Callable 解决了速度问题。处理时间变为大约 40%。但是很多元素变成了null！！

Stream 只减少了 10% 的时间，而且有些元素是空的。

如果您有任何想法比更快地获得它，请告诉我！

4

1 回答 1

4

您可以使用 Javascript，下面的代码将几乎立即返回带有标签名称、id、href、类键的 Map 的 ArrayList：

ArrayList<Maps> list = (ArrayList) ((JavascriptExecutor) driver).executeScript("return [...document.querySelectorAll(\"*\")].map(e=>{return {tagName:(e.tagName==undefined?null:e.tagName),class:(e.className==undefined?null:e.className),id:(e.id==undefined?null:e.id),href:(e.href==undefined?null:e.href)}})");

您只需要添加 js 代码来获取位置和大小。对于文本，您可以使用 textContent。
在执行脚本之前，请确保页面已加载。

于 2018-09-25T15:48:22.607 回答