java - 如何从网站解析可下载列表？

Question

有一个带有列表的网站<ul>（当您滚动到末尾时加载）。在<ul>1800,000 个项目<li>中，需要全部解析。我使用 classRobot和 method mouseWheel，但计算机最多挂起 50,000 个。完成时间非常长。我用方法

public void scrollToEnd() {
        robot.mouseWheel(100000);
    }

有没有更好的解决方案？

Answer 1

长时间使用 Selenium。mouseWheel() 在某些情况下不起作用。我用这个

((JavascriptExecutor) webDriver).executeScript("window.scrollBy(0, -10000)");

因此，您向下滚动并检查您的元素是否可见或可点击，您需要什么

ExpectedConditions.visibilityOf(webElement)