1

我在 Python 3 中使用 Selenium 来获取使用 JavaScript 的站点的页面源。当我在 iPython shell 中以交互方式运行它时，它会按我的预期工作。但是，当以非交互方式执行完全相同的脚本时，页面源不会完全呈现（JavaScript 组件不会被呈现）。这可能是什么原因？我在完全相同的机器（无头 Linux 服务器）上运行完全相同的代码。

#!/usr/bin/python3

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

WINDOW_SIZE = "1920,1080"

chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--window-size={0}".format(WINDOW_SIZE))
chrome_options.add_argument("--no-sandbox")

service = Service('/usr/local/bin/chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.get("https://www.stakingrewards.com/staking/?page=1&sort=rank_ASC")
src  = driver.page_source

# Check page source length
print(len(src))

# Quit all windows related to the driver instance
driver.quit()

iPython shell 的输出220101是预期的，而命令行执行脚本 ( $ python script.py) 的输出是38265. 因此，当我从命令行调用脚本时，我没有有效地呈现 JavaScript 组件。为什么？！

4

1 回答 1

1

问题不在于以交互方式或作为脚本运行它。

在您的代码中，您实际上并没有给驱动程序任何时间来呈现所有元素，从而导致源代码不完整。只是碰巧以交互方式运行它比作为脚本运行它要快一点，从而导致页面源长度更大。Waits但是，我能够使用（大约 650k）获得更大的页面源长度。

等待可用于等待所需元素可见/存在等。在您的情况下，我假设它是主表。下面给定的代码等待表格可见，然后返回页面源。

代码片段-

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

driver.get("https://www.stakingrewards.com/staking/?page=1&sort=rank_ASC")

try:
#waiting for table data to be visible
    delay=20 #20 second delay
    WebDriverWait(driver, delay).until(EC.visibility_of_element_located((By.CLASS_NAME, 'rt-tbody')))
    print(len(driver.page_source))

#raises Exception if element is not visible within delay duration
except TimeoutException:
    print("Timeout!!!")

driver.quit()
于 2021-09-14T15:54:16.947 回答