我有可能web scraping没有seleniumin 的问题freebsd,然后页面加载数据很慢?我知道是beatiful soupwith request,但他只是选择一个请求而不渲染加载另一个请求的 java 脚本,对吗?
为什么不是硒?我的freebsd服务器只有一台1 gb ram,geckodriver但不能使用,至少需要两台,但我无法升级我的服务器。
页面链接在这里
我需要获得前 20 个头文件。我在硒中的代码(但我需要不使用硒)
driver.get("https://www.verivox.de/stromvergleich/vergleich/#/?plz=10555&persons=on&usage=3500&bonus=OnlyCompliant&profile=H0&product=electricity&source=1&q=WzYsMCwxLDEsMSwxLDEsMiwyMCwwLDEsNzQxMTIyLCI3MTA4NSIsMSwyNDAsMjQwLDM1MDAsMCwwLDAsOTk5LC0xLC0xLC0xLDAsMCwiVG90YWxDb3N0cyIsIkFzY2VuZGluZyIsIk5vbmUiLDM4LCJBbm51YWxDb3N0VmlldyIsMF0%3D&partnerid=1").text
time.sleep(3)
allheader=WebDriverWait(driver,20).until(expected.visibility_of_all_elements_located((By.CSS_SELECTOR,"li[class='result-item'] .result-name-area>.result-name")))
for header in allheader:
print("Header: " + header.text)
也许可以从json获取数据?或者没有要求的美味汤或类似的东西?谢谢您的帮助。
编辑过的 json 链接,前 20 名的标题在哪里但是他们发布了,所以需要季节才能得到什么