python - 如何在地图上抓取 js 生成的活动数据

Question

我是新的 python 用户，我想从这个网站上抓取数据：https ://www.telerad.be/Html5Viewer/index.html?viewer=telerad_fr

我的问题是数据是动态生成的。我读到了一些修复的可能性，但没有一个是令人满意的。使用 selenium，我需要一个名称或Xpath单击按钮，但这里什么都没有。

import requests
from lxml import html

page = requests.get('https://www.telerad.be/Html5Viewer/index.html?viewer=telerad_fr')
tree = html.fromstring(page.content)

cities = tree.xpath('//*[@id="map-container"]/div[6]/div[2]/div/div[2]/div/div/div[1]/div/p[1]/text()[2]')


print('Cities: ', cities)

Answer 1

实际上有一个 xpath 可以点击按钮：

//*[@id='0_layer']/*[@fill]

在这里，试试这个（硒）：

dotList = driver.find_elements_by_xpath("//*[@id='0_layer']/*[@fill]")
for dot in dotList:
    dot.click()
    cities = driver.find_element_by_xpath("//div[@data-region-name='NavigationMapRegion']//p[1]")
    print("Cities: ", cities.text)
    closeBtn = driver.find_element_by_xpath("//*[@class='panel-header-button right close-16']")
    closeBtn.click(); #the modal can intercept clicks on some dots, thats why we close it here after extracting the info we need.

此代码单击（或至少尝试，如果没有发生 StaleElementExceptions）地图上的所有橙色点，并打印“Cities”内容（基于您的 Xpath）。

如果有人在代码中发现错误，请编辑这个答案，我在记事本++上写了这个。