1

我想使用 Golang gocolly/colly从以下公共网站上抓取数据-

https://eds.ospi.k12.wa.us/BusDepreciation/default.aspx?pageName=busSearch

对于上面的网站，我想一一选择下拉菜单中所有可用的“学区”选项，并抓取所有数据。到目前为止，我只能抓取页面的 HTML，但我无法找到任何方法来选择下拉选项以获取不同选项的数据。

在此处输入图像描述

我的围棋代码

package main

import (
    "fmt"

    "github.com/gocolly/colly/v2"
)

func main() {

    // Instantiate default collector
    c := colly.NewCollector()

    c.OnHTML("tbody tr", func(e *colly.HTMLElement) {
        fmt.Printf("BODY----%+v\n", e)

    })

    c.Visit("https://eds.ospi.k12.wa.us/BusDepreciation/default.aspx?pageName=busSearch")

}

如果有人可以向我推荐相关文件，我将不胜感激。此外，如果gocolly/colly无法使用，请向我建议使用 Golang 或 Python 的另一个选项来选择下拉选项。

我还想知道我们是否应该像在我们的场景中那样使用 Selenium 来抓取大数据作为替代方法？如果是的话，我们如何在 Golang 或 Python 中做到这一点？还是我们应该使用scrapy？

4

0 回答 0