0

所以我正在从网站上制作一个抓取脚本。当抓取文本成功时，仅当抓取图像失败时。当我检查元素时，代码仍然正常，但是当我运行视图源时，图像包装代码更改为 noscript。所以我想是这样的，也许有人可以帮忙？

c.OnHTML(".postarea", func(h *colly.HTMLElement) {
        as := Image{}
        as.Name = h.ChildText(".headpost .entry-title")
        h.ForEach(".maincontent", func(i int, x *colly.HTMLElement) {
            ya := So{}
            ya.Url = x.ChildAttr("#readerarea img", "src")
            as.Image = append(as.Image, ya)
        })
        b, err := json.MarshalIndent(as, "", " ")
        if err != nil {
            log.Println("failed to serialize response:", err)
            return
        }
        w.Header().Add("Content-Type", "application/json")
        w.Write(b)
    })
    c.OnRequest(

这是示例 html 代码。

<div id="readerarea"><noscript>
        <p><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" />
        </p>
    </noscript>
</div>
4

1 回答 1

0

页面上会有一些 JavaScript 更新此内容（该<noscript>部分适用于没有 JavaScript 的浏览器）。当您“查看源代码”时，您看到的是服务器提供的原始 HTML；使用“检查元素”，您可以看到 DOM 的现状（即，在更新本节的任何脚本运行之后）。

Go-Colly 不运行JavaScript，因此您需要另一种方法。选项包括查看 JavaScript 以了解它如何定位图像或使用chromedp之类的东西而不是 go-colly。

于 2021-02-20T04:59:51.997 回答