0

我一直在尝试将响应加载到 goquery 文档中，但它似乎失败了（尽管它没有引发错误）。

我试图加载的响应来自：

https://www.bbcgoodfood.com/search_api_ajax/search/recipes?sort=created&order=desc&page=4

虽然它不会引发任何错误，但当我调用时，fmt.Println(goquery.OuterHtml(doc.Contents()))我会得到输出：

<html><head></head><body></body></html>

同时，如果我不尝试将其加载到 goquery 文档中，而是调用

s, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(s))

我得到：

<!doctype html>
<!--[if IE 7]>    <html class="no-js lt-ie9 lt-ie8 no-touch" lang="en"> <![endif]-->
<!--[if IE 8]>    <html class="no-js lt-ie9 no-touch" lang="en"> <![endif]-->
<!--[if gt IE 8]> <html class="no-js gt-ie-8 no-touch" lang="en"> <![endif]-->
<!--[if !IE]><!-->
<html class="no-js no-touch" lang="en">
<!--<![endif]-->

<head>
    <meta charset="utf-8">
    <title>Search | BBC Good Food</title>
    <!--[if IE]><![endif]-->
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <link rel="prev" href="https://www.bbcgoodfood.com/search/recipes?page=3&amp;sort=created&amp;order=desc" />
    <link rel="next" href="https://www.bbcgoodfood.com/search/recipes?page=5&amp;sort=created&amp;order=desc" />
    <meta name="robots" content="noindex" />
    <style>
        .async-hide {
            opacity: 0 !important
        }
    ... etc

我正在做的基本逻辑如下：

package main

import (
    "fmt"
    "net/http"
    "github.com/PuerkitoBio/goquery"
    "io/ioutil"
)

func main() {
    baseUrl := "https://www.bbcgoodfood.com/search_api_ajax/search/recipes?sort=created&order=desc&page="
    i := 4

    // Make a request
    req, _ := http.NewRequest(http.MethodGet, fmt.Sprintf("%s%d", baseUrl, i), nil)

    // Create a new HTTP client and execute the request
    client := &http.Client{}
    resp, _ := client.Do(req)

    // Print out response
    s, _ := ioutil.ReadAll(resp.Body)
    fmt.Println(string(s))

    // Load into goquery doc
    doc, _ := goquery.NewDocumentFromReader(resp.Body)
    fmt.Println(goquery.OuterHtml(doc.Contents()))
}

完整的回复可以在这里找到。是否有任何特殊原因导致无法加载？

4

2 回答 2

1

Go 的 html 解析器似乎不喜欢你得到的 html -<html>标签都在评论中，所以我认为它永远不会进行解析。

如果您在文档前面加上<html>一切正常，则从那里开始。一种方法是使用 reader-wrapper，如下所示，它在第一次Read调用时写入 html 标记并委托给resp.Body后续调用。

import "io"

var htmlTag string = "<html>\n"

type htmlAddingReader struct {
    sentHtml bool
    source io.Reader
}

func (r *htmlAddingReader) Read(b []byte) (n int, err error) {
    if !r.sentHtml {
        copy(b, htmlTag)
        r.sentHtml = true
        return len(htmlTag), nil
    } else {
        return r.source.Read(b)
    }
}

要在您的示例代码中使用它，请像这样更改最后一部分：

    // Load into goquery doc
    wrapped := &htmlAddingReader{}
    wrapped.source = resp.Body
    doc, _ := goquery.NewDocumentFromReader(wrapped)
    fmt.Println(goquery.OuterHtml(doc.Contents()))
于 2019-10-25T17:17:30.617 回答
0

代码有两个问题：

(1)resp.Body是一个io.ReadCloser流。

ioutil.ReadAll(resp.Body)读取整个流，因此没有任何内容可供goquery.NewDocumentFromReader(resp.Body)读取，因此它返回一个空文档。

相反，您可以使用NewReader(s)从保存的正文字符串创建新流。

(2)doc.Contents()返回顶部元素的子元素，即 just <!DOCTYPE html>。如果您想要整个文档，那么您可能想要使用doc.Selection.

像这样的东西应该工作：

    // Read entire resp.Body into raw
    raw, _ := io.ReadAll(resp.Body)
    s := string(raw)

    // Print out response
    fmt.Println(s)

    // Create a new readable stream with NewReader(s)
    doc, _ := goquery.NewDocumentFromReader(strings.NewReader(s))
    
    // Use doc.Selection to get the whole doc
    fmt.Println(doc.Selection.Html())
于 2021-10-28T01:49:37.897 回答