go - 使用GoQuery获取视频src时返回空白

Question

我正在尝试使用 GoQuery 获取藤蔓的 .mp4 视频源。但是，当我运行它时，我什么也没有得到，没有错误，或者返回。只是一个空行。

package main

import (
  "fmt"
  "log"

  "github.com/PuerkitoBio/goquery"
)

func getMP4URL() {
  doc, err := goquery.NewDocument("https://vine.co/v/MlWtKgwh7WY")
  if err != nil {
    log.Fatal(err)
  }

  doc.Find(".vine-video-container").Each(func(i int, s *goquery.Selection) {
    mp4, _ := s.Find("video").Attr("src")
    fmt.Printf("MP4: %s", mp4)
  })
}

func main() {
  getMP4URL()
}

这是我的代码的问题，还是 vine 本身的问题？

Answer 1

似乎藤用javascript添加了那个id

如果我添加

html, err := doc.Html()
if err != nil {
    log.Fatal(err)
}

log.Println(html)

在html输出doc.Find中没有之前.vine-video-container

Answer 2

试试这个代码:)

package main

import (
    "fmt"
    "log"

    "github.com/PuerkitoBio/goquery"
)

func getMP4URL() {
    doc, err := goquery.NewDocument("https://vine.co/v/MlWtKgwh7WY")
    if err != nil {
        log.Fatal(err)
    }

    doc.Find("meta").Each(func(i int, s *goquery.Selection) {
        op, _ := s.Attr("itemprop")
        if op == "contentURL" {
            fmt.Println(s.Attr("content"))
        }
    })
}

func main() {
    getMP4URL()
}

Answer 3

Vine 将视频的元数据以 JSON 格式嵌入到<script type="application/ld+json">. 所以你需要从标签中提取 JSON blob 并解码 JSON 以获得视频的 src。

以下是获取 Vine 视频的 src URL 的完整工作代码：

package main

import (
    "encoding/json"
    "github.com/PuerkitoBio/goquery"
)

type SharedContent struct {
    ContentUrl string `json:"contentUrl"`
}

type VineVideoMetadata struct {
    SC SharedContent `json:"sharedContent"`
}

func DecodeVineJsonBlob(blob string) VineVideoMetadata {
    meta := VineVideoMetadata{}
    err := json.Unmarshal([]byte(blob), &meta)
    if err != nil {
        panic(err)
    }
    return meta
}

func GetVineVideoJsonBlob(url string) string {
    doc, err := goquery.NewDocument(url)
    if err != nil {
        panic(err)
    }

    return doc.Find("script[type=\"application/ld+json\"]").Text()
}

func GetVineVideoSrc(url string) string {
    jsonBlob := GetVineVideoJsonBlob(url)
    meta := DecodeVineJsonBlob(jsonBlob)
    return meta.SC.ContentUrl
}

func main() {
    println(GetVineVideoSrc("https://vine.co/v/MlWtKgwh7WY"))
}

输出：

https://mtc.cdn.vine.co/r/videos/67FAC9DFA21115619347885645824_22a564aec15.5.0.17428816123715427422.mp4?versionId=4zcm5ySoFhqUQBXU7Ehm3YOuOSjFbkg3