javascript - 如何使用关键字搜索抓取 youtube 视频链接

Question

我正在做一些研究，我想抓取 youtube 视频链接（然后获取视频 ID）

例如，如果我在 youtube 搜索栏中输入关键字“obama”，那么 youtube.com 将返回结果页面

http://www.youtube.com/results?search_query=htc&page=2 将页面向下滚动到底部我们可以看到页码 1 2 3 4 5 6 7 点击页码从 2 到 3 到 4 到 5 ....然后我们可以达到最大页码：50

所以我想下载从 1 到 50 的所有页面有一个 url 技巧，比如

http://www.youtube.com/results?search_query=obama&page=5

但是，如果我使用wget下载每个页面，有时会阻止下载，或者有时当页码很大时，返回的页面不是异常页面。

所以正确的方法是手动单击页码按钮并使用网络浏览器下载每个页面，是否可以自动化手动程序？我在互联网上搜索，有人提到chrome javascript扩展，无论如何，有没有办法编写一些自动化脚本来模仿手动操作？谢谢！

score 1 · Accepted Answer

为什么不直接使用他们的 API？爬行通常是不好的做法。

https://gdata.youtube.com/feeds/api/videos?
    q=football+-soccer
    &orderby=published
    &start-index=11
    &max-results=10
    &v=2

1 回答 1