我正在用 C# 编写一个爬虫。有没有办法使 URL 有效？例如，在抓取 youtube 时，我得到/watch?foo=bar和bar.foo.google.com. 我想得到http://www.youtube.com/watch?foo=bar和http://bar.foo.google.com。我该怎么做？
问问题
182 次
1 回答
0
你需要问一个更具体的问题。“使 URL 有效”非常模糊。
在第一种情况下，你想/watch?foo=bar成为http://www.youtube.com/watch?foo=bar，对吗？那很简单。前者是相对 URL。要生成后者，您只需获取您所在页面的基本 URL ( http://www.youtube.com) 并将其添加到相对 URL 之前，以获得完整的绝对 URL。
在第二种情况下，你有bar.foo.google.com，并且想要得到http://bar.foo.google.com，对吗？那么这也很简单。您只需将协议部分 ( http://) 添加到域的前面。
于 2012-08-31T19:53:38.893 回答