所有这些类型的网站都只是非法抓取谷歌或其他搜索引擎吗？
据我所知，没有“合法”的方式可以为商业网站获取这些数据。雅虎！api ( http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html ) 仅用于非商业用途，Yahoo! 老板不允许自动查询等。有
什么想法吗？
lpellis
问问题
1087 次
2 回答
4
例如，如果您想查找所有指向 Google 主页的链接，请搜索
link:http://www.google.com
因此，如果您想查找所有入站链接，您可以简单地遍历您网站的树，并为它找到的每个项目构建一个 URL。然后向谷歌查询：
link:URL
您将获得 Google 从其他网站到您网站的所有链接的集合。
至于这种收获的合法性，我敢肯定从中获利并不完全合法，但这从来没有阻止过任何人，不是吗？
（所以我不会想知道他们是否这样做了。假设他们这样做了。）
于 2009-04-16T05:58:09.517 回答
3
我不知道 hubspot 做什么，但是，如果您想找出哪些网站链接到您的网站，并且您没有硬件来抓取网络，您可以做的一件事是监控访问者的 HTTP_REFERER地点。例如，这就是谷歌分析（据我所知）如何告诉您访问者来自哪里。这不是 100% 可靠的，因为并非所有浏览器都设置了它，尤其是在“隐私模式”下，但每个链接只需要一个访问者就可以知道它的存在！
这通常通过将脚本嵌入到您的每个网页中来实现（通常在公共页眉或页脚中）。例如，如果您检查当前正在阅读的页面的来源，您会发现（正下方）一个脚本，该脚本向 Google 报告您的访问信息。
现在，这不会告诉您是否有没有人用来访问您的站点的链接，但是让我们面对现实吧，它们远没有人们实际使用的链接那么有趣。
于 2011-05-14T09:29:49.377 回答