3

机器人在 iframe 内爬行是否常见？他们是怎么做到的？他们是立即将其编入索引，还是只是“记住”该 URL 并有时稍后继续？

4

4 回答 4

2

正如其他人指出的那样，iframe 很容易被抓取。但是，我想澄清一下，您的页面不会因 iframed 内容而获得“信用”。因此，您的页面实际上不会被索引为包含内容 - 它只是爬虫索引 iframed 页面并直接链接到它的垫脚石。这对于了解 iframe 是否指向不在您的域中的内容非常重要，并且您希望利用 iframe 内容来提高您自己页面的可见性。从您的问题中不确定这是否是您的意图。

于 2009-09-21T09:03:46.590 回答
2

如果索引（即爬网）HTML/XHTML 页面上某处有 href/src 链接，它将被索引。页面是否通过 iFrame 呈现给用户是无关紧要的。

于 2009-09-21T08:34:06.750 回答
1

我会这么想；我知道googlebot可以。

如果有疑问，您可以使用 robots.txt 和页脚中的一些额外链接来控制。例如，查看本页底部的链接。

于 2009-09-21T08:02:43.767 回答
0

与任何其他 HTML 页面一样，iframe 只包含 HTML 内容。
所以是的，引擎机器人会抓取它们。

您可能希望他们抓取它们，因为这可能就是您的内容所在的位置。
但是，您可能不希望用户直接在框架中访问您的网站。

所以你可能想检测框架的缺失。因此，您将使用 javascript 添加它们，它们不存在。

<script type="text/javascript">
    if (top.frames.length==’0′) {
        window.location.replace("Appropriate url with frames");
    }
</script>

作为最后的评论，我建议您不要使用 frames。强烈不推荐它们，因为它们绝对违反任何可访问性政策。
他们使您的网站在其主页中看不到任何内容。所以它显然对你的排名没有帮助。

如果您可以避免它们，请这样做（而且您总是可以）。

于 2009-09-21T08:25:43.647 回答