0

我刚刚使用 Meteor Up 部署了一个网站，我正在尝试确定我的网站是否可以被 Google 抓取。

当我执行

curl www.compmaker.com?_escaped_fragment_=

它返回包含所有文本的页面。此外，当我搜索“compmaker.com”作为搜索查询时，它似乎在描述中列出了我的网站和一些内容。

但是，在 Google Webmaster 中，当我转到 Fetch As Google 并按 Fetch and Render 时，HTML 中缺少内容。此外，Adsense 拒绝了我的网站，因为它看不到任何文字。

所以我想知道，spiderable 真的有效吗？如果不是，为什么当我使用 curl 时，我实际上可以看到 html 而谷歌却不能？

此外，如果我通过 Meteor Up 安装并且我将“setupPhantom”设置为 true，并且我在我的流星项目中将可蜘蛛作为一个包，我还需要什么让谷歌抓取我的 Meteor 网站？

我有一种感觉，也许 phantomjs 可能在一开始就可以工作，然后在某个时候停止工作（该网站的谷歌缓存副本是几天前的）并且 curl 正在工作，因为我已经启用了快速渲染。这是一个合理的解释，如果是这样，我如何让 phantomjs 再次重新启动？

4

2 回答 2

0

产生类似于您所描述的症状的最常见问题是我们（Google）无法获得对渲染至关重要的资源。

在 Fetch and Render 中，您可以在页面底部看到哪些资源在渲染期间加载失败。如果那里显示了一些，我会修复这些：确保服务器快速响应这些资源请求，并且它们没有被 robots.txt 阻止。

于 2015-07-04T19:50:40.647 回答
0

我遇到的问题与您所描述的有些相似，您可以在此处查看详细信息http://www.themastfarminn.com/php-prob/

我向托管公司发送了支持票，这是他们的回复：

|||||||||||||||||||||||||||

我们最近更新了所有签名帐户的 Mod 安全设置。这将阻止任何在 HTTP 标头中不包含用户代理字符串的请求并发送禁止响应。要解决此问题，您需要更新脚本（curl 脚本）以包含用户代理字符串，然后服务器将允许连接。

|||||||||||||||||||||||||||

于 2015-07-06T23:36:10.290 回答