web-crawler - Googlebot 和其他蜘蛛是否总是拉取最新的内容？

Question

我了解使用以下元标记将阻止 Web 浏览器缓存，但不会阻止代理缓存：

<META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE">
<META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE">

但是，在服务器端使用缓存标头将完全阻止缓存。

我的页面是简单的 .html 文件，不是动态的（例如，不是 .php）。如果我使用上述元标记，考虑到代理可能仍会缓存页面，Googlebot 和其他蜘蛛是否总是会提取我网站的最新内容，或者他们可能不会提取最新内容，因为我没有在服务器端设置缓存标头？

Answer 1

使用元标记或 HTTP 标头与 bot 没有什么不同，它们旨在向请求代理传达建议。如果代理（Google bot 或代理）设置为遵守协议，那么您的页面将不会被缓存。

但是，请记住，尽管您要求不缓存页面，但代理和 SE bot 可能会以不同的方式对事件做出反应，但存在一些灵活性。

您必须记住，Google 的范围是索引页面，只要他们可以抓取，无论是否使用缓存标记都可以完成，尽管阻止缓存被保留可能会导致他们方面的一些复杂性。