c# - 告诉搜索引擎机器人等待

Question

短篇故事：
我的网站根据用户提交的数据预先生成页面，有时必须清除此缓存，当这种情况发生时，它会杀死一台超级计算机，除非我控制一次生成的统计数据的数量。

问题：
现在出现了不断访问网站的搜索引擎机器人（由于页面数量庞大，搜索引擎机器人爬取的常量非常稳定）。这里的问题是他们将用完我所有的“生成”插槽，而真正的用户将留下一个页面，上面写着“bla bla，请稍候”。

可能的解决方案：
我基本上可以将 503 返回给机器人，而不会因为网站不稳定而给我负面排名吗？
还是有人想出了其他解决方案？

Answer 1

立即清除缓存有多重要？如果您的缓存支持它，您可以将所有缓存页面标记为“脏”，并在真实用户下次访问时重新生成它们；如果机器人同时访问，则为他们提供陈旧的页面。