curl - 搜索机器人通过 curl 在 Web 服务调用中创建问题

Question

当任何用户打开产品详细信息页面时，我实现了 curl 代码以从供应商 Web 服务获取实时库存。

但是搜索引擎机器人正在访问该页面，这导致 curl 每秒调用 Web 服务 1000 次。

如何纠正这个问题。我搜索了谷歌，但还没有找到准确的答案。

Answer 1

至少您应该在页面调用时检测用户代理和 IP 地址。如果收到的参数与机器人的数据匹配，请不要调用 Web 服务并使用永久静态数据（仅适用于机器人）。

此外，您可以使用人工检查工具（验证码等）：如果检查失败，请不要调用 Web 服务。

此外，您可以使用缓存并仅调用 Web 服务进行缓存更新（例如，每小时一次）：如果数据更新时间少于一小时，则页面应使用缓存数据。