Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我正在为客户建立一个房地产网站,我将从 RETS 服务器获取我的所有数据。数据库中大约有 5,000 多个属性,因此我会即时提取每个属性的图像(以免服务器过载)。
一切正常,但我只在用户查看某个属性时才拉取图像。所以我的问题是:搜索机器人也会触发此图像下载吗?
如果是这样,我该如何防止呢?
取决于搜索机器人。如果您的图片都是从某个已知且格式正确的 URL 提供的,那么您可以通过在 robots.txt 文件中添加禁止行来告诉机器人不要点击它们:
User-agent: * Disallow: /images/