我们正在维护一个在某些页面地址中使用字母æ、ø和的网站。å到目前为止，除了早期的一些 IE 问题外，这一切都很好。过去几周我们遇到的问题是搜索引擎爬虫，尤其是 Bing，似乎一遍又一遍地对字母进行编码。
所以当爬虫试图访问地址/butikk/m%C3%83%C6%92%C3%86%E2%80%99%C3%83%E2%80%A0%C3%A2%E2%82%AC%E2%84%A2%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%A3%C3%83%C6%92%C3%86%E2%80%99%C3%83%C2%A2%C3%A2%E2%80%9A%C2%AC%C3%82%C2%A0%C3%83%C6%92%C3%82%C2%A2%C3%83%C2%A2%C3%A2%E2%82%AC%C5%A1%C3%82%C2%AC%C3%83%C2%A2%C3%A2%E2%82%AC%C5%BE%C3%82%C2%A2%C3%83%C6%92%C3%86%E2%80%99%C3%83%E2%80%A0%C3%A2%E2%82%AC%E2%84%A2%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%A2%C3%83%C6%92%C3%86%E2%80%99%C3%83%C2%A2%C3%A2%E2%80%9A%C2%AC%C3%85%C2%A1%C3%83%C6%92%C3%A2%E2%82%AC%C5%A1%C3%83%E2%80%9A%C3%82%C2%B8bler而不是/butikk/møbler. 使用/butikk/m%c3%b8bler也会让你到正确的页面。当我们使用 Play Framework 时，我们也会收到一个站点错误，因为我们的控制器不能超过 250 个字符，但这不是真正的问题。
最初，该网站上没有站点地图。我们添加了一个带有 UTF-8 编码地址的地址，希望这会引导机器人以正确的方式前进，但到目前为止还没有。
那么有没有人遇到过类似的问题并解决了它，或者对我们可以做些什么来让 Bing Bot 使用正确的地址有一些建议？任何帮助，将不胜感激。
补充信息： 查看必应网站管理员工具，我可以看到必应索引了正确的地址，以及带有“ø”而不是“ø”的版本。所以我的问题可以通过从索引中删除错误地址来解决。