& 是 html 中的保留字符,因此在任何地方我都有 url 指向带有查询字符串的路径,我放了 & 而不是 & 以便我获得有效的 HTML。
有许多不同的爬虫浏览网站并访问此 url,但它们不使用 html 解码方法来获取正确的 url 值,因此它们向我的网站发出请求:
mywebsite.com/?p1=v1&p2=v2
代替
mywebsite.com/?p1=v1&p2=v2
现在我正在响应错误页面,因为发出此请求的机器人对我不感兴趣。
但我的问题是,处理此类请求的最佳做法是什么?
您知道支持处理此类请求是否有任何用处?(例如,是否有任何流行的爬虫或浏览器无法正确转换此网址?)