我的服务器超载,当我检查时,这是因为 Googlebot 不断地为一些完全格式错误的 AMP 页面发送 GET 请求。例如
GET /what-is-love/amp/wifflegif.com/pandawhale.com/s4.photobucket.com/thecomfortador.tumblr.com/www.tumblr.com/www.gifwave.com/thecomfortador.tumblr.com/teenskepchick.org/www.yourtango.com/reactiongif.org/thecomfortador.tumblr.com/bollypop.in/www.yourtango.com
我认为我之前的 WordPress AMP 插件可能已经形成了这些格式错误的 URL。因为实际的 URL 应该是,/what-is-love/amp/
但它在它之后添加了额外的域名。这些只不过是在文章内容中找到的域名。
现在这些 GET 请求正在敲击我的 MySQL 服务器,它不堪重负。因为服务器要花很多时间说:嘿,google..这个页面不存在。
我将此行添加为
Disallow: /what-is-love/amp/*
到我robots.txt
并重新启动服务器。它正在反映,但 Googlebot 不会停止发送 GET 请求。
几个小时以来,我一直在努力解决这个问题。我究竟做错了什么?我应该怎么办?请帮忙。