我通过http://www.xml-sitemaps.com运行我的网站,我知道我的网站有大约 200 个页面,这个生成器在 500 个页面后达到最大值,而其他生成器不断找到数千个 URL(我必须停止爬行,因为它似乎永远不会结束)。
这是因为它正在寻找这样的 URL:
当前页面:blog/index.php/barmah-hats-the-sensible-choice/www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website.co .uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website .co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www .website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/
显然页面只是
http://www.website.com/blog/index.php/barmah-hats-the-sensible-choice/
它似乎在末尾附加了另一个文章 URL
这是生成器的错,还是我的 htaccess 规则有问题?我不知道,任何帮助将不胜感激。
我应该注意,这个问题只发生在 /blog/ 目录中,这是一个 wordpress 安装。
我担心这些页面会开始索引。
干杯