我有一个用户无法登录的公共页面。所以我有一个没有链接的网址,您必须手动输入然后登录。
但是,该 url 是多语言的,所以它可以是“/SV/Account/Logon”或“/EN/Account/Logon”等。我可以禁用这个 url 来为所有语言编制索引吗?
我有一个用户无法登录的公共页面。所以我有一个没有链接的网址,您必须手动输入然后登录。
但是,该 url 是多语言的,所以它可以是“/SV/Account/Logon”或“/EN/Account/Logon”等。我可以禁用这个 url 来为所有语言编制索引吗?
此网址可能会对您有所帮助http://www.robotstxt.org/robotstxt.html。在您的情况下,不会有通配符排除,您必须在 robots.txt 中添加所有语言特定的登录网址
更新
您可以将Disallow: /folder/subfolder/
或Disallow: /folder/
放入您的 robots.txt 文件中