不同的搜索机器人如何解释 robots.txt 文件的 disallow 语句中的 * 字符？他们都将其视为“无，一个或多个字符”吗？
让我们看下面的例子：
User-agent: *
Disallow: /back-end*/*
上面的代码是什么意思？这是否意味着任何具有“后端”的目录都不会被索引，即使“后端”这个词后面跟着任何字符集？/ 之后的 * 怎么样？写它是一个好的约定吗？
一般来说，我的问题是关于 disallow 语句中 * 的使用以及是否所有搜索引擎爬虫都以相同的方式对待它。