我有一个 wordpress 网站，我想阻止搜索引擎抓取整个目录。我知道我可以在 robots.txt 文件中（在站点的根目录中）通过为该目录添加“禁止”行来执行此操作。然而...
在同一个站点中，我使用“XML Sitemap”插件在站点上的任何内容发生更改时自动构建和提交 sitemap.xml。不幸的是，没有办法自动阻止插件列出目录中我不想抓取的页面。每次我在该目录中添加一个新页面时，我都必须手动从站点地图中排除该页面（插件允许这样做）。
我的问题是什么优先... robots.txt 文件或 sitemap.xml 文件？换句话说，如果一个页面在sitemap.xml 文件中列出，如果它的父目录在robots.txt 中被禁止，它是否会被搜索引擎抓取？