我的网站是一个静态 html 照片库,有超过 100,000 个没有数据库的 html 页面,只是简单的 html(旧网站,不是成人网站)
我曾经使用 Xenu 应用程序创建站点地图并查找损坏的链接,并且在之前创建站点地图时确实跳过了图像 (*.jpg),但现在(大约 4 年后)它不起作用,或者我忘记了我在排除选项中添加的内容。
我使用以下格式排除/跳过图像以添加生成列表/检查。
*.jpg*
*jpg*
*.jpeg*
*jpeg*
但它不起作用。
我真的需要跳过图片,因为如果有 100k html 页面,就会有 100k HQ 照片和 100k 缩略图 :( 所有这些都会使站点地图更大,我不希望我的直接照片链接在搜索引擎中被索引。
请帮忙。有什么方法可以跳过“image/jpeg”?
非常感谢。