我想检查一个 URL 列表是否没有noindex. 所以我已经检查过了
< meta name="robots" >
使用 DOM,但我还想检查 X-robots-tag。有没有简单的方法来做到这一点?
我能想象的唯一方法是foreach()on get_headers($url)。
我想检查一个 URL 列表是否没有noindex. 所以我已经检查过了
< meta name="robots" >
使用 DOM,但我还想检查 X-robots-tag。有没有简单的方法来做到这一点?
我能想象的唯一方法是foreach()on get_headers($url)。