web-crawler - 我可以使用 NOINDEX 元标记存储页面吗？

Question

我正在做一个网络爬虫，现在我正在尝试关注 robots.txt 和元标记NOINDEX和NOFOLLOW.

NOFOLLOW说我不要点击页面中的链接，但是NOINDEX？
我知道这是不索引搜索的页面，但我不会做任何搜索，只将页面存储在数据库中。

如果我存储在数据库中，我会不尊重NOINDEX标签，或者这只适用于搜索？

Answer 1

没有特别的理由不存储它。只要您没有将其编入索引并在搜索结果中返回它。NOINDEX除非您将其作为搜索结果返回，否则您并没有不尊重它的含义。