假设我想建立一个专门的信息目录，组织可以提供关于他们自己的信息。我们同意元数据标准，它们在网站上包含此信息。
是否有可能以某种方式使用 Google 的基础架构来解决使用该元数据发现站点的问题，并定期重新爬取以获取任何更新？
通常解决这类问题的方法似乎涉及使用中央索引“注册”站点，然后中央索引构建基础设施以定期访问每个注册站点。但我想知道它是否可以做得更聪明——而且不需要正式“注册”。
例如，假设您可以将元数据标准的一部分设为唯一字符串，然后您可以通过 Google 搜索该字符串。然后你会处理页面的其余部分。但是有没有更精简、更智能、更正式的方式来做到这一点？