ruby-on-rails - 检查网站是否已在搜索引擎和目录中列出的代码

Question

我目前正在 Rails 中开发一个应用程序，它需要检查一个网站是否已在 Google、Bing、Yahoo、Yelp 和 Yellow Pages 中列出。根据我的研究，最好的方法是在 Google 和 Bing 上检查 site: domain.com 并查找结果并在 Yahoo 目录中检查该域。

还有其他方法吗？我的意思是一些代码片段来检查域的主页或使用他们的 API 或类似的东西。还有如何查看 Yelp 和黄页。

Answer 1

You can use mechanize and write web-style drivers Google: do a search on your domain with this on the search term

site:checkmeout360.com
https://www.google.com/search?q=site%3A<SITE_NAME>.com

Try to see how yelp, yahoo, bing and yellow pages do indexing. Then you can use mechanize to automate the searching process for you, you can use mechanize to do the search like above with google, then write asserts (check if stuff you are looking for is on the search result)

Answer 2

搜索引擎不喜欢按照他们的方式发送的自动查询。

以下是谷歌对此的评价：

未经 Google 事先明确许可， Google 的服务条款不允许向我们的系统发送任何类型的自动查询。发送自动查询会消耗资源，包括使用任何软件（例如 WebPosition Gold）向 Google 发送自动查询，以确定网站或网页在各种查询的 Google 搜索结果中的排名。除了排名检查，其他类型的未经许可自动访问 Google 也违反了我们的网站管理员指南和服务条款。