search-engine - 是否有包含索引机器人的搜索引擎，可以通过为机器人提供某些属性来组成特殊目录？

Question

我们的应用程序 (C#/.NET) 需要大量查询来搜索。谷歌每天 50,000 的政策是不够的。我们需要能够通过我们设置的特定规则（例如国家域）抓取互联网网站并收集 URL、文本、关键字、网站名称并创建我们自己的内部目录的东西，这样我们就不会局限于任何大型外部搜索引擎像谷歌或雅虎。

我们可以使用任何免费的开源解决方案将其安装在我们的服务器上吗？

重新发明轮子没有意义。

Answer 1

DataparkSearch可能是您需要的。或查看此其他开源搜索引擎列表。