0

我需要一种存储日志的解决方案(或多或少遵循 10 种标准格式之一),最好是实时存储在数据库中,该数据库可以快速查询并且可以轻松地将结果提供给各种有线查询。例如,在文本正文中查找关键字的查询,涉及多个表的查询。

向我推荐的一个解决方案是 MetaMarket,它似乎可以使用风格非常好的查询系统进行实时日志记录。但是,我不确定成本以及是否需要如此复杂的解决方案。

据我了解,metamarket 的“卖点”是德鲁伊数据库,并说数据库是开源的,可以部署在他们的堆栈之外。所以我来这里要问的是:

你们中有人有使用 Druid 部署实时日志系统的经验吗?有多难?花了多长时间 ?有哪些挑战?除了德鲁伊,你还使用了哪些其他技术?你有什么推荐的读物吗?

有没有人有过元市场的经验。如果是这样,那么它有多难?花了多长时间 ?有哪些挑战?一旦投入生产,成本如何?你有关于这个主题的推荐阅读吗?

另外,还有一个额外的问题:“公正的专业人士”实际上是否对 druid 进行了任何基准测试?实时实时输出数据库是用 Java 编写的这一事实似乎有点……啊,难以置信。

4

1 回答 1

0

这是快速的答案。确实 druid 是开源的,但是这里缺少的链接是一个很好的 UI,可以很好地与 druid 配合使用。曾经有一个 UI 被称为 caravel,现在是超集,我想它可以做得很好。关于运行 druid 集群,如果您有足够的资源(例如工程师)来放置从打包到在机器/云上部署 druid 的所有管道,那么它应该不会那么难。最后一部分是监控/更新集群,它也需要大量的工作。是的,它是使用 JAVA 编写的,但许多其他实时软件就是这种情况,以 KAFKA 为例,实际上 druid 在堆外做了很多事情,并使用内存映射文件来提供数据。阅读白皮书将提供对系统的良好/基本理解,因此您可以找到德鲁伊是否适合的答案。

于 2016-11-17T18:46:22.430 回答