1

我们可以使用Logstash和Kibana进行大数据分析吗？

我将使用 Hadoop 来存储我的数据。在尝试任何事情之前，我想知道是否有人已经尝试过。

4

3 回答 3

0

你的数据有多大？

目前，我使用 Logstash + ElasticSearch + Kibana 来分析超过 50 GB 的日志数据。

Elasticsearch 还与 Hadoop 集成。
检查此链接：http ://www.elasticsearch.org/overview/hadoop/

于 2013-12-13T08:02:35.623 回答
0

我实际上已经将 HDFS + ElasticSearch + Kibana + Logstash 用于使用 Hive。它工作得很好。尽管如果您尝试将数据从 ElasticSearch 加载到 Hive 中，但没有正确声明数据类型，您的数据可能会得到 NULL 值。

--- Hive Coonection ---
确保es-hadoop-hive-2.0.2.jar和es-hadoop-2.0.2.jar文件位于您的 Hive 目录中。

请按照 ElasticSearch 网站上的文档了解更多详细信息。

于 2015-03-11T16:32:48.273 回答
0

一周内 125GB（猜测）1k 文档大约是 200/秒，这对于任何 logstash/elasticsearch 配置索引都没有问题。

去给自己找 6 台机器：

  • 三个 elasticsearch 数据节点，每个节点有 64GB 的 RAM。
  • 三台运行 elasticsearch 主节点的机器（RAM 要求低得多）。这些也可以是客户端节点（用于索引和搜索请求），并且可以运行 logstash 和 kibana，如果您对它们进行了一点加强。
于 2015-12-31T16:30:46.233 回答