我想将Elasticsearch中的大量数据克隆到HDFS。我的索引在一天内增长了大约 1TB 的数据。我使用了 ScrollElasticsearchHTTP 处理器的 Nifi,但性能非常慢(5 分钟大约 32Mb)。我想克隆 1TB/1 天,所以太慢了。
我能做些什么来加快速度?
到目前为止我已经尝试过:
- Nifi:我使用过 ScrollElasticsearchHTTP。
- Logstash:我正在尝试使用 Logstash。
我想将Elasticsearch中的大量数据克隆到HDFS。我的索引在一天内增长了大约 1TB 的数据。我使用了 ScrollElasticsearchHTTP 处理器的 Nifi,但性能非常慢(5 分钟大约 32Mb)。我想克隆 1TB/1 天,所以太慢了。
我能做些什么来加快速度?
到目前为止我已经尝试过: