1

我有一个由 Cloudera CDH 5.3 管理的 hadoop 集群。

我在我的主机（10.44.162.169）中安装了 ElasticSearch 1.4.4

我已经下载了奇迹插件，因此可以通过以下方式访问我的 ES：http://10.44.162.169: 9200/_plugin/marvel/kibana/index.html#/dashboard/file/ marvel.overview.json

我已经通过名为 myindex 的感觉创建了一个索引，其类型名为 mytype，以便稍后将我的数据推送到其中。

我还安装了 kibana 4 并像这样更改了 kibana.yml：

# The host to bind the server to
host: "10.44.162.169"

# The Elasticsearch instance to use for all your queries.
elasticsearch_url: "http://10.44.162.169:9200"

我通过端口 5601 (10.44.162.169:5601) 访问它

现在我想将我在 hdfs 中的数据加载到我的 ElasticSearch 中。

下载 es-hadoop jar 并将其添加到路径后。

我就是这样进行的：

REGISTER /usr/elasticsearch-hadoop-2.0.2/dist/elasticsearch-hadoop-pig-2.0.2.jar

--load the CDR.csv file
cdr= LOAD '/user/omar/CDR.csv' using PigStorage(';')
AS TRAFFIC_TYPE_ID:int,APPELANT:int,CALLED_NUMBER:int,CALL_DURATION:int,LOCATION_NUMBER:chararray,DATE_HEURE_APPEL:chararray);



STORE cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.PigRunner.run('es.nodes'='10.44.162.169');

当我执行此操作时；工作很成功！！！

但是，我的 ES 中似乎没有出现任何内容！

1）当我去访问奇迹时，我在 myindex 中找不到任何文件！

2）在我的 Kibana 插件中都没有！

3）另外，当我想查阅HUE中的日志时，我找不到任何东西！

  • 为什么我的 ES 中没有推送数据？
  • 我应该怎么做才能可视化它？
  • 为什么我创建的工作成功但没有日志可以查看发生了什么！

有什么帮助吗？谢谢 ！

4

2 回答 2

2

试试下面的命令

store cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.EsStorage('es.nodes = localhost:9200');
于 2015-06-01T06:36:54.970 回答
1

不知道如何使用 ElasticSearch 和 Hadoop，但您是否尝试删除 run 参数的等号 (=) 周围的单引号？即：'es.nodes=10.44.162.169' 而不是 'es.nodes'='10.44.162.169'

于 2015-05-29T06:23:30.993 回答