问题标签 [hortonworks-sandbox]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
360 浏览

file - 如何将文件(PDF)传输到 Hadoop 文件系统

我有 Hortonworks 系统并想将文件从文件系统复制到 Hadoop。最好的方法是什么?

0 投票
1 回答
56 浏览

pyspark - Livy 在计算结束前返回

在 Hortonworks Sandbox 上使用 Livy 时,我们发现在某些情况下,Livy API 会在 Spark 监控工具指示的实际工作结束之前为语句提供结果。在某些情况下,对于正常执行时间超过 10 分钟的作业,Livy 可以在不到 5 秒的时间内提供结果。如果我们在某些情况下以相同的初始条件多次重复相同的任务,我们就会看到这个问题发生。任何想法?

0 投票
0 回答
537 浏览

apache-kafka - Kafka producer.send 停止

我正在按照 MapR 的教程制作基本的 Kafka 生产者/消费者:

https://github.com/mapr-demos/kafka-sample-programs

我正在使用带有 Kafka 0.9.2 的 Hortonworks Sandbox VM 2.4 版这是我的 Producer 代码:

我已经启动了 Zookeeper 和 Kafka,并按照说明创建了主题:

但是当我运行编译的应用程序时

我得到这个输出:

它卡在sysout 日志producer.send之后的第一行。Test 1也没有抛出异常,它只是在打印出该Test 1行时停止。当我使用 Eclipse 使用换行符对其进行调试时,它也停止在该行上,显然没有发生任何事情。

Kafka 日志中的fast-messagessummary-markers目录已创建,但没有写入任何内容。

任何想法?

0 投票
0 回答
339 浏览

hadoop - Talend Bigdata 和 Hortonworks 沙盒

我正在尝试将数据从 Talend 写入 Hortonworks 沙盒 Hadoop 设置。

在执行 talend 作业以发送数据时,它会在控制台中生成以下异常和警告。但是,Talend 作业在 Hortonworks 环境中创建文件,但无法在那里写入数据。

在此处输入图像描述

java:1611) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1409) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1362) at org.apache .hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:589) 作业测试于 2017 年 18 月 3 日 16:50 结束。[退出代码=1]

0 投票
1 回答
224 浏览

hadoop - 由于 HDP 2.5 中的 Solr 异常,Hbase java 代码卡在表创建中 - SolrServers 可用于处理此请求

我正在尝试使用 java API 将其与 hbase 连接。

我在 192.168.56.101 本地运行 Hortonworks Sandbox(HDP 2.5)。

以下是我的java代码

以下是输出

如您所见,它被卡住了,并且“获得的表格”没有被打印出来。因此没有获得表格。

我正在使用以下罐子:
1)commons-configuration-1.8.jar
2)commons-lang-2.6.jar
3)commons-logging-1.1.1.jar
4)hadoop-core-1.0.0.jar
5)hbase -0.92.1.jar
6) log4j-1.2.16.jar
7) slf4j-api-1.5.8.jar
8) slf4j-log4j12-1.5.8.jar
9) zookeeper-3.4.3.jar

更新 我还创建了一个可运行的 jar 并尝试直接在集群上运行它。它仍然没有运行。

0 投票
1 回答
1054 浏览

hbase - Hbase ResultScanner 抛出空指针异常

我写了一个hbase java客户端如下。

以下是输出

我已经使用 hbase shell 在 hbase 中创建了一个表。我在 OS X EI Captian 上运行 HDP 2.5 和我的 eclipse 代码。
我在本地路径中复制了 hbase-site.xml。

0 投票
0 回答
227 浏览

hive - Horton Sandbox 中的 Hive 命令行

我在 AWS EC2 实例上安装了 Horton 沙箱,并使用 putty 访问沙箱。如何访问 Hive 命令行?

我试过hive了,但找不到命令。

0 投票
3 回答
3078 浏览

hortonworks-sandbox - 无法连接到 docker 中的 HDP 沙箱

我已经在我的 macbook 的 docker 中成功启动了 hortonworks 沙箱容器。该指南说通过以下命令连接到沙箱:

ssh -p 2222 root@localhost

但它给了我

ssh: connect to host localhost port 2222: Connection refused

然后我尝试了

ssh -p 22 root@localhost

它会询问我密码(而不是按照指南提示我更改密码)。我尝试输入“hadoop”作为密码,但它不会让我进入。我尝试了“root”,还是一样。我尝试使用我的笔记本电脑密码登录,但仍然无法登录。

我应该如何连接到沙盒容器?

0 投票
1 回答
782 浏览

macos - 将设备(Hortanworks 沙盒)导入虚拟框中显示错误:被调用者 RC:NS_ERROR_CALL_FAILED (0x800706BE)

尝试将 Hortonworks Sand 盒子导入我在 Mac 机器上的虚拟盒子。导入后我收到 Callee RC: NS_ERROR_CALL_FAILED (0x800706BE) 错误消息知道如何解决这个问题

0 投票
1 回答
811 浏览

hadoop - Pig 注册 jar,文件不存在错误

我正在使用 Hortonworks 沙箱并尝试运行一个简单的猪脚本。似乎存在与“文件不存在”相关的烦人错误。

下面是脚本:

错误 2997:遇到 IOException。文件不存在:hdfs://sandbox.hortonworks.com:8020/tmp/udfs/'/piggybank.jar'

但是,我的 jar 存在于 root(/) 中,并且我也给予了适当的许可。不知道为什么路径指向/tmp/udfs ....

任何人都可以提供一些建议吗?