问题标签 [cloudera-quickstart-vm]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1864 浏览

hadoop - Oozie 简单 ssh 作业失败:AUTH_FAILED:无法执行操作

我正在尝试使用 Cloudera oozie 进行简单的 ssh 工作。

工作属性

工作流.xml

当尝试使用以下命令运行作业时:

该作业因以下错误而暂停:

可能的问题是什么?为 localhost 启用了无密码登录。

0 投票
1 回答
331 浏览

scala - Cloudera 快速启动 VM CDH5.8.0 中的 Hbase Scala 连接问题

我正在尝试从 Scala 代码连接 HBase,但出现以下错误。

• 主机操作系统是具有 8 GB RAM 和 64 位架构的 Windows 7。英特尔酷睿 i5。
• 我正在使用 Cloudera 快速启动 VM CDH 5.8.0。在我的 Windows 上。
• VM 使用 6GB RAM、2 个处理器和 64 GB 硬盘。
• Cloudera Manager 中运行的服务:

• Cloudera Manager 中停止的服务:

• Hbase 版本 1.2.0-cdh5.8.0
• 我的客户端代码仅在 VM 中。
• 创建了sbt 项目。
• 我参考了这个 url https://hbase.apache.org/book.html#scala 来获取 Hbase 与 Scala 的连接。
• 设置类路径。我没有在链接中提到的 CLASSPATH 中提到“/path/to/scala-library.jar”。

• 项目根目录= /home/cloudera/Desktop/play-sbt-project
• 我的/home/cloudera/Desktop/play-sbt-project/build.sbt看起来像这样。我根据我的环境更改了依赖库版本。作为错误故障排除的一部分,我添加了更多依赖项,例如“hbase-client”、“hbase-common”和“hbase-server”,但仍然没有成功。

• 我的 Hbase 连接 /home/cloudera/Desktop/play-sbt-project/src/main/scala/pw.scala 的主要代码如下所示

• 我的 /etc/hbase/conf/hbase-site.xml 如下所示:

我google了很多来解决这个问题,但没有成功。在解决此问题的过程中,我进行了以下更改:
• 根据我的环境更改了 build.sbt 文件中的依赖库版本
• 添加了更多依赖库“hbase-client”、“hbase-common”和“hbase-server ”。
• 将“hbase-site.xml”文件中的“hbase.zookeeper.quorum”值从“quickstart.cloudera”更改为“127.0.0.1”。

请帮我解决这个问题。谢谢你。

0 投票
1 回答
515 浏览

java - 使用cloudera hadoop java培训项目时加载类失败

我正在使用 cloudera quickstart 在 java 中实现一个 hadoop 项目:我的 cloudera-quickstart 版本是 5.8.0 这里是错误消息:

我在这个简单的培训项目中检查了我的引用库,在 buildpath 库中,slf4j-api-1.6.1.jar;slf4j-api1.7.5.jar;slf4j-api.jar 都包括在内。

0 投票
1 回答
700 浏览

hadoop - 无法通过临时 Hive 表将文本数据作为 ORC 加载到 Hive 表中

我想将.csv文件作为 ORC 文件加载到 Hive 表中。我遇到了一篇帖子 ,该帖子建议解决我执行以下查询的问题:

1)创建数据并将其作为文本文件加载到临时表中:

2)新建表并指定ORC数据为源:

3)从临时表中插入数据到新表中:

前两个步骤执行没有任何错误,但第 3 步抛出以下错误:

处理语句时出错:FAILED:执行错误,从 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 返回代码 2

我在 Cloudera Manager Quickstart VM 5.8 上运行上述查询。

不确定我哪里出错了,因为同一数据库中另一个表的类似步骤按预期工作。

0 投票
2 回答
2046 浏览

hive - HIVE 表上的 TIMESTAMP

我正在尝试将数据从 Oracle 加载到 Hive 作为镶木地板。每次我将带有日期/时间戳列的表加载到配置单元时,它都会自动将这些列转换为 BIGINT。是否可以使用 sqoop 和作为 parquet 文件将时间戳/日期格式加载到配置单元?

已经尝试先在 hive 中创建表,然后使用 impala 加载数据 INPATH 镶木地板文件。
仍然因错误而失败

“文件 XX 与列 XX 列的 Parquet 模式不兼容:TIMESTAMP”

顺便说一句,我正在使用 cloudera quickstart vm。谢谢

0 投票
2 回答
573 浏览

hadoop - 在 Cloudera Quickstart VM 中导入所有表时 Sqoop 中出现错误

当我尝试通过 sqoop 导入所有表时出现以下错误:

sqoop import-all-tables -m 12 --connect 在此处输入代码"jdbc:mysql://quickstart.cloudera:3306/retail_db" --username=retail_dba --password=cloudera --warehouse-dir=/r/cloudera /sqoop_import

0 投票
1 回答
830 浏览

jdbc - cloudera docker中使用jdbc连接hive

我在本地安装了一个 cloudera docker 容器,还配置了配置单元端口,就像这样 docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 80:80 -p 10000:10000 --name cloudera2 cloudera/quickstart /usr/bin/docker-quickstart

我想把它和JDBC连接起来,我的代码是这样的,

但是NoClassDefFoundError当我尝试执行它时发生

蜂巢版本:

maven依赖

我不确定是因为用户名和密码,但我试过了"cloudera","cloudera" "hive","", and "",""

0 投票
0 回答
1059 浏览

hadoop - Cloudera VM 启动 HDFS 服务失败

当我尝试启动 HDFS 时,出现错误:

服务没有启动成功;并非所有必需的角色都已启动:仅 0/2 个角色已启动。原因:服务仅运行 0 个 NameNode 角色,而不是最低要求的 1 个。

我该如何解决这个问题?由于这个问题,我无法在这个 Cloudera VM 上工作。

0 投票
0 回答
287 浏览

hadoop - 正确的驱动程序从客户端接口连接到 Cloudera VM 5.10(CDH 5.10) 色调配置单元接口示例数据库

我正在尝试连接到 Cloudera VM 5.10(CDH 5.10)hue hive 接口示例数据库,以使用 dbVisualizer 工具(https://www.dbvis.com/download)测试正确的驱动程序我检查了 CDH 5.10 有 hive 版本 1.1,我从

我测试了两个驱动程序 1) Hive JDBC 1.1.0 独立于 https://repo1.maven.org/maven2/org/apache/hive/hive-jdbc/1.1.0/ 2) "hive-jdbc-1.1.0- cdh5.10.0-standalone.jar" 直接从 cdh VM 获取。

如果我在这里做错了什么,请告诉我。

0 投票
0 回答
81 浏览

java - 无法在 Cloudera VM 上运行 Hadoop Jar

我已经获得了一个 Cloudera VM 用于学习 Hadoop。我在 java 中创建了一个基本的 wordcount 程序并将其导出到一个 jar 文件。我试图运行 jar 文件,但我得到了这个:

它一直持续到达到 10 次。我以前从未使用过 Hadoop,所以我很新,不知道我在用这个做什么。任何帮助表示赞赏。

其他一些信息:

核心站点.xml:

hdfs-site.xml: