问题标签 [beeline]

这是我在直线上的命令 !connect jdbc:hive2://localhost:10000

我收到了这个错误

无法使用 JDBC Uri 打开客户端传输：jdbc:hive2://localhost:10000: null (state=08S01,code=0)

如何解决？

在我正在处理的集群上，每个用户都获得了 60GB 的 Hadoop 配额。从历史上看，我正在处理的项目会生成很多 Hive 查询。为了让事情更快地工作，我试图并行这些查询（这些查询是不相关的），但结果是目录 /user/{myusername}/.staging/ 被 job_{someid} 目录填充，而这些目录又被填充使用蜂巢罐并非常快速地消耗这些 60GB。虽然我可以限制并行化因素，但我也想看看是否可以要求 Hive 将这些 jar 放在不同的目录中。在我有更多空间的地方说 /tmp/{myusername}。

知道如何告诉 Hive/Beeline 在 /tmp/{myusername} 下创建 .staging 目录吗？

我正在使用 HPD-2.4.2 并尝试使用 Oozie 协调器作业将分区添加到外部 Hive 表。我创建了一个协调器，每天触发以下工作流程：

执行的脚本包含

如果我运行该作业，则会创建表但不添加分区。在纱线日志中我发现：

看起来好像 ALTER TABLE 中的参数没有被替换，为了检查这一点，我尝试直接从 CLI 调用 beeline：

这会导致错误：

如果我运行不带参数的 alter 语句

或打开定义了 hivevars 的直线控制台并执行 alter 语句

分区已创建。

我哪里错了？

更新：

hive2 操作中的参数值在 oozie.properties 文件和 coordinator.xml 中定义

在纱线日志中你发现

在它们被设置为 hive2 动作的直线调用中的 hivevars 之前。

我对色调（3.10 版）有一个奇怪的问题。

我有一个非常简单的蜂巢查询：

• 在配置单元编辑器中运行此查询有效
• 将此查询作为 oozie 工作流命令行运行
• 使用直线运行此查询命令行
• 通过配置单元中的 oozie 工作流运行此查询失败

在这种情况下失败意味着：

• drop 和 create 没有运行，或者至少没有任何效果
• 将执行工作流中的准备操作
• 工作流程中的 hive2 步骤仍然显示成功
• 将执行以下步骤。

现在我确实尝试了不同的用户（oozie 和 ambari，将位置调整为相关），成功/失败案例完全相同。

我找不到任何相关的日志，除了可能来自色调：

我看到直线开始的地方，但我没有看到像命令行一样分配的任何映射器。

有人知道会出什么问题吗？

谢谢，纪尧姆

我正在对60 GB dataset in Hive. 当我触发一个查询270 mappers时，将在 15 分钟内完成，但是当涉及到时reducer state to complete 0.01%，它至少需要 45 分钟到 1 小时。所以这项工作一直在运行。有什么办法可以解决

我正在尝试在 hive 中创建表，但出现以下错误FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde:org.apache.hadoop.hive.serde2.OpenCSVSerde

请帮助我。

我们知道 set 命令是用来给属性设置一些值的

但是我们如何读取上述属性的当前值

我尝试了以下命令，它不起作用

有人可以帮助获取正确的配置单元命令来读取上述属性的当前值。

目前insert overwrite table T1 select * from T2;在我的集群中大约需要 100 分钟。Table T1 is ORC格式化和T2 is text格式化。我正在从 T2 读取 60 GB 的文本数据并插入 ORC 表 T1（插入后为 10 GB）。如果我对两个表格都使用文本格式，则插入大约需要 50 分钟。在这两种情况下，我们可以做些什么来提高写入速度（我有大表进来）或任何其他建议？

我已经使用 JDBC 连接到 ThriftServer1。（它是一个 Cloudier 集群，4.7）。当我尝试运行任何不需要运行 map reduce 作业的查询时，程序会成功执行。但是，当相关查询需要 map-reduce 作业时，它会失败，但我在下面粘贴了异常。

例如：

请注意：这两个查询都从 Hive CLI 成功运行。查询 2 仅在从程序内运行时才会失败。

我还尝试在运行程序时将 HIVE 下的 conf 目录添加到类路径中。但无济于事。

线程“main”java.sql.SQLException 中的异常：查询返回非零代码：1，原因：失败：执行错误，从 org.apache.hadoop.hive.ql.exec.MapRedTask 返回代码 1。 hadoop.hive.jdbc.HivePreparedStatement.executeImmediate(HivePreparedStatement.java:177) 在 org.apache.hadoop.hive.jdbc.HivePreparedStatement.executeQuery

问题：为什么直线连接中的某些用户需要域，即使它通过 ldap authentciation 来确保。？

使用beeline连接时，配置了ldap认证，有的用户没有realm连接，有的用户用realm认证连接。这是因为在活动目录中创建用户时，显示名称与登录名不同。在身份验证期间，它只能通过登录名验证，但有些用户也通过显示名验证。实际上它只通过登录名验证，但这里似乎通过显示名验证。

如果您克服了这个问题，请参考所附图片并提供想法。

谢谢， 数学