问题标签 [apache-hive]

我有多个现有的表存储在 hdfs 中。我想从现有的外部表创建新表，以便我可以对数据进行存储、排序和压缩。

从现有表创建表的正确方法是什么？我可以将现有表导出到 CSV，然后创建一个新表并将其导入，但似乎应该有一种方法可以直接从现有表中导入数据，但我在文档中或通过谷歌没有找到任何内容。

我正在寻找一种方法来优化我的查询。

我们有一个名为 的表，其中lea有一列app_properties是标签，存储为逗号分隔的字符串。

我想选择与选择所需标签的查询结果匹配的所有事件。

我的第一次尝试：

但是 Hive 不允许这样做...

FAILED: SemanticException [Error 10249]: Line 4:6 Unsupported SubQuery Expression 'tag': Correlating expression cannot contain unqualified column references.

WHERE tag IN通过替换WHERE tag_table.tag IN而不是运气再试一次......

FAILED: SemanticException Line 4:6 Invalid table alias tag_table' in definition of SubQuery sq_1 [tag_table.tag IN (SELECT source_value FROM mapping WHERE indicator = 'Bandwidth Usage')] used as sq_1 at Line 4:20.

最后......下面的查询给出了预期的结果，但我感觉这不是解决这个用例的最优化方法。有没有人遇到过相同的用例，您需要从 a 中选择LATERAL VIEW使用 a Sub query？

我需要连接 Hive2 并从中检索信息。我在 POM 中使用 apache HiveServer2 客户端连接到 Hive：

代码是：

但是在运行这个应用程序时，我得到了这个异常：

谁能告诉我这个异常是怎么抛出的？

我是 Apache Hive 的新手。在处理外部表分区时，如果我直接向 HDFS 添加新分区，则在运行 MSCK REPAIR 表后不会添加新分区。以下是我尝试过的代码，

-- 创建外部表

--详细的表格信息

-- 在 HDFS 中创建目录以加载表工厂的数据

-- 表格数据

-- 从本地复制到 HDFS

-- 在元存储中更改表以更新

现在我创建了新文件 factory3.txt 以添加为表工厂的新分区

-- 创建路径并复制表数据

现在我执行了以下查询来更新添加的新分区的元存储

现在该表没有给出 factory3 文件的新分区内容。在为表工厂添加分区时，我可以知道我在哪里做错了吗？

然而，如果我运行 alter 命令，那么它会显示新的分区数据。

我可以知道为什么 MSCK REPAIR TABLE 命令不起作用吗？

嗨当我尝试运行以下命令时

在蜂巢外壳中，它会引发以下错误

我的 default.fs.name 属性在哪里

我的 hive.metastore.warehouse.dir 在哪里

任何人都可以帮助我吗？

我在 Apache hive 中使用 Python 用户定义函数将字符从小写字符更改为大写字符。我收到“关闭运算符时出现 Hive 运行时错误”的错误。

以下是我尝试的查询：

从上表中，item 和 city 字段应该从小写变为大写，并且 count 应该增加 10。

使用的 Python 脚本：

将table1数据插入table2

如果我执行，我会收到以下错误。我无法追踪问题。我能知道它出错了吗？

我已经用 Hive 0.13.1 版本配置了 3 节点 Spark（版本 1.4.0）集群环境。并使用./sbin/start-thriftserver.sh启动 Spark thrift 服务。

多个用户正在使用具有相同端口和不同用户名的相同 thrift 服务。

但问题是，当一个用户执行像use mytest这样的查询时。然后数据库更改会自动反映给其他用户。

我试图了解 SAS 和 Hadoop 之间的集成。据我了解，像 proc sql 这样的 SAS 进程只能针对 SAS 数据集工作，我不能针对 hadoop 节点上的文本文件发出 proc sql。这是正确的吗？

如果是，那么我需要使用一些 ETL 作业首先将数据从 HDFS 中取出并将其转换为 SAS 表。但是如果我这样做，我将失去 Hadoop 的并行处理能力，对吗？

那么，集成 SAS 和 Hadoop 并仍然使用 Hadoop 的并行处理能力的理想方式是什么？

我知道您可以从 SAS 内部调用 map reduce 作业，但是可以用 SAS 编写 map reduce 作业吗？我想不是。

当我尝试在配置单元中创建表时，收到以下错误消息。知道为什么会这样吗？

失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。MetaException（消息：对于直接 MetaStore DB 连接，我们不支持在客户端级别重试。）

以下是日志：

hbase我正在从我的 java 程序中插入数据。由于我们需要将所有内容转换为字节数组以插入到 hbase 中，所以我正在这样做。但是当我的输入字符串中有任何换行符时，它会在 hbase 中存储十六进制值（例如：我试图插入字符串"prasad\r\nchowdary"，但hbase它就像prasad\x0D\x0Achowdary）。

我的问题是当 hbase 中的数据是这样时，当我尝试从 hive 查询此表时，我的 jdbc 结果集对单行重复了两次。

那么如何避免它\r\n在插入hbase时转换为十六进制。