问题标签 [hive-serde]

我有一个如下所示的 JSON 文件，我想将其加载到具有解析格式的 HIVE 表中，我可以选择哪些选项。

如果是 AVRO，那么我可以直接使用 AvroSerDe。但本例中的源文件是 JSON。

我确实尝试使用创建表org.openx.data.jsonserde.JsonSerDe，但它没有向我显示数据。

尝试更改 hive 中的 cloumn 类型，运行 DDL，但抛出错误

运行以下 DDL：

错误：

帮助？我究竟做错了什么。请建议。

我正在创建一个avro serde用于存储 twitter 数据的配置单元表。

这是代码-

我收到错误-

我已经尝试将 avsc 文件的输入作为

在本地和 hdfs 文件系统中，我都遇到了同样的错误。

数据如下：

{"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07","re​​commended":null,"activity":8}

我正在运行的查询是：

遇到的错误是：

java.lang.NoSuchFieldError: org.openx.data.jsonserde.objectinspector.primitive.JavaStringJsonObjectInspector.(JavaStringJsonObjectInspector.java:14) 处 org.openx.data.jsonserde.objectinspector.primitive.TypeEntryShim.(TypeEntryShim.java:27) 处的 byteTypeInfo ）在 org.openx.data.jsonserde.objectinspector.JsonObjectInspectorFactory.(JsonObjectInspectorFactory.java:196) 在 org.openx.data.jsonserde.JsonSerDe.initialize(JsonSerDe.java:125) 在 org.apache.hadoop.hive.metastore .MetaStoreUtils.getDeserializer(MetaStoreUtils.java:215) 在 org.apache.hadoop.hive.ql.metadata.Table.getDeserializerFromMetaStore(Table.java:268) 在 org.apache.hadoop.hive.ql.metadata.Table.getDeserializer (Table.java:261) 在 org.apache.hadoop.hive.ql.metadata.Hive 的 org.apache.hadoop.hive.ql.metadata.Table.getCols(Table.java:587)。在 org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask. java:256) 在 org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:144) 在 org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)在 org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1355) 在 org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1139) 在 org.apache.hadoop.hive .ql.Driver.run(Driver.java:945) 在 org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 在 org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver .java:216) 在 org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) 在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:756) 在 org.阿帕奇。hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 在 sun.reflect.DelegatingMethodAccessorImpl。在 org.apache.hadoop.util.RunJar.main(RunJar.java:156) 的 java.lang.reflect.Method.invoke(Method.java:597) 处调用(DelegatingMethodAccessorImpl.java:25) 失败：执行错误，返回来自 org.apache.hadoop.hive.ql.exec.DDLTask 的代码 -101597）在 org.apache.hadoop.util.RunJar.main（RunJar.java:156）失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 -101597）在 org.apache.hadoop.util.RunJar.main（RunJar.java:156）失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 -101

我使用了各种 JsonSerder jar，但得到了同样的错误。请帮我。

嗨，我有一个带有结构数组的 avro 模式，我能够将数据保存为 avro。但是在从中检索数据时

我无法排成一行。我在单行中获得的所有数据。

这是表定义

蜂巢表结构

我在查询中使用“LATERAL VIEW explode”选项

但我仍然在单行中获取数据。

我想将这些数据作为

我已经阅读了关于 stackoverflow 的另一个问题：Exploding Array of Struct using HiveQL

但无法获得预期的输出。因为在那篇文章中它的配置单元外部表而不是我无法指定“MAP KEYS TERMINATED BY”和“COLLECTION ITEMS TERMINATED BY”的 serde

任何帮助深表感谢。

谢谢

我们有一个ebcdic 示例文件。它存储在/user/hive/warehouse/ebcdic_test_file.txt

文件的 Cobol 布局存储在/user/hive/Warehouse/CobolSerde.cob

我们在 Hue 浏览器查询编辑器上运行。我们也在 CLI 中尝试过。但是同样的错误即将到来

我们添加了 CobolSerde.jar。通过添加 jar/home/cloudera/Desktop/CobolSerde.jar

已成功添加。通过 LIST JARS 证明。

询问

处理语句时出错：

1. 为什么会出现错误？
2. 什么是 fb.length？

在创建表时，我面临结构类型中键名中的空格问题。

以下是我正在使用的创建表命令

以下是错误消息：

“国家名称”与“``”一起工作正常但是如果我创建一个结构并在结构内部使用反引号它会抛出错误。有没有办法定义键（名称之间有空格) 在结构类型中？

提前致谢

我已经为在本地机器上将 EBCDIC 转换为 ASCII 编写了代码（java）。我们正在编写一个用于 hive 查询的 serde，这将使 Hive 能够读取 EBCDIC 文件并在运行时将其转换为 ASCII 文件。这就是我们编写 SerDe 的原因。那么如何集成这段代码呢。本地机器到 SerDe。

我在hadfs中有如下json。

我想在 hive 中创建一个外部表来分析数据。

我下载了 json-serde-1.3.7-jar-with-dependencies.jar 并添加到 hive shell 中。这是我运行的查询

但它不起作用。任何人都可以帮助解决这个问题吗？

我正在尝试使用 Hive 中的 xml serde 从 xml 中提取时间戳。外部表创建链接到 hdfs 目录。目前，时间戳值在我的表中显示为 null。

我在想时间戳需要被铸造吗？我不确定。其余的 xml 信息工作正常并显示在 hive 中。

输入文件为：

Hive 创建脚本：