问题标签 [hive-serde]

我正在尝试创建下表结构，但没有得到想要的结果

我正在尝试创建下表结构，但没有得到想要的结果 我正在尝试创建下表结构，但没有得到想要的结果 我正在尝试创建下表结构，但没有得到想要的结果结果

这是可能的还是关于如何以上述格式获取此数据的任何其他建议。任何帮助都会很棒。谢谢你。`

在以 ORC 格式的 hive 中创建表时出现错误。下面是创建表脚本。

我收到“失败：执行错误，从 org.apache.hadoop.hive.ql.exec.MapRedTask 返回代码 2”

检查日志后，注意到以下错误。

java.lang.ClassCastException：org.apache.hadoop.io.Text 无法转换为 org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow

任何人都可以在这方面提供帮助吗？

我hivexmlserde-1.0.5.3用来将 XML 数据解析为 Hive 表。当我尝试解析其中有换行符的标签时，我遇到了一个问题，如下所示：

当我尝试使用以下内容解析它时，这只是读取第一行：

我做错了什么还是有更好的方法来做到这一点？任何帮助将不胜感激。

TIA

所以我做了所有的研究，在 HIVE 的任何地方都看不到同样的问题。

按照下面的链接，我对引号中的数据没有任何问题..

https://github.com/ogrodnek/csv-serde

我的外部表创建具有以下 serde 属性，但由于某种原因，默认的 escapeChar('\') 被quoteChar 取代，quoteChar 是我的数据的双引号(")。

数据问题：

示例 HDFS 源数据：“\”抢劫业务目标 HIVE 输出：“”“抢劫业务

所以替换后"""Robs业务中看到的三个双引号导致数据不需要的数据定界（列是一个很长的字符串）可能是因为HIVE无法处理数据内部的三个双引号（quote（“）也是我的默认引号字符）？

为什么会发生这种情况，是否有解决方案？请帮忙。非常感谢。

最好的，阿莎

以下测试片段

失败了

Contact在哪里

并且Mail是

和测试输出是

深入研究 JSON4S 的代码库表明根本没有使用类型提示。

如何强制 JSON4S 使用类型提示？

干杯

我有一个保存在 ORC 文件中的配置单元表，这是“创建”命令中的定义：

我想从最后删除一列，所以我尝试了“Alter Table - Replace Columns”命令，我没有写列名 - 但得到了这个错误： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cannot drop columns for table default.table. SerDe may be incompatible

有没有办法在 Hive 中替换 ORC 表中的列？谷歌在这个问题上让我失望了......

谢谢！

我正在尝试在现有的 avro 文件上创建一个外部配置单元表。下面是查询。

表已创建，我可以使用简单的 SELECT 查询查看数据。但是，avro 中很少有列可以有换行符。例如，评论列数据可以有段落（带有换行符）。因此，数据没有正确加载到表中（无论 avro serde 在列中遇到换行符的任何位置，它都将其视为下一条记录/行）。我在互联网上找不到任何例子。是否有任何解决方法来处理这种情况？

提前致谢。

我正在寻找使用 Serde 解析 HIVE 中的 json 字符串，但是从 HIVE 表中已经存在的字符串中看不到一种简单的方法。你知道我该怎么做吗？

为了让我的场景更容易理解，我可以尝试以下示例：

感谢你的帮助！

我正在尝试将以下格式的数据导入配置单元表

我有多个这样的文件，我希望每个 {} 在表格中形成一行。这是我尝试过的：

不过，这并不是为每个 {} 创建一行。我也试过

但这也行不通。是否有某种方法可以将输入指定为一个数组，其中每条记录都是配置单元查询的数组中的一个项目？关于做什么的任何建议？

跟随https://github.com/Esri/gis-tools-for-hadoop/wiki/Aggregating-CSV-Data-%28Spatial-Binning%29但在 spark 上找不到 serde 的类。

我的构建定义如下所示：https ://github.com/geoHeil/spatial-heatmaps/blob/master/esri/build.sbt并包括：

整个项目可以在 GitHub 上找到： https ://github.com/geoHeil/spatial-heatmaps/tree/master/esri

通过运行sbt console和粘贴代码来执行应用程序（暂时）