0

我正在尝试使用具有此包结构的 JSON 文件：

{
   "user_id": "kim95",
   "type": "Book",
   "title": "Modern Database Systems: The Object Model, Interoperability, and Beyond.",
   "year": "1995",
   "publisher": "ACM Press and Addison-Wesley",
   "authors": [
      {
         "name": "null"
      }
   ],
   "source": "DBLP"
}
{
   "user_id": "marshallo79",
   "type": "Book",
   "title": "Inequalities: Theory of Majorization and Its Application.",
   "year": "1979",
   "publisher": "Academic Press",
   "authors": [
      {
         "name": "Albert W. Marshall" 
      },
      {
         "name": "Ingram Olkin"
      }
   ],
   "source": "DBLP"
}

我尝试使用 serde 为 Hive 加载 JSON 数据。我遵循了我在这里看到的两种方式： //blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/

使用此代码： 

CREATE EXTERNAL TABLE IF NOT EXISTS serd (
           user_id:string, 
           type:string, 
           title:string,
           year:string,
           publisher:string,
           authors:array<struct<name:string>>,
           source:string)       
    ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
    LOCATION '/user/hdfs/data/book-seded_workings-reduced.json';

我收到了这个错误：

error while compiling statement: failed: parseexception line 2:17 cannot recognize input near ':' 'string' ',' in column type

我也试过这个版本： https ://github.com/rcongiu/Hive-JSON-Serde

这给出了一个不同的错误：

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.openx.data.jsonserde.JsonSerde

任何想法？

我还想知道有什么替代方法可以使用这样的 JSON 来查询“作者”中的“名称”字段。是猪还是蜂巢？

我已经将其转换为“tsv”文件。但是，由于我的作者列是一个元组，如果我从这个文件构建一个表，我不知道如何使用 Hive 对“名称”提出请求。我应该更改我的脚本以进行“tsv”转换还是保留它？或者有没有 Hive 或 Pig 的替代品？

4

2 回答 2

0

Hive 没有内置对 JSON 的支持。因此，为了在 Hive 中使用 JSON，我们需要使用第三方 jar，例如： https ://github.com/rcongiu/Hive-JSON-Serde

create table 语句有几个问题。它应该如下所示：

CREATE EXTERNAL TABLE IF NOT EXISTS serd ( 
user_id string,type string,title string,year string,publisher string,authors array<string>,source:string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION...

您正在使用的 JSON 记录将每条记录保存在一行中，如下所示：

{"user_id": "kim95", "type": "Book", "title": "Modern Database Systems: The Object Model, Interoperability, and Beyond.", "year": "1995", "publisher": "ACM Press and Addison-Wesley", "authors": [{"name":"null"}], "source": "DBLP"} 
{"user_id": "marshallo79", "type": "Book", "title": "Inequalities: Theory of Majorization and Its Application.", "year": "1979", "publisher": "Academic Press","authors": [{"name":"Albert W. Marshall"},{"name":"Ingram Olkin"}], "source": "DBLP"}

从 GIT 下载项目后，您需要编译将创建一个 jar 的项目，您需要在运行 create table 语句之前将该 jar 添加到 Hive 会话中。

希望能帮助到你...！！！

于 2014-08-06T06:26:12.933 回答
0

add jar 仅添加到不可用的会话中，最后出现错误。将 JAR 加载到 Hive 和 Map Reduce 路径的所有节点上，如下所示，以便 HIVE 和 Map Reduce 组件在被调用时选择它。

  1. /hadoop/CDH_5.2.0_Linux_parcel/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib/json-serde-1.3.6-jar-with-dependencies.jar

  2. /hadoop/CDH_5.2.0_Linux_parcel/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop-mapreduce/lib/json-serde-1.3.6-jar-with-dependencies.jar

注意：此路径因集群而异。

于 2016-03-07T15:37:40.927 回答