1

我是 hive 的新手，我想在以空格分隔的数据上使用它。是否有预先存在的方法可以将引号（“”）中的内容组合在一起？

4

2 回答 2

2

一种方法是上面 Tariq 所说的。另一个是定义正则表达式。

您可以根据需要定义 Hive 的RegexSerDe 类来定义正则表达式。
让我们看一下示例：

对于 Apache 访问日志，有以下形式的示例数据：

10.243.31.1 - - [23/Aug/2013:16:38:07 +0530] "POST /Haas/controller/main.php HTTP/1.1" 200 26 "http://10.232.5.169:81/Haas/view/dashboard.php" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36"
10.243.31.1 - - [23/Aug/2013:16:38:07 +0530] "POST /Haas/controller/main.php HTTP/1.1" 200 31 "http://10.232.5.169:81/Haas/view/dashboard.php" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36"
10.243.31.1 - - [23/Aug/2013:16:38:13 +0530] "POST /Haas/controller/main.php HTTP/1.1" 200 31 "http://10.232.5.169:81/Haas/view/dashboard.php" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36"

现在我们要为其定义正则表达式，并将这些数据存储到 hive 表中。所以 Hive 表架构将是：

CREATE TABLE apache_log(
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?",
  "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"
)
STORED AS TEXTFILE;

如需更多参考，请参阅GettingStarted#DDL_Operations

于 2013-08-26T10:23:38.633 回答
0

我没有得到你问题的最后一部分。加载空格分隔的数据与加载任何其他字符分隔的数据相同：

CREATE TABLE demo(f1 datatype, ..., fn datatype) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';

于 2013-08-23T00:08:11.823 回答