8

我正在尝试学习 Hive。令人惊讶的是，我找不到如何编写简单的字数统计工作的示例。以下是正确的吗？

假设我有一个输入文件input.tsv：

hello, world
this is an example input file

我在 Python 中创建了一个拆分器，将每一行转换为单词：

import sys

for line in sys.stdin:
 for word in line.split():
   print word

然后我的 Hive 脚本中有以下内容：

CREATE TABLE input (line STRING);
LOAD DATA LOCAL INPATH 'input.tsv' OVERWRITE INTO TABLE input;

-- temporary table to hold words...
CREATE TABLE words (word STRING);

add file splitter.py;

INSERT OVERWRITE TABLE words 
  SELECT TRANSFORM(text) 
    USING 'python splitter.py' 
    AS word
  FROM input;

SELECT word, count(*) AS count FROM words GROUP BY word;

我不确定我是否遗漏了什么，或者它是否真的这么复杂。（特别是需要临时words表吗，需要写外部拆分器函数吗？）

4

3 回答 3

12

如果您想要一个简单的，请参阅以下内容：

SELECT word, COUNT(*) FROM input LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;

我使用横向视图来启用表值函数（explode）的使用，该函数采用拆分函数产生的列表并为每个值输出一个新行。在实践中，我使用包装了 IBM 的 ICU4J 分词器的 UDF。我通常不使用转换脚本，而对所有内容都使用 UDF。您不需要临时单词表。

于 2012-04-08T23:10:52.183 回答
2 
CREATE TABLE docs (line STRING);
LOAD DATA INPATH 'text' OVERWRITE INTO TABLE docs;
CREATE TABLE word_counts AS
SELECT word, count(1) AS count FROM
(SELECT explode(split(line, '\s')) AS word FROM docs) w
GROUP BY word
ORDER BY word;
于 2014-06-25T06:03:13.760 回答
1

您可以将 hive 中的内置 UDF 语句如下：

1) 第 1 步：创建一个临时表，其中包含一个名为 sentence 的数据类型数组的单列

create table temp as select sentence from docs lateral view explode(explode(sentences(lcase(line)))) ltable as sentence

2）第2步：从临时表中选择你的单词再次爆炸列句

select words,count(words) CntWords from
(
select explode(words) words from temp
) i group by words order by CntWords desc

于 2014-12-26T08:47:04.693 回答