问题标签 [hive]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
3099 浏览

hadoop - MDX 对 Hive (Hadoop) 的支持

Hadoop 的 Hive 是否支持多维表达式 (MDX)?

0 投票
1 回答
2462 浏览

python - Python 客户端支持在 Amazon EMR 之上运行 Hive

我注意到 mrjob 和 boto 都不支持 Python 接口在 Amazon Elastic MapReduce (EMR) 上提交和运行 Hive 作业。是否有任何其他 Python 客户端库支持在 EMR 上运行 Hive?

0 投票
1 回答
2020 浏览

map - 蜂巢有自己的地图减少程序吗?

我想在我的应用程序上实现 hive+hadoop map reduce 程序,我仍然想知道,因为我已经多次尝试查询和查找有关 hive 中 map reduce 程序的信息。

我的问题是,蜂巢有自己的地图减少程序吗?因为当我尝试一点复杂的查询时,日志就像:

该查询中有 map reduce 过程,然后如果我尝试用谷歌搜索一些在 hive 中实现的 map reduce 程序,还有其他方法可以创建我们的 map reduce 程序。

我的意见是,我们可以使用 hive 来处理数据挖掘(大型查询)(我不知道对错?请纠正我)我们可以创建我们的 map reduce 程序以在 hive 中实现特定任务(这是真的吗?)

对此有什么解释吗?

谢谢大家的解释和关注,对不起我的英语不好..谢谢..:D

0 投票
1 回答
19987 浏览

hadoop - Hive 上的自定义 Map Reduce 程序,规则是什么?输入输出如何?

我被困了几天,因为我想根据我在 hive 上的查询创建一个自定义 map reduce 程序,我在谷歌搜索后发现的例子并不多,我仍然对规则感到困惑。

创建我的自定义 mapreduce 程序的规则是什么,mapper 和 reducer 类呢?

任何人都可以提供任何解决方案吗?

我想用Java开发这个程序,但我仍然卡住了,然后在收集器中格式化输出时,如何在mapper和reducer类中格式化结果?

有人想给我一些关于这种东西的例子和解释吗?

0 投票
2 回答
46013 浏览

hive - Hive 中的更新、SET 选项

我知道 Hadoop 中没有文件更新,但在 Hive 中,可以使用语法糖将新值与表中的旧数据合并,然后用合并的输出重写表,但如果我在另一个中有新值表然后我可以通过使用左外连接来达到相同的效果。

在我的情况下,问题是我必须通过将一个值设置为具有某种where条件的列来更新表。已知SET不支持。

例如,考虑以下普通查询:

我试图在 Hive 中进行相同的转换,但我被困在SET. 如果有人让我知道,那对我来说将是一个很大的帮助。

0 投票
1 回答
4425 浏览

hadoop - How to configure hive server to run on remote mode?

i added hive package to my hadoop cluster. if i go into hive cli, i can run hive in remote mode. but queries going through hive server runs in local mode which is really slow... the only changes i did to hive is to set up derby network server, following this link: http://wiki.apache.org/hadoop/HiveDerbyServerMode i also have exported HADOOP_CONF_DIR, HADOOP_HOME, HIVE_CONF_DIR, HIVE_HOME in my environment...

anybody know how to fix this?

0 投票
1 回答
9350 浏览

hadoop - 在配置单元中使用外部表支持数组列类型的最佳方法是什么?

所以我有制表符分隔数据的外部表。一个简单的表格如下所示:

现在我在末尾添加另一个字段,它将是一个逗号分隔的值列表。

有没有办法以与指定字段终止符相同的方式指定它,还是我必须依赖其中一个 serdes?

例如:

(我假设我需要为此使用 serde,但我认为询问没有任何害处)

0 投票
2 回答
3814 浏览

hadoop - 逐步遵循 Hive apache wiki 时出现 Hive 安装问题

按照 Hive apache wiki 上的说明一步一步安装 Hive 后,我调用了 hive shell 并输入“CREATE TABLE pokes (foo INT, bar STRING);”,然后出现以下错误,日志也包括在内。

我是 Hive 新手,有什么建议或意见吗?非常感谢!我发现通过谷歌网络提出的问题,但没有找到解决方案。

我在 Mac 上对 Hadoop 使用单机模式。

hive> CREATE TABLE poke (foo INT, bar STRING); 失败:元数据错误:javax.jdo.JDOFatalInternalException:捕获到意外异常。NestedThrowables:java.lang.reflect.InvocationTargetException FAILED:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1

日志文件:

0 投票
1 回答
6871 浏览

hadoop - Hive - 从 zip 文件创建一个表

我有一堆 CSV 的 zip 文件,我想从中创建 Hive 表。我正在尝试找出最好的方法。

  • 解压缩文件,将它们上传到 HDFS。
  • 有没有办法将文件复制到HDFS,解压缩
  • 或者还有其他更好/推荐的方法吗?
0 投票
2 回答
20822 浏览

sql - Hadoop Hive 查询:多连接

如何在 Hive 中进行子选择?我想我可能犯了一个对我来说并不那么明显的非常明显的错误......

我收到的错误:FAILED: Parse Error: line 4:8 cannot recognize input 'SELECT' in expression specification

这是我的三个源表:

...我想要做的是将结果插入到这样的结果表中:

...其中第 1 列是 URL,第 3 列是每个 URL 的前 1 个“事件”,第 5 列是访问该 URL 的前 1 个 REMOTE_ADDRESS。(甚至列是前一列的“计数”。)

Sooooo ...我在这里做错了什么?

太感谢了 :)