问题标签 [hive]

1.) 如何从 C# 为注册表加载、编辑和保存二进制 Hive 文件？

我找到了这个 Win32 api。 http://msdn.microsoft.com/en-us/library/ee210770%28VS.85%29.aspx

这个人分享了将二进制 Hive 文件的内容转储为文本的代码。 http://www.codeproject.com/KB/recipes/RegistryDumper.aspx

2.) 除了操作 Hive 文件之外，我还搜索了一种在运行时使用 C# 将 Hive 文件加载到注册表中的方法（类似于 regedit 中许多文件上的 Load Hive 和 Unload Hive 命令）

/谢谢

我想要一种在 Ruby 中生成 SQL 查询的简单方法。我对 ActiveRecord、Sequel 和 DataMapper 了如指掌。我不是在寻找 ORM，而只是在寻找一种更简单的方法来生成 SQL 语句字符串。

我正在使用RBHive运行 Hive 查询，并且想要一种简单的方法来生成 Hive 查询语句。

这肯定存在（AR 等），我看过Arel，这似乎很有希望。但无法弄清楚如何从流行的 ORM 库中剥离 SQL 语句生成部分。一切都需要连接到数据库服务器。

目前我只使用原始 SQL 字符串，但我想摆脱它，因为查询变得越来越复杂和容易出错。

有任何想法吗？

我想将其组合成如下所示的“折叠”行：

目前，源文档是一个配置单元“表”，[我认为它与平面文本文件基本相同] - 我想知道实现这一目标的最有效方法是什么？

编辑：相关的早期问题（对于 SQL，唉，不是蜂巢）将多行组合成一个空格分隔的字符串

我是 cassandra 和 Hive 的新手。现在我想将 cassandra 与 Hadoop-Hive 集成，但我如何将 cassandra 与 Hive 集成。

所以，我有一个现有的 hdfs 目录，其中包含一堆文件。这些文件都是制表符分隔的。

我有一个蜂巢声明....

这很好用，除了所有额外的字段。该文件还在 ssn 字段之后包含 0 到 x 个额外的数据元素。它们仍然是制表符分隔的，并且 '\n' 记录分隔。我可以添加一堆“valuex 字符串”（其中 x 是额外元素的增量）......但我不知道最终可能会有多少，而且这看起来很乱。

有没有办法告诉 hive 将该行的所有剩余字段放入一个字段中，例如“其他字符串”？即使它是在 hive 返回值中用制表符分隔的......我对此表示满意。

提前致谢。

我想使用“sqoop create-hive-table”在 Hive 中创建一个表模式。我的数据库是 Oracle Database 10g Enterprise Edition 10.2.0.4.0，我使用 sqoop-1.2.0-cdh3u0 和 hive-0.7.0-cdh3u0。之后要在 Hive 表上加载的数据已经在 HDFS 上，我更愿意让 sqoop 和 hive 自动创建表元数据，而不是手动创建它并在之后加载数据。

这是我执行的命令：

我收到以下错误：

11/05/12 11:33:11 INFO hive.HiveImport：将上传的数据加载到 Hive

11/05/12 11:33:12 INFO manager.OracleManager: 时区已设置为 GMT 11/05/12

11:33:12 INFO manager.SqlManager：执行 SQL 语句：SELECT t.* FROM BFUNC1.R1_EVOLUTION t WHERE 1=0

2012 年 11 月 5 日 11:33:14 信息 hive.HiveImport：Hive 历史文件=/tmp/edjatsay/hive_job_log_edjatsay_201105121133_1466429457.txt

2012 年 11 月 5 日 11:33:14 信息 hive.HiveImport：失败：解析错误：第 1:58 行不匹配输入“）”在列规范中需要标识符

11/05/12 11:33:14 信息 hive.HiveImport:

2012 年 11 月 5 日 11:33:14 错误 tool.CreateHiveTableTool：运行创建表作业时遇到 IOException：java.io.IOException：Hive 以状态 11 退出

这是数据库中表的架构：

在此先感谢您的帮助。

执行时INSERT OVERWRITE LOCAL DIRECTORY是否可以指定要使用的分隔符？

对于列、集合、映射、数组......分隔符使用的整个策略。

显示如何实施的文件或类似文件将是非常棒的。:)

（我确定存在类似的问题，但我还没有找到我正在寻找的答案。）

我正在使用Hadoop和Hive（对于熟悉 SQL 的开发人员）每晚批处理数 TB 的数据。从几百个大型 CSV 文件的输入中，我输出了四五个相当大的 CSV 文件。显然，Hive 将这些存储在 HDFS 中。最初，这些输入文件是从一个巨大的 SQL 数据仓库中提取的。

Hadoop 对于它所做的事情非常有价值。但是处理输出的行业标准是什么？现在我正在使用 shell 脚本将它们复制回本地文件夹并将它们上传到另一个数据仓库。

本题：（Hadoop与MySQL集成）调用Hadoop导出非标准重新导入的做法。如何使用 BI 工具探索我的数据，或将结果集成到我的 ASP.NET 应用程序中？节约？原型？Hive ODBC API 驱动程序？一定会有更好的办法.....

开导我。

我在使用 Whirr 启动新的 hadoop 实例的 EC2 实例上进行了设置。我一直在尝试让 Hive 使用此设置。Hive 应配置为使用 mysql 作为本地元存储。我遇到的问题是，每次我尝试通过 hive 接口运行类似（ CREATE TABLE testers (foo INT, bark STRING); ）之类的查询时，它就挂在那里并且似乎没有做任何事情。

任何帮助，将不胜感激。

有谁知道如何实现这一目标？

我假设 RJDBC 会有所帮助；但根据我（可能是幼稚的）理解，需要进行一些调整才能为此编写或调整 Hive 驱动程序。

相关文件：

• http://wiki.apache.org/hadoop/Hive/HiveClient
• http://cran.r-project.org/web/packages/RJDBC/RJDBC.pdf

欢迎任何帮助或建议！如果以前没有人这样做，我很乐意为解决方案编写一些代码，但我知道几乎没有 Java。