问题标签 [beeswax]

关于 cloudera cdh4 发行版中提到的两台服务器，我有一个基本问题

1. 这两个是否可以互换/可替换，因为您可以运行蜂蜡代替蜂巢服务器吗？
2. 我正在尝试使用节俭客户端进行连接，并且在我的设置中只有蜂蜡正在运行，而不是蜂巢服务器。在这种情况下，我可以连接到蜂蜡服务器吗？

我已经建立了一个 Hadoop 集群（通过 Cloudera Manager 使用 Cloudera 发行版）并且我正在使用 Hue 界面运行一些 Hive 查询，该界面在下面使用 Beeswax。

我所有的查询都运行良好，我什至成功地部署了一个自定义 UDF。

但是，在部署 UDF 时，我遇到了一个非常令人沮丧的版本控制问题。在我的 UDF 类的初始版本中，我使用了一个导致StackOverflowError.

我修复了这个错误，然后验证了 UDF 可以从 hive 命令行成功部署和使用。

然后，当我再次使用 Hue 和 Beeswax 时，我一直收到同样的错误。我只能通过更改我的 UDF java 类名来解决这个问题。（从Lower到Lower2）。

现在，我的问题是，处理这些版本问题的正确方法是什么？

据我了解，当我使用左侧方便的表单字段添加 jar 时，它们会被添加到分布式缓存中。那么，如何刷新/清除分布式缓存？（我无法LIST JARS;从 Hive / Beeswax 中运行等。它给了我一个语法错误。）

我正在运行一个使用 cloudera 管理器安装的 cloudera hadoop 集群。

我有一个使用直接配置单元 CLI 成功部署和运行的 UDF。这涉及使用“hive --auxpath xxx”向 hive 添加一些库 jar，然后创建一个临时函数。

但是，当我尝试使用 Hue + Beeswax 做同样的事情时，我使用左侧方便的表单字段添加资源和临时函数，我不断收到此错误：

我一遍又一遍地搜索，找不到翻译“-101”错误代码的地方。

我目前正在查看的日志不是很有帮助。是否有我应该查看的包含更多信息的不同日志？

如果你们能为我翻译“错误代码-101”或指出我正确的方向，我将不胜感激。

谢谢！

我在用着：

我的 cloudera 管理器在单独的机器上运行，它不是集群的一部分。

使用 cloudera manager 设置集群后，我开始通过 hue + beeswax 使用 hive。

一切都运行良好了一段时间，然后突然间，每当我对具有大量分区（大约 14000）的特定表运行任何查询时，查询开始超时：

当我注意到这一点时，我查看了日志，发现与 Hive Metastore 的连接超时：

看到这里，我认为 hive 元存储有问题。所以我查看了 hive 元存储的日志并发现了 java.lang.OutOfMemoryErrors：

此时，配置单元元存储关闭并重新启动：

现在，为了解决这个问题，我更改了配置单元元存储服务器和蜂蜡服务器的最大堆大小：

当我继续在 hive 元存储日志中看到 OOME 时，上述 2 个步骤似乎都没有帮助。

然后我注意到实际的元存储“数据库”正在作为我的 cloudera 管理器的一部分运行，我想知道 PostgreSQL 进程是否内存不足。我寻找增加该进程的 java 堆大小的方法，但发现的文档很少。

我想知道你们中的一个人是否可以帮助我解决这个问题。

我应该增加嵌入式数据库的 java 堆大小吗？如果是这样，我会在哪里做这个？

还有什么我想念的吗？

谢谢！

我一直在尝试创建一个包含另一个表中的列的表，但 Hive CLI 始终未能这样做。

以下是查询：

此 Hive 查询附带的 CLI 错误如下：

检查作业跟踪器后，任务及其所有尝试（直到作业被终止）都有以下相同的错误：

上面的相同查询在 Hive Beeswax 中有效。

我一直成功地在 Hive Beeswax 中创建这些类型的查询。上面的相同查询（使用不同的表名）有效并且具有以下日志：

以下是与我的 Hive CLI 一起使用的实例：

• 如果创建的是视图而不是表，则上述查询也有效。
• 可以创建空表
• 可以创建来自 HDFS 文件的表（例如，从第一个代码块中找到的 tweets_sample 表是从 HDFS 文件创建的

这是通过 Hive CLI 对 tweets_sample 执行的查询：

目前，我被困在如何解决这个问题上。

其他注意事项：

我工作的环境如下：

• Oracle VM VirtualBox 上的 Hortonworks Sandbox v1.3
• 我正在编写 Hortonworks 教程 #13
• Hive Beeswax 查询是通过来自用户“hue”的 Hue UI 执行的
• Hive CLI 查询从用户“root”执行（也从用户“hue”进行测试）

我对 hiveQL 有点陌生，可以使用一些技巧。

我正在努力在 Beeswax 中创建一个视图，我想将字符串转换为日期数据类型。

我的目标是关闭时间信息，然后返回日期。

例子：

转换 '2013-11-01 12:31:15'

到'2013-11-01'</p>

有谁知道这样做的方法或功能？

我正在使用当前的 Cloudera 快速启动 VM。我创建了一个包含一些数据的 Hive 表。然后，我使用 Hive Storage Handler 创建了一个外部表。我能够填充 HBase 表。但是，在查询 Hive/HBase 表时，出现以下错误（NullpointerException）：

我嵌入了 Guava、zookeeper、hbase 和 hive-hbase-handler JAR。我按照本教程中的说明进行操作：http ://www.n10k.com/blog/hbase-via-hive-pt2/

我正在使用当前的 Cloudera-Quick-Start VM。Job 和 Task-Tracker 日志以及 Beeswax 日志什么也没告诉我。

你对我做错了什么有任何想法吗？

我很感激任何建议！

最好的问候，莉娜

当然希望有人可以通过基于驻留在 HDFS 目录中的逗号分隔文件自动添加数据来帮助我创建外部 HIVE 分区表。我的理解或缺乏理解是，当您定义 CREATE EXTERNAL TABLE, PARTITIONED 并为其提供 LOCATION 时，它应该递归扫描/读取每个子目录，并将数据加载到新创建的分区外部表中。下面应该提供一些关于我的麻烦的额外见解......</p>

并且每个 'dt=' 子目录都包含分隔文件。

以下是我的 CREATE EXTERNAL TABLE 语法的示例：

在创建我的 master_test 外部表时，我会认为我所有的分隔文件都已经包含在创建时的表中。我将数据放入新定义的外部表的唯一方法是通过 ALTER TABLE ADD PARTITION 语句，例如：ALTER TABLE master_test ADD PARTITION (dt='2014-04-16')。或者，如果我明确定义分隔文件的位置，它会将单个文件添加到定义的表中。

非常感谢任何建议或指导。

我正在尝试从 Hue - Beeswax 运行配置单元查询。当我从 shell 运行相同的查询时，我能够成功执行查询。但是从蜂蜡我收到以下错误。

我有一个 .csv 文件，格式为一个（第一）列/单元格，我的配置单元表中有我想要的五个字段，用分号分隔；像这样：

我可以使用 Hive 查询来拆分数据吗？并将其存储在我创建的具有相同列名顺序的表中？

像regexp_extract？还是我需要使用serde？

我是 Hadoop/hive/beeswax 的新手，正在使用 Cloudera-quickstart vm 5.2