问题标签 [hcatalog]

我想DataFrame使用以下命令另存为表：

但是当我尝试最后一行时，我得到了以下信息stacktrace：

用户nanounanue在该目录中具有写权限：

什么不见​​了？

我是 Hadoop 新手。我一直在基于在 Linux 上运行的预构建 Hadoop 虚拟机做以下教程。

hadoop教程

我确实基于一个文件在默认数据库上创建了一个 Hcatalog 表。我想知道这些数据库和表是否可以在 Hadoop 文件系统上看到，或者它们是否在某种特殊的存储中。

我在 Windows 7 主机上运行 Hortonworks 2.2 沙箱。我为虚拟机分配了 2GB 内存。每次尝试创建表时，都会出现以下错误：

创建表时 HCatClient 错误：{“语句”：“使用默认值；创建表 kjdrg（abigint，bbigint，cbigint) 注释 'k' 行格式分隔字段，以 ',';","error":"无法创建表：kjdrg","exec":{"stdout":"","stderr":"15/ 07/02 12:55:45 WARN conf.HiveConf：名为 hive.optimize.mapjoin.mapreduce 的 HiveConf 不存在\n15/07/02 12:55:45 WARN conf.HiveConf：名为 hive.heapsize 的 HiveConf 不存在存在\n15/07/02 12:55:45 WARN conf.HiveConf：名为 hive.server2.enable.impersonation 的 HiveConf 不存在\n15/07/02 12:55:45 WARN conf.HiveConf：名为 hive 的 HiveConf .auto.convert.sortmerge.join.noconditionaltask 不存在\nSLF4J：类路径包含多个 SLF4J 绑定。\nSLF4J：在 [jar:file:/usr/hdp/2.2.0.0-2041/hadoop/lib/slf4j 中找到绑定-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J: 在 [jar:文件：/usr/hdp/2.2.0.0-2041/hive/lib/hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar！/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J：见http://www.slf4j.org/codes.html#multiple_bindings进行解释。\nSLF4J：实际绑定类型为 [org.slf4j.impl.Log4jLoggerFactory]\n 命令因超时（60000 毫秒）而终止。请参阅 Templeton.exec.timeout 属性","exitcode":143}}（错误 500）

我该如何解决这个问题？

2015-07-08 19:56:34,875 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1070：无法使用导入解析 HCatalogLoader：[，java.lang.，org.apache.pig.builtin ., org.apache.pig.impl.builtin.] 日志文件中的详细信息：/home/KS5023833/pig_1436364102374.log

然后我尝试了

这也行不通。

1070：无法使用导入解析 org.apache.hive.hcatalog.pig.HCatLoader：[, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.]

问题是什么？我是Hadoop的新手。

我编写了一个 mapreduce 程序，它使用 HCATLOG 从 hive 表中读取数据并写入 HBase。这是一个只有地图的工作，没有减速器。我已经从命令行运行了该程序，它按预期工作（创建了一个胖 jar 以避免 Jar 问题）。我想将它集成到 oozie（在 HUE 的帮助下）。我有两个选择来运行它

1. 使用 Mapreduce 操作
2. 使用 Java 动作

由于我的 Mapreduce 程序有一个包含以下代码的驱动程序方法

如何在 oozie 中指定驱动程序方法，我所看到的只是指定映射器和减速器类。有人可以指导我如何设置属性吗？

使用 java 操作，我可以将我的驱动程序类指定为主类并执行它，但我面临诸如找不到表、找不到 HCATLOG jar 等错误。我在工作流程中包含 hive-site.xml（使用 Hue）但我感觉系统无法拾取属性。有人可以告诉我我需要注意什么吗，还有其他我需要包含的配置属性吗？

我在cloudera网站中提到的示例程序也使用

当我使用以下内容时（我没有看到接受上述输入的方法

下面是我的映射器代码

注意：我使用带有 HUE 的 MapR (M3) Cluster 作为 oozie 的接口。Hive 版本：1-0 HCAT 版本：1-0

我正在使用 PIG 使用 HCatalog 将表数据存储到 hive 数据库中。我能够在 PIG grunt shell 中加载和转储数据，但是当我尝试将加载的数据存储到我创建为 myweather.weathertable1 (myweather-database name ,weathertable1 -table name1) 的 HIVE 表中时，使用以下命令

我遇到以下错误：

日志文件说：

解决上述问题的任何帮助都非常可观。提前致谢。

从 sqoop 文档中，它说 Sqoop 可用于通过动态分区将数据导入 Hive。但找不到任何示例。有没有人试过。

Sqoop HCatalog 功能支持以下表类型：

1. 未分区表
2. 指定了静态分区键的分区表
3. 具有来自数据库结果集中的动态分区键的分区表
4. 具有静态键和附加动态分区键组合的分区表

我正在寻找选项＃3。

提前致谢。

Hadoop 版本-1.2.1

Maven 版本 - 3.0.5

蜂巢版本 - 0.14.0

猪版 - 0.14.0

当我开始使用以下命令构建 oozie

./mkdistro.sh -DskipTests

我得到以下错误

由于该错误，它似乎无法解决对 hcatalog 的依赖关系。但是由于我使用的是 hcatalog 内置在 hive 内的 hive-0.14，所以有没有办法排除 hcatalog 依赖项。或者错误暗示了其他问题如何解决？

我在网上看到了一些关于 Hive 是否使用 HCatalog 访问元存储的相互矛盾的帖子，我希望有人可以在这里帮助我？

Hive 是否使用实际的 HCatalog api 来访问元数据，或者它是否有自己的检索元数据的机制并且 HCatalog 仅由非 Hive 工具用于访问元数据？

如何在不使用 Spark SQL 的情况下从 Spark 作业连接到 HCatalog。

我们正在使用 Spark 的 Cloudera 发行版，因为目前他们不支持 Spark SQL。

还有其他方法可以从 Spark 作业连接 HCatalog 吗？