问题标签 [hcatalog]

正如我正在学习有关 hadoop 的教程（http://hortonworks.com/hadoop-tutorial/hello-world-an-introduction-to-hadoop-hcatalog-hive-and-pig/）我无法使用下载的数据创建表文件，因为我收到此错误消息：

HCatClient 创建表时出错：{"statement":"使用默认值；创建表 nyse_stocks( exchangestring, stock_symbolstring, datestring, stock_price_openfloat, stock_price_highfloat, stock_price_lowfloat, stock_price_closefloat, stock_volumebigint, stock_price_adj_closefloat) 行格式分隔字段，以 '\t' 结尾；", "error":"unable to create table: nyse_stocks","exec":{"stdout":"","stderr":"SLF4J: Class path contains multiple SLF4J bindings.\nSLF4J: Found binding in [jar:file: /usr/hdp/2.2.0.0-913/hadoop/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J: 在 [jar:file:/usr/ 中找到绑定hdp/2.2.0.0-913/hive/lib/hive-jdbc-0.14.0.2.2.0.0-913-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J：见http://www .slf4j.org/codes.html#multiple_bindings以获得解释。\nSLF4J：实际绑定的类型为 [org.slf4j.impl.Log4jLoggerFactory]\n 命令因超时（60000 毫秒）而终止。请参阅 Templeton.exec.timeout 属性","exitcode":143}}（错误 500）

有人可以用简单的语言帮助我并忍受我是初学者，

提前致谢！

我在 Ubuntu 14.04 上使用 Apache Hadoop 2.5.0 的单节点集群设置，我使用 Flume 将推文存储在我的 HDFS 中。然后，我使用以下 Hive 命令在 Hive 中创建了一个表，该表以表格格式存储所有推文：

我已经通过使用 HiveQL（来自 Hive 命令行界面）查询数据库来验证数据是否存在于表“推文”中。我还使用以下命令创建了一个输出表：

我正在使用已经包含 HCatalog 的 Apache Hive 0.13.1。毕竟，我正在尝试在 Eclipse 中使用 Java 语言编写 MapReduce Job。我已将以下库作为外部 jar 添加到我的项目中：

1. path-of-installation-of-hadoop/share/hadoop/common 中存在的所有库
2. path-of-installation-of-hadoop/share/hadoop/mapreduce 中存在的所有库
3. Hive 的 lib 文件夹中存在的所有库
4. path-of-installation-of-Hive/hcatalog/share/hcatalog 中存在的所有库

我的 MapReduce 代码试图从表“推文”中导入推文的文本，然后对其进行处理。我的 MapReduce 代码是：

我们面临的第一个问题是我们收到许多警告，指出某些类型和构造函数已被弃用。我们忽略了警告并创建了一个主类为“UseHCat”的项目的 jar 文件。然后我们使用 Ubuntu 中提供的终端浏览到创建 jar 文件的位置并运行以下命令：

我们收到以下错误：

我无法通过 JMS 使用 HCATALOG 接收通知。我写了简单的生产者消费者程序。Apache MQ 服务正在后台运行。我能够使用 ApacheMQ 发送简单的文本消息。但是“markPartitionForEvent()”无法将事件发送到消费者的“onMessage()”调用。我参考了以下链接： https ://cwiki.apache.org/confluence/display/Hive/HCatalog+Notification

请指导

我正在使用HCatalog从 Pig Script 向 Hive 读取和写入数据，如下所示：

客户的表定义为：

地址：

cmr_address_join：

当我运行它时，Pig 抛出以下错误：

我相信这可能是因为 Pig 正在尝试将 Pig 生成的文件名与 Hive 列匹配，并且它不完全匹配 ( A::cmr_id versus cmr_id)。我认为HCatalogStorer期望别名是cmr_id而不是A::cmr_id。我希望HCatalogStorer忽略别名前缀，只考虑字段名。

有没有办法在 Pig 中删除字段的前缀（即 A::)？或者，如果有人有解决方法或解决方案，那就太好了。

我知道我们可以使用以下内容显式添加别名并使其正常工作。

但我的问题是，我有很多表，每个表都有数百列。如上所述指定别名会变得乏味。

任何解决此问题的帮助将不胜感激。

我使用 PIG 访问通过 HCatalog 创建的表 batting_data。这样做时，我遇到一个错误，说找不到提到的表。然而，这个 batting_data 表在 HIVE 中可用。我也明白，如果未提及数据库名称，则假定为默认值。

错误 org.apache.pig.tools.grunt.Grunt - 错误 1115：找不到表：找不到 default.batting_data 表

1. 我已经设置了 hive-site.xml 如下。请注意我没有使用远程服务器作为元存储，而是使用本地服务器 mysql

2. 我已经在我的 .bashrc 中为 PIG 与 HIVE 和 HCATALOG 的集成设置了以下内容。

   导出 PIG_OPTS=-Dhive.metastore.local=true 导出 PIG_CLASSPATH=$HCAT_HOME/share/hcatalog/ :$HIVE_HOME/lib/

3. 当 PIG 启动时 GRUNT shell 将默认加载以下语句。

   注册/home/shiva/hive-0.12.0/hcatalog/share/hcatalog/hcatalog-core-0.12.0.jar；注册/home/shiva/hive-0.12.0/lib/hive-exec-0.12.0.jar；注册/home/shiva/hive-0.12.0/lib/hive-metastore-0.12.0.jar；

错误消息的完整日志如下。任何解决此问题的帮助将不胜感激。谢谢。

我试图使用以下命令在 Hadoop 2.4.1 和 centOS 6.5 上构建 Oozie 4.0.1

此时构建失败

我尝试过的存储库链接如下：

但是所有这些都导致了相同的错误，并且发行版创建过程仅在该特定点失败。对于 hadoop 2.4.1，我还更改了所需的 POM 条目。

在主 Oozie POM 文件中

请告诉我一种使用 Hadoop 2.4.1 安装此 Oozie 4.0.1 的方法 任何帮助将不胜感激。

Sqoop 与 HCatalog 导入一起使用时，即使在使用 Oracle 运行 Apache Sqoop 时在命令中使用了 --hive-drop-import-delims 选项后，也无法从列数据中删除新行 (\n)。

Sqoop 查询：

Oracle Column col4中的数据如下：（数据有^M等控制字符）

控制字符是否会导致此问题？

我错过了什么吗？这个问题有什么解决方法或解决方案吗？

想使用 HDP2.2 发行版，但计划仅将 Pig+MR 用于我的 ETL 作业。想用 HCatalog 记录模式，但想避免必须设置 Hive。我需要它来拥有 HCatalog 吗？

我在 Amazon EC2 中设置的 hadoop 集群 (HDP 2.2) 中遇到了一个非常奇怪的问题（3 个数据节点 + 一个名称节点 + 一个辅助名称节点）。Hue 服务器在主名称节点上运行，hive 服务器在辅助名称节点上运行。我正在使用 Hue Web 界面使用加载到 HDFS 中的 CSV 文件在 HCatalog 中创建表“mytable”。表创建成功返回，没有错误。该表已创建并显示在 Hue Web 界面中。但是，当我尝试查询该表时，它返回了 0 条记录。我去了 /app/hive/warehouse 文件夹，我可以看到表文件夹“mytable”已创建，但 CSV 文件从未复制到该文件夹​​中。我使用 hive shell 重现了相同的行为。

如果我在 HDP 沙盒 VM 中执行相同的操作，一切都会按预期工作。创建表后，/app/hive/warehouse/mytable 文件夹包含我导入到表中的 CSV 文件。

非常感谢任何帮助。

我有我正在加载的猪脚本，如下所示：

我将 pigunit 中的别名覆盖为：

理想情况下，我认为如果我覆盖别名，pigunit 不应该尝试使用 HCatLoader 加载，但它在抱怨

如果我需要使用HCatLoaderwith做一些不同的事情，有人可以指点我PigUnit吗？