问题标签 [hcatalog]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1332 浏览

datetime - 为 Pig 和 Hive 存储日期时间的正确格式是什么?

在使用 Pig 进行 ETL 时,我使用 HCatStorer 将处理后的数据放入 Hive:

我的目标是使目标表的数据可以从 Pig 或 Hive 中使用(取决于用户的技能)

存储日期时间的推荐格式是什么?

我关心:

  • 存储时区信息
  • 能够比较日期
  • 人类可读(例如,我不相信时间戳是人类可读的)

谢谢您的帮助

0 投票
0 回答
223 浏览

rest - 如何在 Hive 0.14 之前使用 HCatalog REST API 创建 Avro 表?

我找不到任何文档解释 HCatalog REST API 使用的 JSON 的语法或语法。办公室指南 ( https://cwiki.apache.org/confluence/display/Hive/WebHCat+Reference+PutTable ) 只给出了一个非常简单的案例,而没有说明 JSON 部分是如何定义的。

我尝试了以下方法,但没有运气:

任何想法?谢谢,

0 投票
2 回答
1038 浏览

hadoop - 无法使用 ParquetStorer 存储整数数据

我面临着非常奇怪的问题。我使用 Pig 进行多列数据处理。Pig 使用 HCatalogLoader 在 pig 脚本中加载数据。这些列包含多个整数数据、字符串数据以及双精度数据。整数类型的列之一(例如 C1)无法使用 ParquetStorer 存储。其他整数列没有问题,只有C1列存储失败。

以下是错误:

我已经描述了使用 ParquetStorer 存储数据的别名,列 C1 是 int 类型。ParquetStorer 仍然抱怨数据是字符串类型,并且无法将其类型转换为数字。

任何帮助表示赞赏。

0 投票
1 回答
482 浏览

hadoop - 如何将配置单元分区读入 Apache Crunch 管道?

我能够将 hdfs 中的文本文件读入 apache crunch 管道。但现在我需要读取配置单元分区。问题是根据我们的设计,我不应该直接访问该文件。因此,现在我需要某种方式来使用 HCatalog 之类的方式访问分区。

0 投票
3 回答
22048 浏览

hadoop - 如何在 hadoop mapreduce/yarn 中设置 VCORES?

以下是我的配置:

hadoop 集群中的 Vcor​​es 显示 8GB,但我不知道如何计算或在哪里配置它。

希望有人能帮助我。

0 投票
3 回答
4678 浏览

hive - Hcatalog 配置单元问题

我正在尝试hcatalog从以下链接执行此示例:

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_19_6.html

运行作业时出现以下异常。

在运行MR jobi 之前执行以下命令

$ 出口 HCAT_HOME=$HIVE_HOME/hcatalog

$ HCATJAR=$HCAT_HOME/share/hcatalog/hcatalog-core-0.11.0.jar

$ HCATPIGJAR=$HCAT_HOME/share/hcatalog/hive-hcatalog-pig-adapter-0.13.0.jar

$ export HADOOP_CLASSPATH=$HCATJAR:$HCATPIGJAR:$HIVE_HOME/lib/hive-exec-0.13.0.jar:$HIVE_HOME/lib/hive-metastore-0.13.0.jar:$HIVE_HOME/lib/jdo-api-3.0 .1.jar:$HIVE_HOME/lib/libfb303-0.9.0.jar:$HIVE_HOME/lib/libthrift-0.9.0.jar:$HIVE_HOME/lib/slf4j-api-1.6.4.jar:$HIVE_HOME/conf :/usr/hadoop/hadoop-2.4.0/etc/hadoop/

$LIBJARS=echo $HADOOP_CLASSPATH | sed -e 's/:/,/g'

$ 出口 LIBJARS=$LIBJARS,$HIVE_HOME/lib/antlr-runtime-3.4.jar

0 投票
0 回答
1023 浏览

hadoop - 使用 Hive 配置 HCatalog、WebHCat

我正在安装HadoopHive将与 WebHCat 集成,WebHCat将用于使用 Hadoop 的 Map-Reduce 作业通过它运行 hive 查询。

我安装了Hadoop 2.4.1Hive 0.13.0(最新的稳定版本)。

我使用 Web 界面发送的请求是:

我得到如下回应:

但是在日志webhcat-console-error.log 中我发现这个作业的退出值为 1,这意味着发生了一些错误。跟踪这个错误我发现它缺少选项参数:hiveconf

这是webhcat-site.xml,其中包含 webhcat(以前称为 Templeton)的配置:

但是执行的 cmd 查询很奇怪,因为它有一些没有值的额外 hiveconf 参数:

任何想法?

0 投票
1 回答
85 浏览

hadoop - Hadoop Hcatalog - 如何传递键值对

我有一个创建表脚本,其中表名将在运行时确定。如何将值传递给 sql 脚本?

我正在尝试这样的事情

但我不断收到错误。我能得到正确的语法吗?

0 投票
1 回答
408 浏览

spring - 回调参数如何使用 WebHCat/Hive 工作?

我只是按照 WebHCat Reference Hive中的文档

我的目标是在蜂巢作业状态成功后调用我的弹簧控制器。

$jobId 只是一个参数,一旦处理完成,它将被替换为实际的 jobId。

0 投票
1 回答
843 浏览

hive - Hcatalog 配置单元问题 java.lang.IllegalArgumentException:URI:没有方案

嗨,我正在尝试从以下链接中执行此 hcatalog 示例。

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_19_6.html

运行作业时出现以下异常。

java.lang.IllegalArgumentException:URI:没有方案

java类:

在这一行遇到异常

hadoop jar 命令:

hadoop jar Hcat.jar com.otsi.hcat.UseHCat -files $HCATJAR -libjars ${LIBJARS} 组 groupids

我在 hive-site.xml 中设置了以下属性

蜂巢站点.xml:

我在“hadooppracticedb”中创建了 2 个表组 groupids..

请建议。