问题标签 [hcatalog]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
datetime - 为 Pig 和 Hive 存储日期时间的正确格式是什么?
在使用 Pig 进行 ETL 时,我使用 HCatStorer 将处理后的数据放入 Hive:
我的目标是使目标表的数据可以从 Pig 或 Hive 中使用(取决于用户的技能)
存储日期时间的推荐格式是什么?
我关心:
- 存储时区信息
- 能够比较日期
- 人类可读(例如,我不相信时间戳是人类可读的)
谢谢您的帮助
rest - 如何在 Hive 0.14 之前使用 HCatalog REST API 创建 Avro 表?
我找不到任何文档解释 HCatalog REST API 使用的 JSON 的语法或语法。办公室指南 ( https://cwiki.apache.org/confluence/display/Hive/WebHCat+Reference+PutTable ) 只给出了一个非常简单的案例,而没有说明 JSON 部分是如何定义的。
我尝试了以下方法,但没有运气:
任何想法?谢谢,
hadoop - 无法使用 ParquetStorer 存储整数数据
我面临着非常奇怪的问题。我使用 Pig 进行多列数据处理。Pig 使用 HCatalogLoader 在 pig 脚本中加载数据。这些列包含多个整数数据、字符串数据以及双精度数据。整数类型的列之一(例如 C1)无法使用 ParquetStorer 存储。其他整数列没有问题,只有C1列存储失败。
以下是错误:
我已经描述了使用 ParquetStorer 存储数据的别名,列 C1 是 int 类型。ParquetStorer 仍然抱怨数据是字符串类型,并且无法将其类型转换为数字。
任何帮助表示赞赏。
hadoop - 如何将配置单元分区读入 Apache Crunch 管道?
我能够将 hdfs 中的文本文件读入 apache crunch 管道。但现在我需要读取配置单元分区。问题是根据我们的设计,我不应该直接访问该文件。因此,现在我需要某种方式来使用 HCatalog 之类的方式访问分区。
hadoop - 如何在 hadoop mapreduce/yarn 中设置 VCORES?
以下是我的配置:
hadoop 集群中的 Vcores 显示 8GB,但我不知道如何计算或在哪里配置它。
希望有人能帮助我。
hive - Hcatalog 配置单元问题
我正在尝试hcatalog
从以下链接执行此示例:
运行作业时出现以下异常。
在运行MR job
i 之前执行以下命令:
$ 出口 HCAT_HOME=$HIVE_HOME/hcatalog
$ HCATJAR=$HCAT_HOME/share/hcatalog/hcatalog-core-0.11.0.jar
$ HCATPIGJAR=$HCAT_HOME/share/hcatalog/hive-hcatalog-pig-adapter-0.13.0.jar
$ export HADOOP_CLASSPATH=$HCATJAR:$HCATPIGJAR:$HIVE_HOME/lib/hive-exec-0.13.0.jar:$HIVE_HOME/lib/hive-metastore-0.13.0.jar:$HIVE_HOME/lib/jdo-api-3.0 .1.jar:$HIVE_HOME/lib/libfb303-0.9.0.jar:$HIVE_HOME/lib/libthrift-0.9.0.jar:$HIVE_HOME/lib/slf4j-api-1.6.4.jar:$HIVE_HOME/conf :/usr/hadoop/hadoop-2.4.0/etc/hadoop/
$LIBJARS=
echo $HADOOP_CLASSPATH | sed -e 's/:/,/g'
$ 出口 LIBJARS=$LIBJARS,$HIVE_HOME/lib/antlr-runtime-3.4.jar
hadoop - 使用 Hive 配置 HCatalog、WebHCat
我正在安装Hadoop,Hive将与 WebHCat 集成,WebHCat将用于使用 Hadoop 的 Map-Reduce 作业通过它运行 hive 查询。
我安装了Hadoop 2.4.1和Hive 0.13.0(最新的稳定版本)。
我使用 Web 界面发送的请求是:
我得到如下回应:
但是在日志webhcat-console-error.log 中我发现这个作业的退出值为 1,这意味着发生了一些错误。跟踪这个错误我发现它缺少选项参数:hiveconf
这是webhcat-site.xml,其中包含 webhcat(以前称为 Templeton)的配置:
但是执行的 cmd 查询很奇怪,因为它有一些没有值的额外 hiveconf 参数:
任何想法?
hadoop - Hadoop Hcatalog - 如何传递键值对
我有一个创建表脚本,其中表名将在运行时确定。如何将值传递给 sql 脚本?
我正在尝试这样的事情
但我不断收到错误。我能得到正确的语法吗?
hive - Hcatalog 配置单元问题 java.lang.IllegalArgumentException:URI:没有方案
嗨,我正在尝试从以下链接中执行此 hcatalog 示例。
运行作业时出现以下异常。
java.lang.IllegalArgumentException:URI:没有方案
java类:
在这一行遇到异常
hadoop jar 命令:
hadoop jar Hcat.jar com.otsi.hcat.UseHCat -files $HCATJAR -libjars ${LIBJARS} 组 groupids
我在 hive-site.xml 中设置了以下属性
蜂巢站点.xml:
我在“hadooppracticedb”中创建了 2 个表组 groupids..
请建议。