问题标签 [gobblin]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
38 浏览

windows - 如何在 Windows 中设置地精?gradle 和 gobblin 的版本应该是什么?

我正在尝试在我的系统中设置地精,但在构建 gradle 时遇到问题。我需要使用哪个版本的 gobblin 和 gradle?

错误:- 原因:org.gradle.api.plugins.UnknownPluginException:未找到 ID 为“pegasus”的插件。

0 投票
1 回答
54 浏览

gobblin - 如何限制 apache gobblin 输出产生的文件数量?

我目前正在使用 apache gobblin 来阅读 kafka 主题。我查看了文档以检查是否有配置来限制 gobblin 生成的文件数量,但找不到它。

可以限制这个吗?

谢谢!

0 投票
1 回答
50 浏览

hadoop - Gobblin 中的 HDFS 回溯配置

我看到 Hive 到 hive 的数据移动在 Gobblin 中有一个回顾配置,我们可以在其中指定我们要使用的分区的哪些日期进行复制

gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator

Gobblin 中的 HDFS 到 GCS(谷歌云存储)数据复制是否有类似的回溯配置,只能在特定分区日期之后复制文件?

我在 HDFS 中有我的文件,这些文件按日期分区。

0 投票
0 回答
11 浏览

gobblin - 如何使用安全 Hadoop 配置 Apache-Gobblin

执行 Kafka-HDFS 摄取时,发生错误

我认为这是由连接安全 Hadoop 引起的 有人如何配置安全 Hadoop?

0 投票
1 回答
85 浏览

gcloud - 没有为方案配置 AbstractFileSystem:gs

我在运行地精作业时遇到错误。我的 core-site.xml 看起来不错,并且具有所需的值。

核心站点.xml

错误

我能够在命令行中运行 GS 命令而没有任何问题。例如:hadoop fs -ls gs://<<bucketName>>产生所需的输出。

任何帮助,将不胜感激 。

0 投票
0 回答
7 浏览

gobblin - 如何通过 keytable 文件使 gobblin 自动刷新 hadoop 令牌

我遵循这个妖精纱线配置

我在 application.conf 中添加以下配置

但是自动刷新似乎不起作用,我该如何解决这个问题?