问题标签 [gobblin]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
windows - 如何在 Windows 中设置地精?gradle 和 gobblin 的版本应该是什么?
我正在尝试在我的系统中设置地精,但在构建 gradle 时遇到问题。我需要使用哪个版本的 gobblin 和 gradle?
错误:- 原因:org.gradle.api.plugins.UnknownPluginException:未找到 ID 为“pegasus”的插件。
gobblin - 如何限制 apache gobblin 输出产生的文件数量?
我目前正在使用 apache gobblin 来阅读 kafka 主题。我查看了文档以检查是否有配置来限制 gobblin 生成的文件数量,但找不到它。
可以限制这个吗?
谢谢!
hadoop - Gobblin 中的 HDFS 回溯配置
我看到 Hive 到 hive 的数据移动在 Gobblin 中有一个回顾配置,我们可以在其中指定我们要使用的分区的哪些日期进行复制
gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator
Gobblin 中的 HDFS 到 GCS(谷歌云存储)数据复制是否有类似的回溯配置,只能在特定分区日期之后复制文件?
我在 HDFS 中有我的文件,这些文件按日期分区。
gobblin - 如何使用安全 Hadoop 配置 Apache-Gobblin
执行 Kafka-HDFS 摄取时,发生错误
我认为这是由连接安全 Hadoop 引起的 有人如何配置安全 Hadoop?
gcloud - 没有为方案配置 AbstractFileSystem:gs
我在运行地精作业时遇到错误。我的 core-site.xml 看起来不错,并且具有所需的值。
核心站点.xml
错误
我能够在命令行中运行 GS 命令而没有任何问题。例如:hadoop fs -ls gs://<<bucketName>>
产生所需的输出。
任何帮助,将不胜感激 。