问题标签 [gobblin]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 地精错误：无法转换字段：派生水印列的值：“abc”记录：
我正在尝试将数据从 mysql 表摄取到 hdfs。但它给了我以下错误
下面是记录模式
水印派生水印列的数据类型是时间戳，但在记录中它是字符串 'abc'。
作业和属性文件如下。
mysql.pull
mysql.properties
是什么导致配置文件中出现此错误？如果有人知道，请帮忙。
gobblin - Apache gobblin 构建失败
我是地精的新手。我尝试使用项目的主分支构建分发。按照说明操作时出现以下错误。
可能是什么原因？
java - Gobblin 作业指标未将数据发布到 InfluxDB
我已配置 .pull 文件以生成指标并将其发送到 InfluxDb 以用于源、提取器和转换器作业。我尝试了示例维基百科工作。
但这项工作没有发送任何数据。我在 Gobblin 中找不到任何有关指标的示例
gobblin - Gobblin JSON 到 Avro 的转换失败，不是 Json 数组错误
我是 Gobblin 的新手，正在尝试读取 JSON Kafka 消息并将其转换为 AVRO，然后将其存储在 HDFS 中。我目前的工作文件就像一个打击：
Kafka Massage 示例：{"age": 36, "city": "London", "name": "John", "ubdated_at": "2020-05-19"}
但是，当我在独立模式下运行此程序时，出现以下错误。
有人可以帮我吗？
java - 地精错误：- java.io.IOException：java.lang.ClassNotFoundException：
我是 Gobblin 的新手，正在尝试将数据从 Kafka 摄取到 HDFS。我能够成功地处理Kafka-HDFS 摄取示例。但是现在我需要为我的工作添加一个基于时间的写入器分区选项。我确实浏览了TimeBasedWriterPartitioner谷歌论坛，并按照宗军的建议提出了以下解决方案。
- 我为基于时间的编写器分区类创建了一个单独的 Java 项目：
POM.xml
- 从上面的项目创建一个Jar并将其复制到
gobblin-dist/lib目录 - 我更新
gobblin-dist/bin目录中的 gobblin-mapreduce.sh 并在 LIBJARS 下添加新的 jar 名称。 - 创建一个 Job 文件如下：
- 然后我使用 bin 目录中的 gobblin-standalone.sh 文件以独立方式启动 gobblin。
我在 logs/gobblin-current.log 上遇到以下错误
当我将我的工作文件修改为writer.partitioner.class=LogJsonWriterPartitioner时，错误将更改为java.lang.NoClassDefFoundError: gobblin/writer/partitioner/TimeBasedWriterPartitioner。
有人可以帮助我克服这个问题吗？
gobblin - 运行 cli 命令时没有加载 GobblinCli
我正在尝试在我的 mac 中设置一个地精。当我运行cli 运行时出现以下错误。在运行 gobblin cli 命令之前，我们是否需要设置或配置任何东西？
任何帮助表示赞赏！
java - 尝试使用 Apache Gobblin 使用 SOAP API 而非 REST API 读取 Salesforce 数据
我正在开发一种现有工具（主要基于Apache Gobblin）将数据从客户的 Salesforce 表导入本地 MySQL 数据库（每个客户一个数据库）。
该工具（按原样）适用于已启用 Salesforce REST API 的客户，但一位客户没有（也不会）启用它，只允许通过 Salesforce SOAP API 访问 Salesforce。
是否可以向 Gobblin 指示需要使用 Salesforce SOAP API 从 Salesforce 导入（提取）数据？（现有SalesforceExtractor类 extends RestApiExtractor；没有SoapApiExtractor可继承的现有类。
有没有人向 Gobblin 添加类以允许它通过 SOAP 从 Salesforce 中提取，以这种方式工作？
现有的 Gobblin 文档表明它可以以这种方式工作，但我没有看到执行此操作的源代码。
gradle - Gobblin 构建失败并出现 TaskExecutionException
我已经从 master 分支克隆了 apache gobblin repo，并按照此处提到的说明构建代码。其中一项任务的构建失败并出现 TaskExecutionException。由于 NullPointerException，此任务似乎失败了。下面是构建失败的堆栈跟踪
我也尝试过./gradlew :gobblin-distribution:buildDistributionTar构建。请注意，我使用的是 Windows 10 和 Java 8。
windows-10 - Gradle 同步失败：无法使用类 'org.gradle.api.internal.file.collections.DefaultConfigurableFileCollection' 投射对象 'main classesDirs'
我在构建 gradle 时面向下方。我正在使用 gradle 6.5 和 gobblin apache-gobblin-incubating-sources-0.14.0 版本。我添加了 build.gradle 文件和 idesSetup.gradle 文件。
D:\Gobblin\Apache_Gobblin_0.14.0_Win_O\apache-gobblin-incubating-sources-0.14.0>gradle build --stacktrace 按需配置是孵化功能。
windows - Gradle Build 问题：为 gobblin 设置运行 gradle clean build 时面临问题
在构建 gradle 时，我面临以下问题。
原因：org.gradle.api.plugins.UnknownPluginException：未找到 ID 为“pegasus”的插件。
我们可以在 Windows 中设置 gobblin 吗？如果是，那么哪个版本的 gobllin 和 gradle 适合设置？
我正在使用 apache gobblin - 0.14.0，Gradle 版本 - 6.5，Windows 10
错误：
APi.gradle 文件：