0

我正在尝试运行一个非常简单的 scio 应用程序（使用 Scala:2.13、gradle:7.2、openjdk:1.8）并在 Google Dataflow 中部署：

package testing
import com.spotify.scio.ContextAndArgs

object HelloWorld {
  def main(args: Array[String]): Unit = {
    val (sc, _) = ContextAndArgs(args)
    sc.parallelize(Seq.range(1, 1024)).map(println)
    sc.run()
  }
}

该应用程序适用于 scio 版本 0.9.2，但不适用于最新版本 (0.11.4)。我仍然可以从 Intellij IDEA 提交 Dataflow 作业，但它没有运行并在 1 小时后出现错误：

Dataflow 作业似乎被卡住了，因为在过去 1 小时内没有看到任何工作人员活动。请检查 Stackdriver Logging 中的工作人员日志。您还可以在https://cloud.google.com/dataflow/support获得有关 Cloud Dataflow 的帮助。

截屏

有人遇到过类似的问题吗？

4

1 回答 1

1

似乎 java 类路径缺少一些东西。如果我将 GRADLE_USER_HOME 更改为 USER_HOME，这项工作可以工作，但我认为这不是一个好的解决方案。

参见 scio 代码：https ://github.com/spotify/scio/blob/bcc86a9756a5eb54370ee45f6587dc59652dd805/scio-core/src/main/scala/com/spotify/scio/ScioContext.scala#L142

于 2022-02-23T14:50:20.383 回答