2

在运行任何应用程序逻辑之前，我有一个 Cloud Dataflow 作业卡在启动阶段。我通过在步骤内添加日志输出语句对此进行了测试processElement，但它没有出现在日志中，因此似乎没有达到。

我在日志中只能看到以下消息，每分钟出现一次：

logger: Starting supervisor: /etc/supervisor/supervisord_watcher.sh: line 36: /proc//oom_score_adj: Permission denied

这些每隔几秒钟循环一次：

VM is healthy? true.

http: TLS handshake error from 172.17.0.1:38335: EOF

Job is in state JOB_STATE_RUNNING, will check again in 30 seconds.

作业 ID 是2015-09-14_06_30_22-15275884222662398973，尽管我还有另外两个作业 ( 2015-09-14_05_59_30-11021392791304643671, 2015-09-14_06_08_41-3621035073455045662)，它们是我早上开始的并且有相同的问题。

关于可能导致这种情况的任何想法？

4

1 回答 1

2

听起来您的管道有一个 BigQuery 源，后跟一个DoFn. 在运行您的DoFn（并因此到达您的打印语句）之前，管道会运行 BigQuery 导出作业以在 GCS 中创建数据的快照。这可确保管道获得 BigQuery 表中包含的数据的一致视图。

您的表的 BigQuery 导出作业似乎需要很长时间。遗憾的是，导出过程没有进度指示器。如果您再次运行管道并让它运行更长时间，导出过程应该完成，然后您DoFn将开始运行。

我们正在研究改善导出工作的用户体验，并找出为什么它比我们预期的要长。

于 2015-09-15T16:39:44.397 回答