1

我有一个集群：

  • 1 任务管理器
  • 1个独立作业/作业管理器
  • 配置：taskmanager.numberOfTaskSlots: 1

如果我default.parallelism: 4使用 Flink PubSub源设置作业，则在启动“作业集群”/taskmanager 时会不断收到此错误：

[analytics-job-cluster-7bd4586ccb-s5hmp job] 2019-05-01 16:22:30,888 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Checkpoint 触发任务 Source: Custom Source -> Process -> Timestamps/Watermarks -> 作业 00000000000000000000000000000000 的 app_events (1/4) 不是处于 RUNNING 状态而是 SCHEDULED 状态。中止检查点。

但是，如果我将同一个作业指向一堆文件，它会完美运行。这是什么意思？

4

1 回答 1

1

所以，问题是numberOfTaskSlots你基本上需要等于你的并行性。因此，在这种情况下，如果您只有 1 个 TaskManager 和 1 个 TaskSlot，Flink 将无法正确启动作业，因为没有足够的插槽供它使用。如果您numberOfTaskSlots将给定的 TaskManager 设置为等于并行度，那么它应该可以正常工作。

于 2019-05-07T13:55:54.537 回答