hadoop - 如何使用命令行选项控制 Hadoop 任务重试策略？

Question

我想使用命令行选项控制 Hadoop 作业重试策略。例如，我想编写以下 Sqoop 作业并让它对 MySQL 中断具有容错能力：

sqoop
  GENERIC_SQOOP_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

对于一般的 Hadoop 作业，它可能看起来像：

hadoop job -submit
  GENERIC_JOB_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

Answer 1

是的，Sqoop 支持 hadoop "-D" 参数。然而，它们在命令行上的位置至关重要。它们必须直接出现在“sqoop”之后和任何其他 Sqoop 参数之前：

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ...

请注意，不同的定位不会按预期工作。