1

terraform 未运行 databricks_job。

如果我删除作业并运行 terraform,它正在创建作业/开始。是因为相同的职位名称吗?我们想从 Airflow 触发这个工作,所以我们希望保持工作名称不变。

此外,terraform apply不显示创建作业的日志。

更新:使用现有集群的原因是,我们希望将同一个集群依次用于多个 Spark 作业。

示例代码:

resource "databricks_job" "db_job" {
  name           = "Sample Job"
  always_running = true

  existing_cluster_id = databricks_cluster.db_cluster.id

  library {
    jar = "dbfs:${local.dbfs_jar_file_path}"
  }

  spark_jar_task {
    main_class_name = "x.x.x.SomeApp"
    parameters = [
      "-Dconfig.file=/dbfs/config.conf"
    ]
  }
}
4

0 回答 0