terraform 未运行 databricks_job。
如果我删除作业并运行 terraform,它正在创建作业/开始。是因为相同的职位名称吗?我们想从 Airflow 触发这个工作,所以我们希望保持工作名称不变。
此外,terraform apply
不显示创建作业的日志。
更新:使用现有集群的原因是,我们希望将同一个集群依次用于多个 Spark 作业。
示例代码:
resource "databricks_job" "db_job" {
name = "Sample Job"
always_running = true
existing_cluster_id = databricks_cluster.db_cluster.id
library {
jar = "dbfs:${local.dbfs_jar_file_path}"
}
spark_jar_task {
main_class_name = "x.x.x.SomeApp"
parameters = [
"-Dconfig.file=/dbfs/config.conf"
]
}
}