3

我正在使用基于 S3 事件的触发器来触发 lambda 函数。每次在 S3 中的特定位置写入 _SUCCESS 文件时,它都会触发 lambda 函数。正在使用 Databricks 火花作业在源位置写入数据。已经观察到,一旦作业将数据写入源位置,lambda 函数就会持续触发两次。

仅当 Databricks 作业写入 _SUCCESS 时才会观察到此行为。我试图从 CLI 编写文件,它只触发一次 lambda 函数。

从 Databricks 作业中了解这种行为背后的原因会很有帮助。

4

0 回答 0