databricks - 如何将 Azure Databricks 中的日志重定向到另一个目的地？

Question

我们可以使用一些帮助来了解如何将 Spark 驱动程序和工作日志发送到 Azure Databricks 之外的目的地，例如 Azure Blob 存储或使用 Eleastic-beats 的弹性搜索。

配置新集群时，get reg log delivery destination 的唯一选项是 dbfs，请参阅

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html。

非常感谢任何输入，谢谢！

Answer 1

也许以下内容可能会有所帮助：

首先，为 Spark 驱动程序和工作程序日志指定一个 dbfs 位置。
https://docs.databricks.com/user-guide/clusters/log-delivery.html

然后，创建一个将 dbfs 文件夹链接到 Blob 存储容器的挂载点。 https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs

希望这有帮助！