我在 Databricks 中编写 Python 代码,我使用的是 spark 2.4.5。
我有几个笔记本用于加载我的维度表和事实表。我有两个用于加载维度和事实的主笔记本。
我开发了一些用于测试、审计和日志记录的 UDF。我需要将我的 UDF 添加到每个笔记本中。现在,我在每个笔记本上都有以下命令
%run ../Functions
但我想知道,当我运行所有笔记本时,这样做是否会加载多次我的 UDF!
我想也许我必须在我的主笔记本中加载一次我的 UDF,但是当我需要单独运行我的笔记本时,我不知道在开发时我应该做什么。
如果我的 UDF 未加载,是否有任何方法可以在我的笔记本上进行验证,运行 Functions 笔记本?
if (UDFs are not loaded) :
%run ../Functions