0

我正在尝试在 Azure Databricks（不是笔记本）上部署一个 Scala 库来执行一些计算。我正在尝试从 Azure Datalake Store Gen 2 目录中读取一些 avro 文件，执行一些操作，然后使用 avro 将其再次存储在另一个目录中。

我正在遵循本指南。

我的理解是我需要挂载 Azure Datalake 的目录，以便我可以直接从那里读取 avro 文件，所以我需要执行以下操作：

dbutils.fs.mount(
  source = "abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = configs)

我的问题是我不知道如何将“dbutils”对象导入我的项目。我还在使用Java SDK 库（版本 12.0.0-preview.6）来检索文件，但基本上我不知道如何使用 Databricks 来完成。

任何帮助或提示将不胜感激。

4

1 回答 1

1

如果要使用 dbutils 挂载目录（反之亦然），则不需要 Azure 存储 Java SDK。

dbutils 挂载可用于挂载存储帐户一次，因此之后您只需使用 /mnt 路径即可。

您可以在以下存储库中找到 dbutils：

libraryDependencies += "com.databricks" % "dbutils-api_2.11" % "0.0.4"

更多信息： https ://docs.databricks.com/dev-tools/databricks-utils.html#databricks-utilities-api-library

你也可以直接使用abfss路径，所以安装东西不是绝对必要的。

于 2020-03-17T10:00:09.537 回答