java - 如何从 Java 连接到 Databricks Apache Spark 的远程实例并将其写入 csv 文件？

Question

我正在尝试连接到 Databricks 的远程实例并将 csv 文件写入 DBFS 的特定文件夹。我可以在这里和那里找到零碎的东西，但我不知道如何完成这项工作。如何从本地计算机上运行的 Java 程序将文件添加到远程 Databricks 实例上的 DBFS？

我目前正在使用从这里创建的社区实例： https ://databricks.com/try-databricks

这是我的实例的网址（我猜“o=7823909094774610”正在识别我的实例）。
https://community.cloud.databricks.com/?o=7823909094774610

以下是我正在寻找解决此问题的一些资源，但我仍然无法起步：

• Databricks Connect 文档：这涉及连接，但不是专门来自 Java。它给出了“将 Eclipse”连接到数据块的示例，这似乎是如何为此获取 jar 依赖项（附带问题，是否有 mvn 版本？）。 https://docs.databricks.com/dev-tools/databricks-connect.html#run-examples-from-your-ide

• 一些 Java 示例代码：似乎没有连接到远程 Databricks 实例的示例 https://www.programcreek.com/java-api-examples/index.php?api=org.apache.spark.sql。火花会话

• Databricks 文件系统 (DBFS) 文档：很好地概述了文件功能，但似乎没有具体讨论如何从远程 Java 应用程序连接并将文件从 Java 应用程序 https://docs 写入 Databricks 实例。 databricks.com/data/databricks-file-system.html

• FileStore 文档：很好地概述了文件存储，但似乎并没有专门讨论如何从远程 Java 应用程序执行此操作 https://docs.databricks.com/data/filestore.html

Answer 1

您可以查看DBFS REST API，并考虑在您的 Java 应用程序中使用它。

如果不需要 Java 解决方案，那么您还可以查看databricks-cli。使用 pip ( pip install databricks-cli) 安装后，您只需：

1. 通过运行配置 CLI：databricks configure
   • 主持人：https ://community.cloud.databricks.com/?o=7823909094774610
   • 用户名：<您的用户名>
   • 密码：<您的密码>
2. 通过运行将文件复制到 DBFS：databricks fs cp <source> dbfs:/<target>