4

使用 databricks-connect，我们可以从许多 IDE 成功运行用 Databricks 或 Databricks notebook 编写的代码。Databricks 还创建了许多魔术命令，以通过添加%sql或%md. 我目前面临的一个问题是当我尝试在 Pycharm 中执行 Databricks 笔记本时，如下所示：

  • 如何从 PyCharm 执行 Databricks 特定的魔术命令。例如，使用此命令在 Databricks 中的 Done 中导入脚本或笔记本 -

    %run
'./FILE_TO_IMPORT'

在 IDE 中from FILE_TO_IMPORT import XYZ工作的地方。

再次每次我下载 Databricks 笔记本时，它都会注释掉魔法命令，这使得它无法在 Databricks 环境之外的任何地方使用。

每次我想进行任何开发时，转换所有数据块魔术命令确实效率低下。

我可以设置任何配置来自动检测 Databricks 特定的魔术命令吗？

对此的任何解决方案都会有所帮助。提前致谢！！！

4

1 回答 1

2

不幸的是，根据databricks-connect版本 6.2.0-

“我们不能直接在 databricks 环境之外使用魔法命令。这要么需要创建自定义函数，但同样只适用于 Jupyter 而不是 PyCharm”

同样，由于导入 py 文件需要%run魔法命令，所以这也成为一个主要问题。对此的解决方案是将要导入的文件集转换为 python 包，并通过 Databricks UI 将其添加到集群中，然后在 PyCharm 中导入并使用它。但这是一个非常繁琐的过程。

于 2020-08-30T19:05:34.163 回答