问题标签 [azure-databricks]

我正在使用 databricks-cli 在 databricks 中创建一个新工作：

使用以下json：

我想添加可以通过以下方式在笔记本中访问的参数：

我已经在 Ubuntu 16.04 和 Mac 上成功安装了 databricks cli。当我尝试在 Ubuntu 18.04 (Azure VM) 上安装它时，它看起来运行良好，然后当我尝试调用 cli 工具时它没有安装。我让它在 Ubuntu 16.04 和 OSX 上运行良好。有什么想法让这个工作吗？输出复制如下

我在 Azure Databricks 中使用 Scala，设置如下：

• 5x 工作节点 ( 28.0 GB Memory, 8 Cores, 1.5 DBU)
• 1 个驱动程序 ( 14.0 GB Memory, 4 Cores, 0.75 DBU)

我有一个包含 760k 行和两列的 Spark Dataframe：

1. 标签 ( Double)
2. 特征（每个SparseVector长度84224）

我想XGBoost在我的 Dataframe 上使用来训练回归模型：

启动后，我收到以下错误：

SIGSEGV (0xb) 在 pc=0x00007f62a9d33e0e，pid=3954，tid=0x00007f62c88db700

到目前为止我已经尝试过：

当我设置numWorkers为1时，训练开始，但显然运行得很慢，我认为这不是应该使用的方式。

此处的文档：https ://xgboost.readthedocs.io/en/latest/tutorials/external_memory.html和此处：https ://docs.databricks.com/spark/latest/mllib/third-party-libraries.html# xgboost对我的情况完全没有帮助。

我的问题是：

1. 是否可以在大于每个工作人员内存的数据集上运行 XGBoost？（我认为这是肯定的，但如果我错了，请纠正我）
2. 如何正确使用外部内存，以便当我使用更大的数据集时，XGBoost 将进行训练？
3. 输入数据框的分区是否会以某种方式影响训练？

将我的 Azure Databricks 从标准升级到主要，尝试开始使用 Databricks Delta：

您的帐户中未启用 Databricks Delta。请联系您的客户经理讨论使用达美；

我是客户经理，但找不到此设置。它在哪里？

我正在研究 Azure Databricks，我的方案如下：

我正在读取（使用：spark.read.format("csv").options().load()）存储在 Blob 存储中的 CSV 文件。这样的文件包含 1000 列/变量（一千），但数据和标题是分开的（不同的文件）。我想将标头映射到 pyspark.sql.dataframe.DataFrame 但我的方法花了 1.18 小时。

这是我使用的方法。

我确信有更快的方法/更好的方法来完成这样的任务。

谢谢！

我正在使用 Spark SQL，并在 Hive 表上执行一些 SQL 操作。我的桌子是这样的：```

```

我想从中创建另一个表，它将在这样的另一列中的链中包含总成本和前 5 个代码。

```

```

总成本很简单，但是，如何连接 CODE 列中的值并形成另一列。

我已经尝试过 collect_set 函数，但是值不能被限制并且也没有正确排序，可能是由于分布式处理。

任何 SQL 逻辑都是可能的？

编辑：

我需要对数据进行排序，所以我得到了前 5 个值。

我想将我的 python 脚本从本地迁移到云上运行，特别是在Azure Databricks创建的集群上。

1. 纯python脚本可以并行运行（同时使用集群中的多个节点）而不必转换成pyspark吗？
2. 是否可以检查作业是否并行运行？

我正在尝试使用 EventHubsForeachWriter，如下所示：

但我遇到了一个例外：

Databricks 很聪明，但是您如何识别当前笔记本的路径？网站上的指南没有帮助。

它建议：

这并没有给我完整的路径，而是一些无法从笔记本访问的文件夹结构的路径。我需要路径，这样我就可以在与.ipynb文件相同的文件夹中进行系统调用。

有什么建议么？

我在网上找不到其他相关内容。我用两个版本的 lift 2.12 和 2.10 都试过了

我的集群/笔记本在 apache spark 2.3 和 scala 2.11 中

这段代码

​这个错误

任何帮助表示赞赏。我找不到任何积极的方式来影响这一点。