问题标签 [azure-databricks]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
4582 浏览

azure - Azure Databricks:ImportError:没有名为 azure.storage.blob 的模块

使用示例代码 example.py(随 Azure 文档提供:快速入门:使用 Python 上传、下载和列出 blob)时,我收到以下导入错误。

文档链接:https ://github.com/Azure-Samples/storage-blobs-python-quickstart/blob/master/example.py

请帮我解决这个问题。

由于它在 Azure 云上的笔记本中运行,因此不涉及 python 安装。所以,请不要回复我应该使用不同版本的 python 的建议。

0 投票
1 回答
3603 浏览

databricks - 如何在 Databricks Python Notebook 中运行/执行输入单元

我在 Databricks 笔记本中编写了以下代码

如您所料,在运行单元格后,我被要求“请输入您的姓名:”问题是我不知道在哪里输入。如果这是用 intelliJ IDEA 或 IDLE 编写的,我将获得一个单独的窗口来输入我的名字。但是,使用 Databricks 笔记本,即使我在不​​同的单元格中输入答案,它似乎也一直在等待输入,见图:

在哪里输入

我真的应该知道这个问题的答案

0 投票
2 回答
1387 浏览

azure - 使用 Powershell 脚本生成 Azure Databricks 令牌

我需要使用 Powershell 脚本生成 Azure Databricks 令牌。我已完成使用 ARM 模板创建 Azure Databricks,现在我正在寻找使用 powershell 脚本生成 Databricks 令牌。

请让我知道如何使用 Powershell 脚本创建 Databricks 令牌

0 投票
3 回答
12834 浏览

python-3.x - 如何在 Databricks 中安装 PYODBC

我必须在 Databricks 中安装 pyodbc 模块。我曾尝试使用此命令 ( pip install pyodbc),但由于以下错误而失败。

错误信息

0 投票
1 回答
1136 浏览

databricks - 如何以特定顺序使用 Databricks dbutilis 复制文件

该小组的一名成员帮助我根据日期将文件复制到关注者

根据日期复制

我想调整代码以根据文件名中的某些字符复制文件——在下面的示例中,字符是 1111、1112、1113 和 1114 所以,如果我们有以下四个文件:

File_Account_1111_exam1.csv File_Account_1112_testxx.csv File_Account_1113_pringle.csv File_Account_1114_sam34.csv

仅当 File_Account_1113_pringle.csv 已复制到文件夹时,我才希望将 File_Account_1114_sam34.csv 复制到文件夹中。同样,如果 File_Account_1112_testxx.csv 已被复制到文件夹等,我只想复制 File_Account_1113_pringle.csv。

因此,如果所有文件都已复制到一个文件夹中,它将如下所示:

0 投票
1 回答
1860 浏览

azure-databricks - 创建 DataBricks Delta 表时检测 CSV 标头?

不用说,我是 Spark DataBricks 和 Delta 的新手。

我正在尝试使用 %sql 从一个简单的 csv 创建一个 Delta 表,其中第一行是标题行。不幸的是,我似乎无法让初始 CREATE TABLE 识别 CSV 中的标题列(请注意,我一直使用 DataBricks 快速入门作为指南 - https://docs.databricks.com/delta/quick -start.html )

我在 Databricks 笔记本中的代码是

我尝试使用 TBLPROPERTIES ("headers" = "true") 但没有成功 - 见下文

在这两种情况下,csv 数据都被加载到表中,但标题行只是作为第一个标准行包含在数据中。

从 csv 加载时,我如何让这个 %sql CREATE TABLE 将第一个/标题行识别为标题?

谢谢

0 投票
1 回答
804 浏览

scala - 用 spark 读取 CSV 时,^G 的分隔符是什么?

所以,我真的需要帮助做一件愚蠢的事情,但显然我自己无法做到。

我在具有这种格式的文件中有一组行(less在 OSX 上读取):

所以分隔符是BEL分隔符,我正在以这种方式加载 CSV:

但是当我阅读它时,它只是以这种方式将行读取为一列:

似乎有一个unkown character(你什么也看不到,只是因为我在 stackoverflow 上对其进行了格式化)代替^G.

更新:这可能是对 scala 火花的限制吗?如果我以这种方式使用 scala 运行代码:

我长胖了

而如果我使用 python 运行:

一切都很好!

0 投票
0 回答
378 浏览

apache-spark - 带有 Mongo DB API 的 Cosmos DB 的 Spark/Databricks 数据写入问题

0 投票
1 回答
786 浏览

azure-databricks - Databrick - 从挂载的文件存储中读取 BLOB

我正在使用 Azure 数据块并运行以下 Python 代码:

这似乎运行良好。于是我跑了:

这给了我错误:

不知道我做错了什么。我很确定我的 sas 密钥是正确的。

0 投票
1 回答
2503 浏览

azure-databricks - 将 Databricks 数据帧写入 BLOB 存储

我正在使用 Azure 数据块并安装了 BLOB 存储。我尝试使用以下方法将我的数据框保存到那里:

我收到以下错误:

更新:在我重新创建 SAS 密钥后,错误现在显示“作业中止”