问题标签 [azure-databricks]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure - Azure Databricks:ImportError:没有名为 azure.storage.blob 的模块
使用示例代码 example.py(随 Azure 文档提供:快速入门:使用 Python 上传、下载和列出 blob)时,我收到以下导入错误。
文档链接:https ://github.com/Azure-Samples/storage-blobs-python-quickstart/blob/master/example.py
请帮我解决这个问题。
由于它在 Azure 云上的笔记本中运行,因此不涉及 python 安装。所以,请不要回复我应该使用不同版本的 python 的建议。
azure - 使用 Powershell 脚本生成 Azure Databricks 令牌
我需要使用 Powershell 脚本生成 Azure Databricks 令牌。我已完成使用 ARM 模板创建 Azure Databricks,现在我正在寻找使用 powershell 脚本生成 Databricks 令牌。
请让我知道如何使用 Powershell 脚本创建 Databricks 令牌
python-3.x - 如何在 Databricks 中安装 PYODBC
我必须在 Databricks 中安装 pyodbc 模块。我曾尝试使用此命令 ( pip install pyodbc
),但由于以下错误而失败。
databricks - 如何以特定顺序使用 Databricks dbutilis 复制文件
该小组的一名成员帮助我根据日期将文件复制到关注者
我想调整代码以根据文件名中的某些字符复制文件——在下面的示例中,字符是 1111、1112、1113 和 1114 所以,如果我们有以下四个文件:
File_Account_1111_exam1.csv File_Account_1112_testxx.csv File_Account_1113_pringle.csv File_Account_1114_sam34.csv
仅当 File_Account_1113_pringle.csv 已复制到文件夹时,我才希望将 File_Account_1114_sam34.csv 复制到文件夹中。同样,如果 File_Account_1112_testxx.csv 已被复制到文件夹等,我只想复制 File_Account_1113_pringle.csv。
因此,如果所有文件都已复制到一个文件夹中,它将如下所示:
azure-databricks - 创建 DataBricks Delta 表时检测 CSV 标头?
不用说,我是 Spark DataBricks 和 Delta 的新手。
我正在尝试使用 %sql 从一个简单的 csv 创建一个 Delta 表,其中第一行是标题行。不幸的是,我似乎无法让初始 CREATE TABLE 识别 CSV 中的标题列(请注意,我一直使用 DataBricks 快速入门作为指南 - https://docs.databricks.com/delta/quick -start.html )
我在 Databricks 笔记本中的代码是
我尝试使用 TBLPROPERTIES ("headers" = "true") 但没有成功 - 见下文
在这两种情况下,csv 数据都被加载到表中,但标题行只是作为第一个标准行包含在数据中。
从 csv 加载时,我如何让这个 %sql CREATE TABLE 将第一个/标题行识别为标题?
谢谢
scala - 用 spark 读取 CSV 时,^G 的分隔符是什么?
所以,我真的需要帮助做一件愚蠢的事情,但显然我自己无法做到。
我在具有这种格式的文件中有一组行(less
在 OSX 上读取):
所以分隔符是BEL
分隔符,我正在以这种方式加载 CSV:
但是当我阅读它时,它只是以这种方式将行读取为一列:
似乎有一个unkown character
(你什么也看不到,只是因为我在 stackoverflow 上对其进行了格式化)代替^G
.
更新:这可能是对 scala 火花的限制吗?如果我以这种方式使用 scala 运行代码:
我长胖了
而如果我使用 python 运行:
一切都很好!
azure-databricks - Databrick - 从挂载的文件存储中读取 BLOB
我正在使用 Azure 数据块并运行以下 Python 代码:
这似乎运行良好。于是我跑了:
这给了我错误:
不知道我做错了什么。我很确定我的 sas 密钥是正确的。
azure-databricks - 将 Databricks 数据帧写入 BLOB 存储
我正在使用 Azure 数据块并安装了 BLOB 存储。我尝试使用以下方法将我的数据框保存到那里:
我收到以下错误:
更新:在我重新创建 SAS 密钥后,错误现在显示“作业中止”