问题标签 [azure-databricks]

是否在 Azure Databricks 上默认启用了企业级安全功能的Databricks 操作安全包，或者它是 Azure 平台上依赖于所选定价层的可选加载项？

我很想知道Databricks ARM 模板中的uiDefinitionUri是做什么用的，应该提供什么样的文件。我可以看到一个字符串是输入类型，值是“UI 定义文件所在的 blob URI”。，但是这不是很具描述性，也不提供任何指导。

我想知道下面的伪代码是否是从 PySpark（Azure Databricks）读取存储在 Azure Data Lake 中的日期范围之间的多个镶木地板文件的有效方法。注意：parquet 文件不按日期分区。

我使用 uat/EntityName/2019/01/01/EntityName_2019_01_01_HHMMSS.parquet 约定在 ADL 中存储数据，如 Nathan Marz 的《大数据》一书中所建议的，稍作修改（使用 2019 而不是 year=2019）。

使用 * 通配符读取所有数据：

添加一个列 FileTimestamp，使用字符串操作从 EntityName_2019_01_01_HHMMSS.parquet 中提取时间戳并转换为 TimestampType()

使用过滤器获取相关数据：

本质上，我使用 PySpark 来模拟 U-SQL 中可用的简洁语法：

我们已设法使用 Spark (odbc) 连接器从 Azure 数据工厂到我们的 Azure Databricks 集群建立有效连接。在表列表中，我们确实得到了预期的列表，但是在查询特定表时，我们得到了异常。

错误 [HY000] [Microsoft][Hardy] (35) 来自服务器的错误：错误代码：'0' 错误消息：'com.databricks.backend.daemon.data.common.InvalidMountException：使用路径 xxxx 解析路径 xxxx 时出错在 '/mnt/xxxx'.'.. 挂载内。活动 ID：050ac7b5-3e3f-4c8f-bcd1-106b158231f3

在我们的案例中，存储在 Azure Data Lake 2 中的 Databrick 表和装载的 parquet 文件与上述异常有关。任何建议如何解决这个问题？

附言。从 Power BI 桌面连接时出现相同的错误。

谢谢巴特

我正在尝试使用 ARM 在 Azure Databricks 中添加 RBAC。我已经设法使用以下代码在 App Insights 中使用 ARM 添加 RBAC

寻找使用 ARM 在 Databricks 中创建 RBAC 的一些输入

我已经引用了这个主题 -如何将变量传递给 IPython中的魔术“运行”函数，以从另一个笔记本触发笔记本。

在下一个单元格中，我试图按照上述文章中建议的解决方案调用 %run ：

我收到以下错误：找不到笔记本：$notebook. 可以通过相对路径指定笔记本。是否可以将字符串变量与 %run 一起传递？

我可以解决这样的问题： dbutils.notebook.run(notebook, 300 ,{})

我是 azure databricks 的新手。我在 scala 中编写了一个示例 spark 程序，以通过以下查询加载到 azure sql 中。我收到一个错误。有人可以帮我吗

错误消息----
com.microsoft.sqlserver.jdbc.SQLServerException：与主机b63da5ce2d2d.tr27.northeurope1-a.worker.database.windows.net 的TCP/IP 连接失败，端口65535。错误：“连接超时。验证连接属性。确保 SQL Server 实例正在主机上运行并在端口接受 TCP/IP 连接。确保与端口的 TCP 连接未被防火墙阻止。 "

斯卡拉代码 -

import com.microsoft.azure.sqldb.spark.config.Configimportcom.microsoft.azure.sqldb.spark.connect._// 获取一个DataFrame集合(val collection)valconfig=Config(Map("url"->"mysqlserver. database.windows.net","databaseName"->"MyDatabase","dbTable"->"dbo.Clients""user"->"username","password"->"xxxxxxxx"))importorg.apache.spark .sql.SaveModecollection.write.mode(SaveMode.Append).sqlDB(config)

我们可以使用一些帮助来了解如何将 Spark 驱动程序和工作日志发送到 Azure Databricks 之外的目的地，例如 Azure Blob 存储或使用 Eleastic-beats 的弹性搜索。

配置新集群时，get reg log delivery destination 的唯一选项是 dbfs，请参阅

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html。

非常感谢任何输入，谢谢！

我正在尝试使用以下配置在 dattabricks 中安装 adls gen2

我已经创建了服务主体并为其创建了密钥，然后在 Active Directory 角色分配中向该服务主体提供了存储 blob 角色

根据文件

blob 容器内的 your-file-system ==> 文件夹应该是什么？you-directory-name ==> 我在 blob 容器内只有一个文件夹，所以在这里混淆 storgae(ADLS gen 2 preview) Blob Container folder a.txt

错误

ExecutionError：调用 o480.mount 时出错。头https://xxxxxxxxx.dfs.core.windows.net/xxxxxx?resource=filesystem&timeout=90 StatusCode=403 StatusDescription=此请求无权使用此权限执行此操作。ErrorCode= ErrorMessage= 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.services.AbfsRestOperation.execute(AbfsRestOperation.java:134) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs。 services.AbfsClient.getFilesystemProperties(AbfsClient.java:197) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.getFilesystemProperties(AzureBlobFileSystemStore.java:214) 在 shaded.databricks.v20180920_b33d810.org.apache。 hadoop.fs.azurebfs.AzureBlobFileSystem.fileSystemExists(AzureBlobFileSystem.java:749) 在 shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize(AzureBlobFileSystem.java:

我有一个 Databricks python notebook 从 DBFS 上的 JSON 文件读取 ADL 配置。我能够很好地读取文件，并且生成的 DF 显示了具有以下架构的值。

我在读取特定行值时遇到了挑战。我得到一个行对象，但没有给我行的值。

感谢任何有助于解决此问题的指针。