问题标签 [azure-data-lake-gen2]

我正在使用 azure 数据湖提交一个 cosmos 脚本，我在 azure 门户中创建了一个名为“cpprodactivityreportsc08”的“Data Lake Analytics”，并尝试通过 Visual Studio 选择目标 VC 是“cpprodactivityreportsc08”来提交 cosmos 脚本，但是我得到以下错误。

“API 版本 '2017-09-01-preview' 不支持作业类型 'Scope'”

尝试读取 Azure Databricks 中的 .nc (netCDF4) 文件。

从未使用过 .nc 文件

1. 所有必需的 .nc 文件都在 Azure Datalake Gen2 中
2. /mnt/eco_dailyRain将上述文件挂载到“ ”处的 Databricks 中

3. dbutils.fs.ls("/mnt/eco_dailyRain") 可以使用OUTPUT列出 mount 的内容：

   /li>

只是为了测试是否可以从安装中读取。

确认可以读取镶木地板文件。

输出

但试图读取netCDF4文件说No such file or directory

代码：

错误

任何线索。

我想在输出文件夹中写入数据，而不需要标准格式的 spark：

有什么方法可以输出只有特定文件名和扩展名（json）的数据吗？

提前感谢您的帮助！

我试图使用示波器进行设置，但遇到了一些问题。任何帮助，将不胜感激。

我在 Databricks CLI 中运行了以下命令

成功创建范围。然后我尝试在我的笔记本中运行以下内容

此时我收到错误消息。请参考下图

错误详情

我们正在尝试授予对 Azure data Lake gen 2 容器中的许多文件夹的读/写访问权限，尽管我们可以通过 UI 执行此操作，但它非常乏味，并且必须在所有环境中重复。有没有人使用更好的方式使用 Powershell 来自动化或至少参数化授予对 Azure Data Lake gen 2 容器的访问权限的过程并避免手动授予访问权限？

不幸的是，我无法使用以下链接或其他文档来实现它，因为它适用于第 1 代，但它与我需要为第 2 代做的非常相似。 https://www.sqlchick.com/entries/2018/3 /17/assigning-data-permissions-for-azure-data-lake-store-part-3

如何在不下载的情况下直接访问 Azure datalake gen2 中存在的 .txt 文件。我能够下载并阅读它，但有什么方法可以直接从 gen2 直接读取文件。

我使用了 read_file 方法 DataLakeFileClient() 但是这个方法输出了整个数据，有没有办法逐行读取文件？

我在存储帐户 V2 中有 Blob 容器，具有 VNet 防火墙设置，并且只允许访问 Microsoft 受信任的服务。现在，只要防火墙限制其他服务，当我尝试设置链接服务时，我无法为数据工厂 V2 获得成功的测试连接，并且出现错误：

连接失败 ADLS Gen2 操作失败：操作返回无效状态代码“禁止”。帐户：'mufgpresales'。文件系统：'文件系统'。错误代码：“授权失败”。消息：'此请求无权执行此操作。'。RequestId：'fdc2149f-401f-0027-0b8f-c464ff000000'.. 操作返回无效状态代码“禁止”活动 ID：439d7a8c-254b-4af6-8697-1ff8770e1c40。

我阅读了许多关于使用托管身份和集成运行时的帖子。因此，我使用了数据工厂的托管身份应用程序 ID 并授予了 1 个 blob 容器的所有权限，但我仍然无法让它成功。

我很难出售集成运行时位和额外的虚拟机来托管它。我正在寻找使用 AzureRuntime 的解决方案，我认为这是可能的，但不知道具体如何。有什么建议么？

I've tried to give access to an Active Directory external user (with Guest type). ADLS2 enables to use of such users for RBAC or ACL tables.

But when I tried to access ADLS2 as a guest user from the Power BI service I've got an error: "The credentials provided for the AzureDataLakeStorage source are invalid.":

Is this behavior a bug or a feature?

Is a way to access ALDS2 as a Guest user?

我正在尝试从 Avro 文件源创建一个 Azure 数据工厂数据流，其中包含一些转换，作为 ORC 文件登陆，两者都在 ADLS gen2 中。但是，ORC 似乎不是数据流接收器的选项。我也尝试过作为数据流源，它是灰色的（见下图，ORC 选项是灰色的）

我已经在 Copy 活动中成功地将它用作接收器。虽然无法找到文档，但 ORC 是与 ADF 兼容的文件类型。有没有人能够在数据流中使用 ORC 作为源或接收器，如果可以，如何使用？

Although I can grant access to different users in Azure Data Lake Gen 2 using Powershell, I'd like to be able to grant access so that each user has access to their own separate folders with each Data Lake Gen 2 container e.g. Within Container 1, User A has access to sub folder A and User B has access to Sub Folder B. This is possible using the Storage explorer UI but I'm unable to do so using PowerShell commands.