问题标签 [azure-data-lake-gen2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure-java-sdk - DataLakeServiceClient 在使用 Java SDK 时抛出类型定义错误：[simple type, class com.azure.core.http.netty.NettyAsyncHttpClient]
我正在尝试使用 Java SDK 访问 ADLS。以下是我用来获取 DataLakeServiceClient 的配置。
pom.xml 具有以下依赖项：
在调用控制器时，请求失败，我收到以下错误：
为了解决这个错误，我向 pom.xml 添加了以下依赖项，但它似乎不起作用
谁能帮我解决这个问题？
azure - 通过 Azure CLI 或 Python 代码为 Storage Account Gen2 升级访问层
我们希望更新 ADLS Gen2 中的多路径访问层，并希望根据我们的要求使用 Azure CLI 或 Python 代码。根据 Microsoft 文档，我们只看到 Portal 和 Power shell 代码来执行此操作。任何人都可以让我们知道我们是否可以通过上述代码进行探索。
azure - 将数据从 azure blob 存储复制到 adls gen 2
我在 azure blob 存储中有大约 200 万个 json 文件。每个文件包含一条记录。我需要将所有这些 json 文件移动到创建日期大于 2019-01-01 的 adls gen 2。
注意：createdate 是 json 中的字段之一。
是否可以通过 azure 数据工厂实现这一点
scala - 使用 Spark 2.4 从 Azure Data Lake Storage V2 读取文件
我正在尝试在 Mac 上的 IntelliJ-IDE 上使用 Spark 2.4 读取一个简单的 csv 文件 Azure Data Lake Storage V2
下面的代码
它能够读取并抛出安全异常
任何人都可以帮助我，这是什么错误？
azure-data-lake - Azure Datalake Analytics U-SQL 与 Azure Datalake Storage Gen 2
问题：将 ADLA (U-SQL) 与 ADLS(Gen2) 一起使用的前进道路是什么？
我一直在美国东部地区通过 Azure 数据工厂 (ADF v2) 和 Azure Data Lake Store Generation 1 运行 Azure Data Lake Analytics (U-SQL) 作业已有一段时间了
我计划部署另一个实例来满足加拿大客户的需求，并希望设置 Azure Data Lake Store Generation 1
我尝试了什么：
- 我无法在加拿大中部（或任何加拿大地区）创建 Azure Datalake Storage Gen 1 帐户
- 我尝试迁移到 Azure Datalake Storage Gen2，但随后遇到了 Azure 数据工厂 - U-SQL 活动无法与 Gen2 存储链接服务链接以获取 U-SQL 脚本的问题
我偶然发现了有关此主题的多个链接：
- https://feedback.azure.com/forums/327234-data-lake/suggestions/36445702-add-support-for-adls-gen2-to-adla
- https://social.msdn.microsoft.com/Forums/en-US/5ce97eef-8940-4591-a19c-934f71825e7d/connect-data-lake-analytics-to-adls-gen-2
这实质上是说 U-SQL / ADLA 不会支持 ADLS Gen2
我有点困惑，因为没有关于 ADLA 方向的官方文件
azure-data-lake-gen2 - azure datalake gen2 中的 SQL 数据
我读到 azure datalake gen 2 可以存储结构化和非结构化数据。我们在哪里可以将结构数据（如 SQL 数据）存储在 azure datalake gen2 中。如果我将其存储在 blob 中，该文件的扩展名将是什么。是.bak。基本上请在datalake中存储SQL数据的任何示例
powershell - 使用databricks在adls gen2中导入表数据并保存为json文档
我正在使用以下代码从 sql server 表生成 json 结果集。
电源外壳：
您能否指导我使用 Azure Databricks 在 Azure Data Lake Storage Gen2 中存储 json 文档。
azure-data-factory - 复制数据“存储连接”强制在 ADF 中使用 Blob 存储，而不是 ADLS Gen2
我有一个来自 ADLS Gen2 输入的数据工厂（只有这在我们公司是合规的）。它工作正常。下面给出的图片是“复制数据”活动的设置。如图中用于存储日志（丢失的行数据），我们被迫使用 blob 存储或第 1 代数据湖。我们如何为此使用 ADLS Gen2？看起来是个瓶颈。如果此类数据存储在 Gen2 之外，我们将面临自满问题
azure - 用于 MongoDB 迁移的 Delta Lake Gen2
对于 MongoDB 迁移，您更喜欢哪种 Azure 管道和数据存储？
我知道存在 Azure 迁移服务的功能，您可以将 MongoDB 数据直接转移到 Azure CosmosDB。Azure 迁移服务似乎仅适用于特定许可证。使用 Cosmos DB 还需要考虑成本。另一种可能性是使用 Stitch 将 MongoDB 直接转移到 Azure。
由于我们不想使用其他工具，因此我们想使用 Azure 数据工厂将 MongoDB 数据转移到 Azure 数据存储中。我们想使用 Data Lake Storage Gen2，因为它结合了 Blob Storage 和 Data Lake Storage Gen1 的优点。
您更喜欢哪个管道？有在 Azure Data Lake Storage Gen2 中存储 MongoDB 数据的经验吗？
mongodb - 数据工厂管道因各种错误而失败
我使用 MongoDB 作为源和 Delta Lake Storage Gen2 设置了 Azure 数据工厂。已成功检查所有连接（到源和目标目的地）。但是管道的执行失败并出现以下错误：
*ADLS Gen2 操作失败：操作返回无效状态代码“禁止”。帐户：'xxxx'。文件系统：“营销”。路径：'输出/users.txt'。错误代码：'AuthorizationPermissionMismatch'
"errorCode": "2200", "message": "'Source' 端发生故障。ErrorCode=UserErrorTypeInSchemaTableNotSupported,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=无法从模式表中获取类型。这可能是由于缺少 Sql Server System CLR 造成的
"errorCode": "2200", "message": "'Sink' 端发生故障。ErrorCode=UserErrorSchemaMappingCannotInferSinkColumnType,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message='xx' 列的数据类型不能从第一行数据推断，请在复制活动或DataSet结构的映射中指定其数据类型*
有什么想法可以解决这些错误吗？