1

问题:将 ADLA (U-SQL) 与 ADLS(Gen2) 一起使用的前进道路是什么?

我一直在美国东部地区通过 Azure 数据工厂 (ADF v2) 和 Azure Data Lake Store Generation 1 运行 Azure Data Lake Analytics (U-SQL) 作业已有一段时间了

我计划部署另一个实例来满足加拿大客户的需求,并希望设置 Azure Data Lake Store Generation 1

我尝试了什么:

  • 我无法在加拿大中部(或任何加拿大地区)创建 Azure Datalake Storage Gen 1 帐户
  • 我尝试迁移到 Azure Datalake Storage Gen2,但随后遇到了 Azure 数据工厂 - U-SQL 活动无法与 Gen2 存储链接服务链接以获取 U-SQL 脚本的问题

我偶然发现了有关此主题的多个链接:

这实质上是说 U-SQL / ADLA 不会支持 ADLS Gen2

我有点困惑,因为没有关于 ADLA 方向的官方文件

4

1 回答 1

0

更新:

这是我的 u-sql 活动的结构。它可以工作并成功处理:(您可以尝试创建一个新的 u-sql 活动 json 来替换您的 u-sql 活动。)

{
    "name": "pipeline4",
    "properties": {
        "activities": [
            {
                "name": "U-SQL1",
                "type": "DataLakeAnalyticsU-SQL",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "scriptPath": "test1/u-sql.txt",
                    "scriptLinkedService": {
                        "referenceName": "LinkTo0730",
                        "type": "LinkedServiceReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureDataLakeAnalytics1",
                    "type": "LinkedServiceReference"
                }
            }
        ],
        "annotations": []
    }
}

原答案:

我无法在加拿大中部(或任何加拿大地区)创建 Azure Datalake Storage Gen 1 帐户

就我而言,我也无法在加拿大中部地区创建 datalake gen1。这是我订阅的限制。但是您可以检查一下您身边的资源管理器,也许可以。(Azure 数据湖 gen1 是“Microsoft.DataLakeStore”)

1

所有区域都支持资源管理器,但可能并非所有区域都支持您部署的资源。此外,您的订阅可能存在限制,导致您无法使用支持该资源的某些区域。资源浏览器显示资源类型的有效位置。

请检查此文件:

https://docs.microsoft.com/en-us/azure/azure-resource-manager/management/resource-providers-and-types

我尝试迁移到 Azure Datalake Storage Gen2,但随后遇到了 Azure 数据工厂 - U-SQL 活动无法与 Gen2 存储链接服务链接以获取 U-SQL 脚本的问题

在我这边,似乎它正在读取 gen2 中的 u-sql 脚本,你有没有得到一些错误?

于 2020-08-03T09:16:36.640 回答