0

我有一个带有 HD Insight 管道的数据工厂管道，它正在尝试访问 Azure 数据湖目录。

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "adl://mppmetering.azuredatalakestore.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

运行此管道时出现以下错误：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.io.IOException No FileSystem for scheme: ad

这在使用以下规范访问 Azure Blob 存储的管道中运行良好：

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "wasb://mpp-metering-live@mppmetering.blob.core.windows.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

任何帮助，将不胜感激。js

4

1 回答 1

0

目前，Azure 数据工厂不支持在 Hive 脚本中引用 ADL 存储。唯一受支持的存储是 blob 存储 (wasb)。这就是您看到错误的原因。您需要在“定义”部分中使用 blob 存储（wasb 链接）。如果打算将数据放入 ADL 存储，您可以使用 ADF 中的“复制”活动将数据从 Blob 存储移动到 ADL 存储。

于 2016-06-09T17:53:44.943 回答