azure - 将 Parquet 文件从 Azure 数据湖存储帐户复制到 Synapse 数据仓库表失败

Question

我使用 COPY INTO 语句将 ADLS Gen2 中的 csv 文件成功复制到 Synapse 表，并将共享访问签名作为凭据。但是，当我尝试将同一存储帐户（不同容器）中的 snappy.parquet 文件复制到同一数据仓库中的表中时，出现错误：“访问 HDFS 时发生错误：调用 HdfsBridge_Connect 时引发 Java 异常。Java 异常消息：找不到配置属性 mystorage.dfs.core.windows.net。”。我的代码是：

CREATE EXTERNAL FILE FORMAT pqt  
WITH (  
    FORMAT_TYPE = PARQUET  
    ,DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'               
    );  
COPY INTO [dbo].table
FROM 'https://mystorage.dfs.core.windows.net/../*.parquet'
WITH
(
  FILE_FORMAT =pqt
  ,CREDENTIAL=(IDENTITY= 'Shared Access Signature', SECRET='sas token') )

你知道如何解决这个问题吗？

谢谢

Answer 1

您能否尝试在位置的 URL 中使用 blob 而不是 dfs，因为这似乎对我有用，即使我在加载 Parquet 文件时指的是 ADLS Gen 2，如下所示。