azure-data-lake - 将 Azure 数据仓库连接到数据湖

Question

我们可以从 Azure 数据仓库连接到 Azure 目录表或 L​​ake Store 文件作为外部表吗？

我希望能够对 Azure 数据仓库运行 SQL 查询，但希望从数据湖中获取数据。

Answer 1

是的，您可以使用 Polybase 作为外部表连接到 Azure Data Lake Store (ADLS) 中的文件。这是 2017 年 2 月在这里宣布的。

按照教程，完成以下步骤：

1. 创建范围数据库凭据
2. 创建一个外部数据源，使用上面创建的凭据指向您的数据湖
3. 为您的表格创建一个外部文件格式（例如逗号、竖线分隔等）

4. 创建一个外部表，使用外部数据源，例如

   CREATE EXTERNAL TABLE dbo.yourTable (
       col1    INT NOT NULL,
       col2    VARCHAR(20) NOT NULL,
       col3    DATETIME NOT NULL
   )
   WITH (
       LOCATION = '/someADLSFolder/',
       DATA_SOURCE = yourDataSource,
       FILE_FORMAT = yourFileformat,
       REJECT_TYPE = VALUE,
       REJECT_VALUE = 0
       );