0

我必须使用 Snowflake 进行概念验证 (POC)，我是 Snowflake 的新手，正在寻求建议。

用例：

  1. 必须将 7 个表（5 个维度表和 2 个事实表）的数据从 Microsoft Dynamics AX（本地）加载到雪花
  2. 两张表很大，有超过 1.5 亿条记录
  3. 将数据加载到 Snowflake 后，必须在 Snowflake 中围绕 7 个表创建星型模式模型
  4. 将使用 SSRS、Power BI 或 Excel 从 Snowflake 读取数据。

需要测量：

  1. 将数据从源加载到雪花所需的时间（时间、资源利用等）
  2. 以及读取性能如何？
  3. 行级别安全性：区域经理浏览 Power BI 报表，应该只看到他的数据而不是其他区域经理数据

请有人可以解释实现上述目标的步骤吗？如果您可以提供一些支持性链接和脚本，那就太好了。

我是否需要执行以下操作：

  1. 将数据从 AX 表加载到文件（我认为文件大小有限制：https ://docs.snowflake.net/manuals/user-guide-getting-started.html ）
  2. 将这些文件上传到 Amazon S3 或 Azure Blob Storage，然后可以从那里将每个文件加载到 Snowflake
4

2 回答 2

1

Snowflake 中的这本怎么样： 如何制作您的数据仓库 POC
您必须注册才能从 2019 年获得这本电子书...

另外，我强烈建议您在“我需要做吗？”中同时做这两个。部分。

于 2019-11-12T11:10:25.700 回答
0

4 雪花可用的数据加载选项： 小数据集： 1）雪花 Web UI/界面：加载有限数据（小数据集） 批量加载： 2) SnowSQL（CLI 客户端）：SnowSQL 命令行界面，用于将云上文件中的批量数据加载到雪花中。SnowSQL 是下一代命令行客户端，用于连接到 Snowflake 以执行 SQL 查询并执行所有 DDL 和 DML 操作，包括将数据加载到数据库表中和从数据库表中卸载数据。您必须在客户端机器上安装和配置 SnowSQL。3) Snowpipe：Snowpipe 是 Snowflake 的持续数据摄取服务。Snowpipe 在文件添加到阶段并提交以供摄取后几分钟内加载数据 4) 3rd 方 ETL 工具：如 Matillion (SaaS)、SSIS（IaaS 和内部部署）、Talend (SaaS) 等。创建您自己的数据集成包将数据加载到雪花。

步骤： 1. 将数据从 Source AX 加载到 Snowflake i) 由于我们是一家 MS Shop，因此创建一个 SSIS 包以将数据从 AX 加载到 CSV 文件（每个文件的最大大小应为 100 MB）并将文件放在 Azure Blob存储或 AWS S3 ii) 使用 SnowSQL 将数据从文件（Azure Blob 存储）加载到 Snowflake 或 iii) 使用第 3 方 ETL 工具 SSIS 将数据直接从 Source 加载到 Snowflake，无需任何转换，一旦数据转储到 Snowflake，您就可以做到转型。

于 2019-11-12T23:01:32.367 回答