我的场景是我在 AWS S3 平面文件中有数据。当新文件到达 S3 时，我正在使用 SNS 触发雪管。要将数据从 S3 中的平面文件加载到雪花表，我使用的是雪管。因此，在通过 Snow-pipe 将数据从平面文件加载到雪花表时，我可以处理数据验证和对源数据的几次计算吗？如果我们有任何方法可以做到这一点，请帮助我......在此先感谢。
问问题
264 次
1 回答
0
Snowpipe 尚不支持 Validation_mode 复制选项。但是，雪管确实支持简单的转换，如列重新排序、强制转换等。执行计算和转换数据的最佳方法是将数据加载到临时表中，并将下游处理到目标表中。
参考： https ://docs.snowflake.net/manuals/sql-reference/sql/create-pipe.html#usage-notes https://docs.snowflake.net/manuals/user-guide/data-load-transform .html
于 2020-02-28T18:19:07.400 回答