我已经使用雪管将数据从AWS S3检索到Snowflake，但就我而言，它没有按预期工作。有时文件没有处理成雪花。
是否有任何替代方法可用于相同的？
问问题
940 次
2 回答
2
据说来自 AWS S3 的事件处理是不可靠的，因为事件可能会延迟几分钟到达（这是一个 AWS 问题，但会影响 Snowpipe）。
补救措施是安排一个任务定期（至少每天）执行：
ALTER PIPE my_pipe REFRESH [ PREFIX = '<path>' ];
请使用前缀以避免扫描大型 S3 存储桶以查找未处理的项目。还要注意来自 Snowflake 的关于 Amazon 何时修复 S3 事件问题的公告，以便您可以删除任何不必要的REFRESH任务。
如果你有例如。一个YYYY/MM/DD/桶结构，不幸的是，这意味着您必须创建一个存储过程才能以动态PREFIX...
我将这个组合 ( PIPE/ REFRESH TASK) 用于我的 Snowpipes。
于 2019-12-13T09:59:01.527 回答
0
回答你的问题：是的。我过去曾在生产环境 (AWS) 中多次使用过它，并且它按预期工作。
于 2019-12-13T09:47:04.410 回答