我正在尝试通过雪管加载数据，但不知何故，所有文件都没有加载，这些文件来自不同的来源，包括自动化作业、手动上传、数据提取。我看到的一个共同点是 - 没有 md5 的文件不会自动摄取，而有的文件会自动摄取。所以想确认是否有人知道自动摄取文件需要md5？
谢谢
问问题
81 次
2 回答
0
不，自动摄取不需要 MD5（文件）。它依赖于通知服务（SNS、SQS、事件网格）。
我建议您查询 SYSTEM$PIPE_STATUS 以了解有多少文件处于待处理状态、队列中最旧文件的时间戳、最后转发的通知消息的时间戳：
https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-s3.html#system-pipe-status-output
于 2020-06-05T07:23:05.930 回答
0
结果表明 ADLS gen2 API 需要显式刷新关闭才能创建导致自动摄取的雪花通知。将此添加到 azure 函数中，现在似乎工作正常
于 2020-07-14T05:24:33.450 回答