1

我们已经使用 Snowpipe 大约 10 个月了,我们最近遇到了一个案例,其中部分文件已stage上传到相应的雪花表,并且未检测到任何未来的文件。验证底层证券stage处于pipe有效状态。

假设暂存位置是 s3://<some_bucket>/some/path 并且有 5 个文件 file1.csv、file2.csv、file3.csv、file4.csv、file5.csv

select metadata$filename, count(*) from @<DB_NAME>.<SCHEMA>.<STAGE_NAME> group by metadata$filename;

输出表明检测到所有 5 个文件,并且计数与预期一致。但 file4.csv 和 file5.csv 从未被摄取。

select * from table(information_schema.copy_history(table_name=>'<TABLE_NAME>', start_time=> dateadd(hours, -1000, current_timestamp())));

不显示复制历史,这使我们怀疑表/管道是否处于不确定状态以及是否有解决方法。

注意:该copy_history命令适用于数据库中的其他表。

4

0 回答 0