我们已经使用 Snowpipe 大约 10 个月了,我们最近遇到了一个案例,其中部分文件已stage
上传到相应的雪花表,并且未检测到任何未来的文件。验证底层证券stage
处于pipe
有效状态。
假设暂存位置是 s3://<some_bucket>/some/path 并且有 5 个文件 file1.csv、file2.csv、file3.csv、file4.csv、file5.csv
select metadata$filename, count(*) from @<DB_NAME>.<SCHEMA>.<STAGE_NAME> group by metadata$filename;
输出表明检测到所有 5 个文件,并且计数与预期一致。但 file4.csv 和 file5.csv 从未被摄取。
select * from table(information_schema.copy_history(table_name=>'<TABLE_NAME>', start_time=> dateadd(hours, -1000, current_timestamp())));
不显示复制历史,这使我们怀疑表/管道是否处于不确定状态以及是否有解决方法。
注意:该copy_history
命令适用于数据库中的其他表。