python-3.x - 将 S3 中多个文件夹中的相同文件合并/加载到雪花中

Question

需要有关如何将多个文件夹中可用的相同文件加载到雪花表中的帮助。是否有可能实现使用Snowflake Copy Command？

说在一个桶中我有.. a.csv 的所有文件仅在当前日期示例下 2020/06/09 将进入a_table

2020 -- 是年份，然后是月份 06，然后是日期，即 09

bucket_a
   ts
     ts_folder
         2020
           06
             08
                a.csv
                b.csv
                c.csv
                d.csv
             09
                a.csv
                b.csv
                c.csv
                d.csv

     ts_folder2
         2020
           06
             08
                a.csv
                b.csv
                c.csv
                d.csv
             09
                a.csv
                b.csv
                c.csv
                d.csv

Answer 1

使用以下代码实现

SET curr_dt=(
  SELECT 
    '.*/' || 
    TO_VARCHAR(CURRENT_DATE(), 'YYYY/MM/DD') || 
    '/a\\.csv'
)

-- Referenced as a SQL variable in the PATTERN option
COPY INTO a_table
FROM @stage/ts/
(PATTERN=>$curr_dt);

Answer 2

Snowflake COPY INTO 语句将递归地遍历阶段中的子目录，因此您需要做的就是在 COPY INTO 语句中添加一个模式参数，如下所示：

pattern = 'a\_date\.csv'