我的数据位于结构 s3n://bucket/{date}/{file}.gz 中,包含 > 100 个文件夹。如何设置流式传输作业并将它们全部用作输入?指定 s3n://bucket/ 没有帮助,因为节点是文件夹。
问问题
87 次
我的数据位于结构 s3n://bucket/{date}/{file}.gz 中,包含 > 100 个文件夹。如何设置流式传输作业并将它们全部用作输入?指定 s3n://bucket/ 没有帮助,因为节点是文件夹。