我是 Flink 新手,我的理解是遵循 API 调用
StreamExecutionEnvironment.getExecutionEnvironment().readFile(format, path)
将为给定的 S3 存储桶路径并行读取文件。
我们将日志文件存储在 S3 中。要求是为多个客户端请求提供服务,以从带有时间戳的不同文件夹中读取。
对于我的用例,为了服务多个客户端请求,我正在评估使用 Flink。所以我希望 Flink 为不同的 AWS S3 文件路径并行执行 AWS S3 读取。
是否有可能在单个 Flink Job 中实现这一点。有什么建议么?