我是 Flink 和 Elastic Search 集成的新手。我有一个场景，我必须将历史数据（大约 1TB）从旧的弹性搜索集群（5.6）加载到新的集群（6.8）。我必须在迁移过程中进行一些数据过滤和修改。考虑使用 flink 批处理作业和 flink-es-sink 操作符。
但是由于目前没有可用的 flink-es-source 运算符，因此将数据源到我的 flink 管道中的最佳方法是什么。我有几个选择来做到这一点。
- 写一个flatmap函数/处理函数并获取记录
- 使用一些开源的 3rd 方库将 flink 连接到 ES。但不想冒险，因为不知道这些程序如何执行
但不确定哪个是最好的方法，因为数据量很大，我可能不得不并行化源操作符。
如果你们中的任何人遇到这种情况，请提出几个选项。提前致谢