我正在尝试深入研究新的有状态函数方法,并且我已经尝试手动创建保存点(https://ci.apache.org/projects/flink/flink-statefun-docs-release-2.1/deployment-and-operations /state-bootstrap.html#creating-a-savepoint)。
它就像一个魅力,但我找不到如何自动完成它的方法。例如,我有几百万个密钥,我需要将它们全部写入保存点。
我正在尝试深入研究新的有状态函数方法,并且我已经尝试手动创建保存点(https://ci.apache.org/projects/flink/flink-statefun-docs-release-2.1/deployment-and-operations /state-bootstrap.html#creating-a-savepoint)。
它就像一个魅力,但我找不到如何自动完成它的方法。例如,我有几百万个密钥,我需要将它们全部写入保存点。
您是否有关于如何用env.fromElements
从文件或其他数据源读取的内容替换示例中的问题?这里使用的 Flink 的 DataSet API 可以从任何HadoopInputFormat
. 有关详细信息,请参阅数据集连接器。
对于常见情况,有易于使用的快捷方式。如果您只想使用 a 从文件中读取数据TextInputFormat
,则如下所示:
env.readTextFile(path)
并使用以下命令从 CSV 文件中读取CsvInputFormat
:
env.readCsvFile(path)
有关使用这些快捷方式的更多信息,请参阅数据源。
如果我误解了这个问题,请澄清您的疑虑。