我正在运行一个脚本来抓取推文并将它们放入 Kinesis 流中。如果我停止脚本运行并等待 5-10 分钟重新启动它,它似乎接受新数据并在没有错误的响应中返回 ShardID 和 SequenceNumber。
当我的消费者脚本尝试查找/解析/使用新添加的数据时,它无处可寻,但在停止脚本之前的任何数据仍然可以使用。
如果我不停止脚本并且流保持打开状态,这个“问题”似乎不会发生,我只是没有在任何地方的文档中看到这一点,而且我已经看到人们将数据放入流的示例无需运行长期脚本。例如。提交表格后。
我正在运行一个脚本来抓取推文并将它们放入 Kinesis 流中。如果我停止脚本运行并等待 5-10 分钟重新启动它,它似乎接受新数据并在没有错误的响应中返回 ShardID 和 SequenceNumber。
当我的消费者脚本尝试查找/解析/使用新添加的数据时,它无处可寻,但在停止脚本之前的任何数据仍然可以使用。
如果我不停止脚本并且流保持打开状态,这个“问题”似乎不会发生,我只是没有在任何地方的文档中看到这一点,而且我已经看到人们将数据放入流的示例无需运行长期脚本。例如。提交表格后。
您是否使用 Kinesis Stream API 或 Kinesis 客户端库从 Kinesis 流中获取数据?
使用 API和Shard Iterator 类型访问Kinsis以获取更多信息。