问题标签 [flink-statefun]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
75 浏览

java - Flink Statefun Bootstrap 和状态过期

根据此页面,我们可以在使用 Flink Statefun v2.1.0 时为状态设置 TTL。

根据此页面,我们还具有引导状态的能力。

第一个问题是,引导文档根本没有提到状态到期。对具有 TTL 的状态进行引导的正确方法是什么?有人可以给我举个例子吗?

第二个问题是,如果我在写入 1 天后将某个状态设置为过期,然后使用 6 个月的数据引导该状态,会发生什么情况?

整个引导状态是否会在 1 天后过期?

如果是这样,我该怎么做才能让它在 1 天过去后过期 1 天的数据?

0 投票
1 回答
172 浏览

apache-flink - 如何在 Flink Stateful Functions 应用程序中创建自动保存点?

我正在尝试深入研究新的有状态函数方法,并且我已经尝试手动创建保存点(https://ci.apache.org/projects/flink/flink-statefun-docs-release-2.1/deployment-and-operations /state-bootstrap.html#creating-a-savepoint)。

它就像一个魅力,但我找不到如何自动完成它的方法。例如,我有几百万个密钥,我需要将它们全部写入保存点。

0 投票
1 回答
269 浏览

python-3.x - Apache Flink 有状态函数 - 序列化问题?

我正在尝试使用 Python 中的 Apache Flink Stateful Function 构建一个项目,但我似乎无法让它工作。我将问题缩小到似乎当我通过我的 protobuf 模式将请求发送到我的有状态函数时,序列化程序无法将我的消息序列化到我期望的类中。这是我正在尝试做的事情:

这是我的 Protobuf 架构:

我在这里做错了什么?

0 投票
1 回答
226 浏览

apache-flink - 用于消息传递的 Flink 有状态函数地址解析

0 投票
2 回答
180 浏览

flink-statefun - Flink StatefulFunction 对检查点做出反应?

我的有状态函数是将数据写入数据库,但它是不确定的,因此从检查点恢复可能会导致数据库包含不一致的数据。我的想法是在 Flink 的持久状态中“缓冲”数据,并且只有在检查点完成后才将数据写入数据库。context.sendAfter(Duration duration, Address address, Object input);我想我可以通过使用, 通过将持续时间设置为高于检查点间隔来实现这一点。

是否有更好的解决方案可以使函数明确地对检查点做出反应?

0 投票
0 回答
92 浏览

apache-flink - 在示例中找不到 StateFunctionModule,没有定义路由器错误

我可以在这里运行 Harness 示例

但我将代码复制到另一个目录并在中使用相同的依赖项pom.xml,它引发了错误no routers defined

我调试并发现未找到MyModulewhich extends 。StateFunModule因此,类加载器没有模块,路由器和函数大小为 0,并且在验证步骤中失败。(检查入口、出口、路由器、函数大小不为 0 的步骤)

PS:我只是复制了所有代码,因此@AutoService也包括在内。根据这里,它应该无需进一步配置即可工作。


更新:似乎它的 statefun 问题与@AutoService

我在另一个项目的 pom 中添加了以下代码(与 statefun 无关)

它起作用了,生成了 META-INF。

但是如果使用

没有生成META-INF,我在statefun中发现,使用的依赖其实是

我测试了这个依赖,它无法生成 META-INF,我很好奇为什么如果我们直接克隆 statefun repo 并且mvn clean package它可以工作。

0 投票
3 回答
310 浏览

apache-flink - flink 中自定义类的 hashCode() 和 equals() 方法

我的疑问是 Flink with Java 中的自定义类是否需要覆盖hashCode()以及equals()方法,因为我在此页面中读到hashCode()必须永远不会在分布式系统中实现,而 Apache Flink 就是其中之一。

示例:我有这个课程:

我是否需要在 Flink 中实现hashCode()这类equals()类,或者让 Flink 自己管理这些方法对性能更好?

亲切的问候!

0 投票
1 回答
191 浏览

apache-flink - Flink 有状态函数:超时补偿回调

我正在 Flink 有状态函数中实现一个用例。我的规范强调从业务工作流的有状态函数开始 (换句话说,一组有状态函数 f1、f2、... fn被顺序或并行或两者调用)。有状态函数 f等待返回结果以更新本地状态,它还启动超时回调,即给自己的消息。在超时时,f 检查本地状态是否已更新(它已收到结果),如果是这种情况,生命是好的。

但是,如果在超时时 f 发现它还没有收到结果,它必须启动一个补偿工作流来撤消有状态函数 f1、f2、... fn可能收到的任何更改。

Flink 有状态功能框架是否支持设计模式/用例等,还是应该在应用程序级别实现?实现这种解决方案的最简单设计是什么?例如,如何知道工作流有状态函数 f1, f2, ... fn 的哪些函数受到超时调用(控制流已超时)的影响?Flink 状态功能以及集成消息和状态的概念如何促成这种模式?

谢谢你。

0 投票
1 回答
144 浏览

apache-flink - 如何只用一个电话清除整个 MapSate 状态

我知道,如果我这样做,mapState.clear()我将能够将所有值清除到特定键的状态中,但我的问题是:有没有办法做类似的事情mapState.clear()并将所有状态清除到 mapStates 中?就像mapState.isEmpty()它会说“真”一样,因为 mapState 中的所有键都被清理了,而不仅仅是当前键。

谢谢。亲切的问候!

0 投票
1 回答
293 浏览

apache-flink - 最小延迟的 Flink 优化配置

对于 Flink 流式传输/Flink 有状态函数,众所周知,setBufferTimeout较小的值(例如 5 毫秒)将提供“最佳”延迟体验。在优化 Flink 流或有状态函数作业中的延迟时,还必须注意哪些其他推荐的配置值(设置、重置、修改..)?