问题标签 [flink-streaming]

我如何确保我始终使用 Flink 从 Kafka 主题的开头开始消费？

对于作为 Flink 1.0.2 一部分的Kafka 0.9.x 消费者，似乎不再是 Kafka 而是 Flink 来控制偏移量：

Flink 在内部将偏移量快照作为其分布式检查点的一部分。提交给 Kafka / ZooKeeper 的偏移量只是为了使外部的进度视图与 Flink 的进度视图同步。这样一来，监控和其他工作就可以了解 Flink Kafka 消费者对主题的消费程度。

这是我走了多远，但我的 Flink 程序总是从它停止的地方开始，并且不会按照配置的指示返回到开头：

我正在使用使用 Java 的 Flink Table API，我想将 DataSet 转换为 DataStream .... 以下是我的代码：

但是当我尝试执行这个程序时，它会抛出以下异常：

org.apache.flink.api.table.ExpressionException：JavaStreamingTranslator 的无效根：根（ArraySeq（（related_value，Double），（ref_id，String）））。您是否尝试将基于 DataSet 的 Table 转换为 DataStream，反之亦然？ 我想知道我们如何使用 Flink Table API 将 DataSet 转换为 DataStream ？

我想知道的另一件事是，对于模式匹配，有可用的 Flink CEP 库。但是使用 Flink Table API 进行模式匹配是否可行？

我正在使用 Flink 的 Table API。我想CASE WHEN在 Table API 查询中使用。我的查询使用三个字段：routeid, startlocation, distance并且我想使用一个CASE WHEN子句来识别基于distance值的因素，这些因素是基于routeid.

示例：

Flink 的 Table API 可以做到这一点吗？如果是，该怎么做？

我已经设置了示例项目并构建了它。我能够按预期运行 WordCount 程序。但是当我运行 SocketTextWordCount 时，我没有打印出任何结果。

• 我通过 nc 发送数据（双方 localhost:9999）
• 在正在运行的作业的 Web 控制台中，我可以看到正在发送/接收消息

但是我从来没有看到 counts.print() 输出在任何地方打印出来，即使在终止 nc 会话之后也是如此。

编辑 - 当我改变它以将结果打印到文本文件时，没问题。所以问题似乎是 counts.print() 没有正确写入我正在运行示例的控制台的标准输出。

我刚刚开始使用 Apache Flink (Scala API)，我的问题如下：我正在尝试根据 Flink 站点的一个示例将数据从 Kafka 流式传输到 Apache Flink：

一切正常，stream.print() 语句在屏幕上显示以下内容：

2018-05-16 10:22:44 AM|1|11|-71.16|40.27

我想使用案例类来加载数据，我尝试过使用

但它一次只拆分一个字符的数据。

基本上预期的结果是能够填充案例类的5个字段，如下所示

但它现在正在做：

ETC...

任何建议将不胜感激。

先感谢您

坦率

我尝试运行以下代码。

但是出现以下错误

我玩了一下，发现无法调用构造函数 FlinkKafkaConsumer08。我使用了 Kafka 0.8.2、Java 7 和 Scala 2.10。这里可能有什么问题？

我正在从 org.apache.flink.client.program 和以下构造函数中查看 PackagedProgram.java：

有一些我无法理解的代码；请看下面：

这怎么能this.mainClass不覆盖作为 Program 接口（program.class）的抽象方法并且只有静态 main 方法被实例化为 Program 的 getPlan 方法？

我有一个 flink 应用程序。我在 map 函数中使用了一个对象。像这样：

streamProcessor 是一个对象。该对象内部是数据库的另一个服务对象。每当应用程序有事件发生时，Flink 都会执行这个 map 函数。我想知道的是：每次对象都是相同的单例对象吗？

一个例子：

-> 事件到达应用程序 -> map 函数将执行并创建一个单例对象

-> 下一个事件到达应用程序 -> 地图函数将再次执行 -> 对象将再次调用

第二个对象是相同的实例吗？

我正在尝试运行此 示例，其中一些 DataStream 正在合并。我为此使用 Eclipse，并添加了此处指定的 Maven 依赖项。这是我的依赖项：

但是，有些类没有被识别（见图）。

在为我的项目选择其中一个之前，我正在学习和评估 spark 和 Flink。

在我的评估中，我提出了以下简单的任务，我可以弄清楚如何在这两个框架中实现它。

让我们这么说

1-/ 我有一个事件流，这些事件流只是关于某些项目在数据库中某处发生更改的事实的信息。

2-/我需要为每个事件查询数据库以获取项目的新版本

3-/应用一些转换

4-/连接到另一个数据库并写入结果。

我的问题如下：

使用 Flink 或 Sparks，如何确保对 dbs 的调用异步处理以避免线程饥饿？

我来自 scala/Akka，通常我们避免在这种情况下进行阻塞调用并使用 future 的所有方式。Akka 流允许流处理的细粒度级别的细节，例如Integrating stream with external service。这避免了线程饥饿。当我在我的 io 操作中等待时，线程可以用于其他事情。

简而言之，我看不到如何在两个框架中使用期货。

所以我相信这两种框架都可以以某种方式重现。

谁能解释一下这应该如何在 Flink 或 sparks 中处理。

如果不支持开箱即用，是否有人有以某种方式将其合并的经验。