0

我想对 Spark 和 Flink 进行基准测试，为此我做了几个测试。然而，Flink 不适用于 Kafka，而 Spark 则可以完美运行。

代码非常简单：

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")
properties.setProperty("group.id", "myGroup")
println("topic: "+args(0))
val stream = env.addSource(new FlinkKafkaConsumer09[String](args(0), new SimpleStringSchema(), properties))
stream.print

env.execute()

我使用具有相同主题的 kafka 0.9.0.0（在消费者 [Flink] 和生产者 [Kafka 控制台] 中），但是当我将 jar 发送到集群时，没有任何反应：

集群 Flink

可能会发生什么？

4

2 回答 2

2

您的 stream.print 不会在 flink 的控制台中打印。它将写入 flink0.9/logs/recentlog。否则，您可以添加自己的记录器来确认输出。

于 2016-10-01T15:37:06.230 回答
0

对于这种特殊情况（源链接到接收器），Web 界面将永远不会报告发送/接收的字节/记录。请注意，这将在不久的将来发生变化。

请检查作业/任务管理器日志是否不包含任何输出。

于 2016-06-15T19:51:18.457 回答