0

我正在浏览代码 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java

它展示了 kinesis 如何将流数据发送到 SparkContext，然后 spark 可以进一步处理。

在给定的示例代码中，如果我看到http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.html，我试图了解此代码是 KCL 应用程序 它说在 Java 中实施 Amazon Kinesis 应用程序时，您必须完成以下任务：

任务

实现 IRecordProcessor 方法 为 IRecordProcessor 接口实现类工厂 修改配置属性

但火花示例代码 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java没有参考IRecordProcessor 和 worker 等。

注意：https : //spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 在部署部分下它说单个 Kinesis 输入 DStream 可以通过创建多个 KinesisRecordProcessor 线程从 Kinesis 流的多个分片中读取。但是没有 KinesisRecordProcessor 的实现是否缺少。或者我错过了一些明显要理解的东西

有人可以解释一下这是 KCL 应用程序吗？

4

1 回答 1

1

kinesis 流实现负责处理这些交互并从应用程序中抽象出来。见https://github.com/apache/spark/tree/master/extras/kinesis-asl/src/main/scala/org/apache/spark/streaming/kinesis

于 2015-06-14T17:57:00.203 回答