0

我正在寻找使用 pySpark 在 SparkStreaming 上使用 KCL。任何指针都会有所帮助。

我尝试了 spark Kinesis Ingeration 链接给出的几个。

但是我得到了 JAVA 类引用的错误。

似乎 Python 正在使用 JAVA 类。

我尝试在 spark 上应用 KCL 应用程序时链接 spark-streaming-kinesis-asl-assembly_2.10-2.0.0-preview.jar。

但仍然有错误。

请让我知道是否有人已经这样做了。

如果我在网上搜索，我会得到更多关于 Twitter 和 Kafka 的信息。在 Kinesis 方面无法获得太多帮助。

使用的火花版本：1.6.3

4

1 回答 1

0

我遇到了同样的问题。kinesis-asl jar 缺少几个文件。

为了克服这个问题，我在我的 spark-submit 中包含了以下 jars。

  1. amazon-kinesis-client-1.9.0.jar
  2. aws-java-sdk-1.11.310.jar
  3. jackson-dataformat-cbor-2.6.7.jar

注意：我使用的是 Spark 2.3.0，因此列出的 jar 版本可能与您应该用于 spark 版本的 jar 版本不同。

希望这可以帮助。

于 2018-04-09T13:19:51.170 回答