scala - 用于捕获网络流量的 Spark 接收器

Question

我想写一个火花流应用程序。我编写了一个使用 java 库捕获数据包的 scala 代码。现在，我想将这些数据包发送到火花流接收程序（0.9）。我应该编写一个新的 spark 接收器代码还是可以在已经编写的 scala 代码中创建接收器来捕获数据包？怎么做到呢？谁能帮帮我。

Answer 1

您是否看过在 spark 中创建自定义接收器的说明。

http://spark.apache.org/docs/latest/streaming-custom-receivers.html

一般来说，它很容易。但是，由于我不确定您现有的数据包捕获代码是如何工作的（它是否实时捕获并转储到文件中，是否可以将其更改为存储在 ArrayBuffer 中等），很难说您可以使用多少代码重用。