apache-spark - 使用火花流处理实时数据包

Question

我已经使用 jnetpcap 接收到实时数据包。谁能告诉我如何使用火花流从实时数据包中提取数据包头和其他详细信息？

Answer 1

如果您已阅读spark 流式编程指南，您会发现您可以为您的流实现自定义接收器。但是，实际指南中的示例很少，您必须阅读页面底部指定的示例和 javadoc。

这个项目是一个自定义接收器，基本上：

1. 扩展Receiver
2. 实现onStart和onStop方法
3. 使用数据调用store方法以通过流

应该就这么简单。要解析包的哪些部分以及如何解析可能是您自己的决定。根据编程指南，您只需在源代码级别输入包并编写自己的转换器等。