我的目标是识别与 Hadoop 集群相关的网络数据包，因为在我使用的集群中，还有其他服务会生成与 Hadoop 无关的网络流量。
我假设我的 Hadoop 集群唯一地使用 HDFS 和 MapReduce，而不是 HBase、Pig、Hive 等其他应用程序......
有没有办法过滤 Hadoop 数据包？例如，如果 Hadoop 使用固定源或目标端口（至少一个，源或目标）
更新：我正在使用 Apache Hadoop 1.0.3 和 libpcap 来嗅探数据包
问问题
972 次
1 回答
0
我不确定您使用的是哪个 Hadoop 发行版或哪个数据包嗅探器，但您应该可以在这里采用几种不同的方法。
假设您使用 Hadoop 服务的默认端口，您应该能够键入 NameNode 和 DataNode 流量以及 JobTracker/TaskTracker 的目标端口。 此链接由 Cloudera 发布，但它们使用与 Hortonworks 或任何其他 Apache Hadoop 发行版相同的默认端口，因此该信息应适用于您的用例。
此外，Wireshark似乎有一个 HDFS 协议解析器，这意味着它应该是它可以开箱即用的类型之一。如果您不熟悉 Wireshark 作为网络数据包分析器，我建议您检查一下。
希望这会有所帮助 - 祝你好运！
于 2013-08-20T14:36:02.060 回答