apache-spark - Spark Scala API：将 PairDStream 映射到另一个 PairDStream

Question

我正在使用 Spark 的 Java API。现在我需要将我的 Java 应用程序“翻译”成 Scala 代码，因为我想试用 Apache Zeppelin。我有一个 PairDStream (1.1.1.123,(1,1,1,1))并且需要将其对映射到形式为(1.1.1,(1,1,1,1))的 PairDStream （剪切“123 " 在第一对的键中）。有人可以提供一个线索如何做到这一点或如何将一对映射到另一个在scala中？我使用map函数创建了第一对。谢谢！

Answer 1

试试这个（假设你的 IP 地址是一个字符串）：

val newPairs = oldPairs.map { case (ipAddress, values) => (ipAddress.substring(0, ipAddress.lastIndexOf(".")) , values) }