1

我有以下 protobuf 设置：

import "google/protobuf/any.proto";

message EntityEnvelope {
  string id = 1;
  string entity_type = 2;
  google.protobuf.Any entity = 3;
}

message EntityABC {
  string name = 1;
}

message EntityXYZ {
  string desc = 1;
}

whereEntityEnvelope.entity可以是任何类型打包为google.protobuf.Any. 每个 protobuf 消息都存储在编码为 Base64 的磁盘中。

阅读这些消息时，如果我在解包时在编译类型中使用特定的实体类型，它会完美运行：

import scalapb.spark.Implicits._

spark.read.format("text")
    .load("/tmp/entity").as[String]
    .map { s => Base64.getDecoder.decode(s) }
    .map { bytes => EntityEnvelope.parseFrom(bytes) }
    .map { envelope => envelope.getEntity.unpack[EntityXYZ]}
    .show()

但我想使用相同的代码在运行时读取任何类型的实体，而无需指定其类型。我得到的“更接近”是（但甚至没有编译）：

  val entityClass = Class.forName(qualifiedEntityClassNameFromRuntime)

  spark.read.format("text")
    .load("/tmp/entity").as[String]
    .map { s => Base64.getDecoder.decode(s) }
    .map { bytes => EntityEnvelope.parseFrom(bytes) }
    .map { envelope => toJavaProto(envelope.getEntity).unpack(entityClass)} // ERROR: No implicits found for Encoder[Any]
    .show()

由于Any包含typeUrl, 是否可以找到正确的描述符并在运行时自动解包，而无需在编译时指定类型？

4

1 回答 1

1

要在编译时解压您不知道其类型的 Anys，您需要构建一个映射typeUrl到您可能期望的所有类型的伴随对象，并使用它来调用unpack. 可以这样做：

val typeUrlToCompanion = Map[String, scalapb.GeneratedMessageCompanion[_ <: scalapb.GeneratedMessage]](
    "type.googleapis.com/myexample.Person2" -> Person2
    // more types
  )

然后用

envelope.getEntity.unpack(typeUrlToCompanion(envelope.getEntity.typeUrl)

这会给你一个GeneratedMessage- 所有ScalaPB消息的父特征。

但是，在您这样做之后，您将遇到另一个问题。Spark 数据帧是结构化的，它们具有由命名列和类型组成的模式，就像关系数据库中的表一样。构建数据框时，需要在运行时知道架构。但是，您似乎想要创建一个数据框，其中每一行都有不同的类型（无论Any发生什么），并且类型的集合只有在解包时才知道 - 所以这与数据框的设计不兼容。

取决于你想做什么，有几个选项可以考虑：

  1. 不要使用Any，而是使用oneofprotobufs 的特性，因此所有可能的类型都是已知的，并且可以自动创建模式（并且您不必处理解包 Anys）
  2. 或者，将数据框划分为typeUrl，因此您最终会得到不同的数据框，在每个数据框中，所有项目都属于同一类型。然后用它的已知类型解压每一个。可以用typeUrlToCompanion上面的方法一般地完成。
于 2021-08-29T16:38:55.407 回答