0

我正在努力使用自定义案例类使用 Spark（1.4.0）写入 Cassandra（2.1.6）。到目前为止，我已经通过使用 DataStaxspark-cassandra-connector 1.4.0-M1和以下案例类进行了尝试：

case class Event(event_id: String, event_name: String, event_url: String, time: Option[Long])
[...]
case class RsvpResponse(event: Event, group: Group, guests: Long, member: Member, mtime: Long, response: String, rsvp_id: Long, venue: Option[Venue])

为了完成这项工作，我还实现了以下转换器：

implicit object EventToUDTValueConverter extends TypeConverter[UDTValue] {
  def targetTypeTag = typeTag[UDTValue]
  def convertPF = {
    case e: Event => UDTValue.fromMap(toMap(e)) // toMap just transforms the case class into a Map[String, Any]
  }
}

TypeConverter.registerConverter(EventToUDTValueConverter)

如果我手动查找转换器，我可以使用它将实例转换Event为UDTValue，但是，当使用相关对象sc.saveToCassandra传递它的实例时RsvpResponse，我收到以下错误：

15/06/23 23:56:29 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1)
com.datastax.spark.connector.types.TypeConversionException: Cannot convert object Event(EVENT9136830076436652815,First event,http://www.meetup.com/first-event,Some(1435100185774)) of type class model.Event to com.datastax.spark.connector.UDTValue.
    at com.datastax.spark.connector.types.TypeConverter$$anonfun$convert$1.apply(TypeConverter.scala:42)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1$$anonfun$convertPF$1.applyOrElse(UserDefinedType.scala:33)
    at com.datastax.spark.connector.types.TypeConverter$class.convert(TypeConverter.scala:40)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1.convert(UserDefinedType.scala:31)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:46)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:43)

由于连接器库在内部处理的方式，我的转换器似乎从未被调用过UDTValue。但是，上述解决方案确实适用于从 Cassandra 表（包括用户定义的类型）中读取数据。基于连接器文档，我还com.datastax.spark.connector.UDTValue直接用类型替换了我的嵌套案例类，然后修复了所描述的问题，但中断了读取数据。我无法想象我打算定义 2 个单独的模型来读取和写入数据。还是我在这里遗漏了一些明显的东西？

4

1 回答 1

0

从 1.3 版开始，无需使用自定义类型转换器来加载和保存嵌套的 UDT。只需使用案例类对所有内容进行建模并遵守字段命名约定，就可以了。

于 2015-07-24T19:34:18.960 回答