0

我正在使用 Spark 2.1.1 和 Scala 2.11.8

这个问题是我之前的一个问题的延伸：

如何识别 csv 文件中的空字段？

变化在于，我现在不是从 CSV 文件中读取数据，而是从 avro 文件中读取数据。这是我从中读取数据的 avro 文件的格式：

var ttime: Long = 0;
var eTime: Long = 0;
var tids: String = "";
var tlevel: Integer = 0;
var tboot: Long = 0;
var rNo: Integer = 0;
var varType: String = "";
var uids: List[TRUEntry] = Nil;

我在一个单独的类中解析 avro 文件。

我必须以与上面发布的链接的已接受答案中提到的相同方式将 tids 列与每个 uid 映射，除了这次来自 avro 文件而不是格式良好的 csv 文件。我怎样才能做到这一点？

这是我正在尝试使用的代码：

val avroRow = spark.read.avro(inputString).rdd
  val avroParsed = avroRow
    .map(x => new TRParser(x))
    .map((obj: TRParser) => ((obj.tids, obj.uId ),1))
    .reduceByKey(_+_)
    .saveAsTextFile(outputString)

在 obj.tids 之后，必须单独映射所有 uids 列，以提供与上述链接的已接受答案中所述相同的最终输出。

这就是我在 avro 文件解析类中解析所有 uid 的方式：

this.uids = Nil
    row.getAs[Seq[Row]]("uids")
    .foreach((objRow: Row) => 
      this.uids ::= (new TRUEntry(objRow))
    )

this.uids    
.foreach((obj:TRUEntry) => {
  uInfo += obj.uId + " , " + obj.initM.toString() + " , "
})

PS：如果这个问题看起来很愚蠢，我很抱歉，但这是我第一次遇到 avro 文件

4

1 回答 1

0

可以通过传递相同的for循环处理来完成

this.uids

在主代码中为：

 val avroParsed = avroRow
    .map(x => new TRParser(x))
    .map((obj: TRParser) => {
      val tId = obj.source.trim
      var retVal: String = ""
      obj.uids
        .foreach((obj: TRUEntry) => {
          retVal += tId + "," + obj.uId.trim + ":"
        })
        retVal.dropRight(1)
    })

 val flattened = avroParsed
 .flatMap(x => x.split(":"))
 .map(y => ((y),1))
于 2017-07-10T06:24:45.150 回答