scala - 将入口 hocon 转换为数据框

Question

我有这个 hocon 格式的“频道”条目：

param {
  channels = [
    {
      name = "MainPhone"
      id = 1
    }
    {
      name = "OpPhone"
      id = 2
    }
    {
      name = "Fax"
      id = 3
    }
  ]
}

我需要将条目channels转换为数据框，这可能吗？我正在尝试使用以下代码：

val ch = confParam.getConfigList("param.channels")
case class Provider(id: String, name: String)
val l = ch.map(conf => Provider(conf.getString("id"), conf.getString("name"))).toList
val df = l.toDF()

但我得到了错误：

“错误：(28, 20) 值 toDF 不是列表 [Provider] val df = list.toDF () 的成员”

Answer 1

要toDF()在 Scala 中使用，您需要spark.implicits在代码中导入。spark这里指的是一个SparkSession对象，例如在 Spark 2.0+ 中：

val spark = SparkSession.builder().getOrCreate()

然后进行导入：

import spark.implicits._

这将允许您使用toDF,toDS等函数。