4

我正在尝试将 Scala 中作为字符串保存在数据库中的表达式转换回工作代码。

我尝试过 Reflect Toolbox、Groovy 等。但我似乎无法达到我的要求。

这是我尝试过的：


import scala.reflect.runtime.universe._
import scala.reflect.runtime.currentMirror
import scala.tools.reflect.ToolBox

val toolbox = currentMirror.mkToolBox()
val code1 = q"""StructType(StructField(id,IntegerType,true), StructField(name,StringType,true), StructField(tstamp,TimestampType,true), StructField(date,DateType,true))"""
val sType = toolbox.compile(code1)().asInstanceOf[StructType]

我需要在哪里使用sType实例将 customSchema 传递给 csv 文件以创建数据框，但它似乎失败了。

有什么办法可以让 StructType 的字符串表达式转换为实际的 StructType 实例？任何帮助，将不胜感激。

4

2 回答 2

4

如果 StructType 来自 Spark，并且您只想将 String 转换为 StructType，则不需要反射。你可以试试这个：

import org.apache.spark.sql.catalyst.parser.LegacyTypeStringParser
import org.apache.spark.sql.types.{DataType, StructType}

import scala.util.Try

def fromString(raw: String): StructType =
  Try(DataType.fromJson(raw)).getOrElse(LegacyTypeStringParser.parse(raw)) match {
    case t: StructType => t
    case _             => throw new RuntimeException(s"Failed parsing: $raw")
  }

val code1 =
  """StructType(Array(StructField(id,IntegerType,true), StructField(name,StringType,true), StructField(tstamp,TimestampType,true), StructField(date,DateType,true)))"""
fromString(code1) // res0: org.apache.spark.sql.types.StructType

代码取自org.apache.spark.sql.types.StructTypeSpark 的伴随对象。您不能直接使用它，因为它在私有包中。此外，它使用LegacyTypeStringParser所以我不确定这是否足以用于生产代码。

于 2019-06-16T12:18:21.423 回答
4

您在 quasiquotes 中的代码需要是有效的 Scala 语法，因此您需要为字符串提供引号。您还需要提供所有必要的导入。这有效：

val toolbox = currentMirror.mkToolBox()
  val code1 =
    q"""
       //we need to import all sql types
       import org.apache.spark.sql.types._
       StructType(
           //StructType needs list
           List(
             //name arguments need to be in proper quotes
             StructField("id",IntegerType,true), 
             StructField("name",StringType,true),
             StructField("tstamp",TimestampType,true),
             StructField("date",DateType,true)
           )
       )
      """
val sType = toolbox.compile(code1)().asInstanceOf[StructType]

println(sType)

但也许不是尝试重新编译代码，您应该考虑其他替代方案以某种方式序列化结构类型（也许是 JSON？）。

于 2019-06-16T12:22:48.307 回答