scala - 火花数据框 API 中的标记器

Question

Spark 数据帧的每一行在dfcolumn 中包含一个制表符分隔的字符串rawFV。我已经知道在选项卡上拆分将为array of 3 strings所有行生成一个。这可以通过以下方式验证：

df.map(row => row.getAs[String]("rawFV").split("\t").length != 3).filter(identity).count()

并确保计数确实是0.

我的问题是：如何使用管道 API 做到这一点？

这是我尝试过的：

val tabTok = new RegexTokenizer().setInputCol("rawFV").setOutputCol("tk").setPattern("\t")
val pipeline = new Pipeline().setStages(Array(tabTok))
val transf = pipeline.fit(df)
val df2 = transf.transform(df)
df2.map(row => row.getAs[Seq[String]]("tk").length != 3).filter(identity).count()

不等于0。

这个问题与缺失值的存在有关。例如：

管道代码RegexTokenizer将在第一行返回 3 个字段，但在第二行仅返回 2 个。另一方面，第一个代码将在任何地方正确返回 3 个字段。

Answer 1

这是一种预期的行为。默认情况下minTokenLength，参数等于 1 以避免输出中出现空字符串。如果要返回空字符串，则应将其设置为 0。

new RegexTokenizer()
  .setInputCol("rawFV")
  .setOutputCol("tk")
  .setPattern("\t")
  .setMinTokenLength(0)