这是我的输入数据框：
number|word|ID |Name|
+------+----+---+----+
|1 | | | |
| |abc | | |
| | |103| |
| | | |Dev |
+------+----+---+----
我想删除空白值并希望将所有行合并为单行，如下所示：
number|word|ID |Name|
+------+----+---+----+
|1 | abc|103| Dev
首先，火花有可能吗？如果是，那么实现的最佳方法是什么。我正在使用 Scala 和 Spark 2.1。另外，我可以有 n 列。