我有一个关于 Spark 操作的问题。我正在使用 Spark、Scala 和 MySQL 数据库。
我正在将表（例如 ABCTable）中的记录读入数据集 [ABCTable]。我想通过对数据集 [ABCTable] 的差异结构进行一些聚合，将数据集 [ABCTable] 转换为数据集 [PQRTable]。
如果我迭代dataset[ABCTable]我必须调用collect方法这会影响性能。
以优化方式将数据集转换为其他结构类型数据集的其他方法是什么
我有一个关于 Spark 操作的问题。我正在使用 Spark、Scala 和 MySQL 数据库。
我正在将表（例如 ABCTable）中的记录读入数据集 [ABCTable]。我想通过对数据集 [ABCTable] 的差异结构进行一些聚合，将数据集 [ABCTable] 转换为数据集 [PQRTable]。
如果我迭代dataset[ABCTable]我必须调用collect方法这会影响性能。
以优化方式将数据集转换为其他结构类型数据集的其他方法是什么