spark-koalas - 比较两个考拉数据框以进行测试

Question

Pandas 有一个测试模块，其中包括assert_frames_equal. 考拉有没有类似的东西？

我正在编写对考拉数据帧的一整套转换的测试。起初，由于我的测试 csv 文件只有几行（<10），我考虑只使用 pandas。不幸的是，这些文件非常宽（接近 200 列）并且具有各种数据类型，这些数据类型在 spark 读取文件时指定。由于 pandas 的类型规范与 koalas 的类型规范非常不同，除了我们已经为 spark. 这就是为什么我们决定使用 spark 和 koalas 为测试创建数据帧会更有效。但是，我在文档中找不到一种比较数据框的方法，以查看转换的结果是否与我们创建的预期结果相同。

Answer 1

我最终使用了这个：

assert_frames_equal(kdf1.to_pandas(), kdf2.to_pandas())

这行得通，我认为这没关系，因为数据框“很小”。我想知道在 koalas 中没有原生实现这样的东西的原因是因为这种断言的主要用途是在测试中，而且测试应该是小数据帧。