运行单元测试()时,有什么方法可以查看 SCollection 的内容PipelineSpec
?
在多台机器上运行生产时,无法在一台机器上查看整个集合,但我想知道有没有办法查看 SCollection 的内容(例如,在 intellij 中以调试模式运行单元测试时) .
运行单元测试()时,有什么方法可以查看 SCollection 的内容PipelineSpec
?
在多台机器上运行生产时,无法在一台机器上查看整个集合,但我想知道有没有办法查看 SCollection 的内容(例如,在 intellij 中以调试模式运行单元测试时) .
如果要将调试语句打印到控制台,则可以debug
使用SCollections
. 示例代码如下所示
val stdOutMock = new MockedPrintStream
Console.withOut(stdOutMock) {
runWithContext { sc =>
val r = sc.parallelize(1 to 3).debug(prefix = "===")
r should containInAnyOrder(Seq(1, 2, 3))
}
}
stdOutMock.message.filterNot(_ == "\n") should contain theSameElementsAs
Seq("===1", "===2", "===3")