1

我需要在 Palantir Foundry 的代码工作簿中合并两个数据集，但我不知道该怎么做。我想使用 Pyspark 来做到这一点。我是Foundry的新手，请帮忙！

4

1 回答 1

2

这与在任何其他环境中使用 PySpark 的方式相同！

如果你想联合两个具有相同模式的数据集，比如datasetAand datasetB，你可以做类似的事情

dataset_unioned = datasetA.unionByName(datasetB)

同样，这假设（并且您可能应该确保您的数据结构遵守这一点）您的两个数据集具有相同的模式。在此处查看 PySpark 文档！

于 2021-10-12T13:22:11.510 回答