我有一个包含 1,00,000 条记录的数据集。我需要为这个数据集找到欧几里得距离矩阵。它应该创建 1,00,000*1,00,000 矩阵。在 python 中，我们有squareform(pdist(x)). 由于我无法在 rdd 上执行相同的功能，如何在 python 的 spark 平台上执行此操作？
Munindra Naidu
问问题
146 次
我有一个包含 1,00,000 条记录的数据集。我需要为这个数据集找到欧几里得距离矩阵。它应该创建 1,00,000*1,00,000 矩阵。在 python 中，我们有squareform(pdist(x)). 由于我无法在 rdd 上执行相同的功能，如何在 python 的 spark 平台上执行此操作？