问题标签 [set-difference]

我有两个 spark RDD，A 有 301,500,000 行，B 有 1,500,000 行。B 中的那 150 万行也都出现在 A 中。我想要这两个 RDD 之间的设置差异，这样我返回 A 的 300,000,000 行，而 B 中的 1,500,000 行不再存在于 A 中。

我不能使用 Spark DataFrames。

这是我现在使用的系统。这些 RDD 有主键。我在下面所做的是创建一个（收集的）出现在 B 中的主键列表，然后遍历 A 的主键以查找那些未出现在 B 主键列表中的主键。

现在，这适用于这个示例问题，因为 A 和 B 很小。但是，当我使用我的真实数据集 A 和 B 时，这是不成功的。有没有更好（更并行）的方法来实现这个？

I have two arrays list1 and list2 which have objects with some properties; userId is the Id or unique property:

I'm looking for an easy way to execute the following three operations:

1. list1 operation list2 should return the intersection of elements:

   /li>

2. list1 operation list2 should return the list of all elements from list1 which don't occur in list2:

   /li>

3. list2 operation list1 should return the list of elements from list2 which don't occur in list1:

   /li>

set_difference算法为您提供第一个范围内而不是第二个范围内的元素的输出。有没有一种算法可以只给我计数而不是差异。

我知道我可以实现我自己版本的链接中描述的算法，或者我可以在得到结果后计算元素的数量。是否有一个现有的 API 可以有效地为我做这件事。

谢谢

在 Python 中，如何在一个字典中找到在另一字典中没有对应项的键？实际问题是我有一本登记的人字典和一本他们日常参与的字典，我试图找到登记但没有参与的人，或者在登记字典中而不在参与字典中的人。

在 Python 食谱中，我找到了交叉注册和参与的好代码，或者两个字典的交叉：

print "Intersection: ", filter(enrollments.has_key, participation.keys())

但我不知道如何将此逻辑扩展到反（？）案例。我尝试在participation.keys() 前面加上not，但出现错误。有没有办法将过滤器中的逻辑扩展到我的问题或完全解决问题的另一种方法？

我有两个查询，我想在其中找到它们的共同值。我试图最终找出访问这两个网页的用户百分比。

我试过一个

和一个

但运气不佳-尽管我很容易做错事。我是新来的。

我有这个工作谓词来表示 2 组的差异

但我想为 3 套做类似的事情，但我无法弄清楚 difference(S1,S2,S3,result)导致(S1\S2)\S3。

我有两个char向量说{'G', 'K', 'A', 'L', 'P'}和{'K', 'P', 'T', 'M'}。我必须在保留顺序的同时得到这两个向量之间的差异，即{'G', 'A', 'L'}。

我知道std::set_difference函数，但不能使用，因为这需要对向量进行排序。在 C++ 中有没有优化的方法来做到这一点？

我正在尝试从包含某些植被类型的数据集中删除行。我想从我的未调查数据中删除那些在我的调查数据中没有找到植被类型的行。我找到了一种方法来做到这一点，但正在寻找一种单线方法。我目前正在这样做：

它返回七种植被类型，然后我删除它们：

我尝试了一些不同的选项，包括到目前为止收效甚微的子集，我认为这将是我最好的选择。我也在寻找与 intersect 类似的东西，但我假设它会有类似的答案。

编辑：除了使用@Cath 提供的代码之外，我还对其进行了编辑以得到相反的结果。

我必须实现集合并集、差异和交集。然而，当插入带有元组的极其嵌套的集合时，它给了我错误的答案。我已经包含了函数的代码片段。有什么建议可以提高我的输出吗？

示例操作：

正确答案：

我的输出：

代码

如何在 Tableau Desktop 中实现以下集差/组区分任务？

我有已调整或未调整的产品（adjusted = 1或adjusted= 0）。请注意，每个产品可能会多次列出（因为真实数据集是每个产品的堆叠时间序列矩阵）。

我想知道有多少产品至少有一次调整，有多少没有。

这就是在 R 中的做法：

示例数据：

分成两个数据框：

查找唯一的产品 ID：

由于我对 Tableau 还很陌生，所以我真的不知道如何实施这样的查询。