1

我在 Spark 2.4 中使用 pyspark.ml.fpm.FPGrowth 并且我有一个关于转换如何精确地处理新事务的问题。

我的理解是 model.transform 将获取每个事务 X 并找到所有 Y 使得 Conf(X-->Y) > minConfidence。然后它将返回按置信度排序的此类 Y 的列表。

但是，假设没有包含 X 的事务，因此未定义所有 Y 的 Conf(X-->Y)，我不确定算法将如何转换此事务。

这是从文档中获取的一组简单事务：

DF = spark.createDataFrame([
    (0, [1, 2, 5]),
    (1, [1, 2, 3, 5]),
    (2, [1, 4])
], ["id", "items"])

fpGrowth = FPGrowth(itemsCol="items", minSupport=0, minConfidence=0)
model = fpGrowth.fit(DF)

然后我们提供一个简单的交易作为测试数据：

test_DF = spark.createDataFrame([
    (0, [4,5])
], ["id", "items"])
test_DF = spark.createDataFrame(baskets, schema=schema)
model.transform(test_DF).show()

+---+------+----------+
|num| items|prediction|
+---+------+----------+
|  1|[4, 5]| [1, 3, 2]|
+---+------+----------+

有谁知道预测 [1,3,2] 是如何生成的？

4

1 回答 1

0

我认为 FPGrowthModel.transform 将 FPGrowth 挖掘的规则应用于交易，所以当它在交易中找到项目集 X 并且同时我们有一个规则说 (X=>Y) 然后它建议项目 Y 在此交易的预测列，但问题知道我注意到，如果我们有一个包含 X 和 Y 的交易，它会在预测列中返回 []，除非有一条规则说 X & Y => Z 在这种情况下它将建议 Z。所以这使得用准确度指标评估模型变得困难:(

于 2020-06-18T09:52:20.370 回答