4

我很好奇大众似乎通过 -q 参数创建交互项的方式。

出于此说明的目的，我使用了这个名为cats.vm 的玩具数据：

1 |a black |b small  green |c numvar1:1.62 numvar2:342 |d cat |e numvar3:554
1 |a white |b large yellow |c numvar1:1.212 numvar2:562 |d cat |e numvar3:632
-1 |a black |b small green |c numvar1:12.03 numvar2:321 |d hamster |e numvar3:754
1 |a white |b large green |c numvar1:5.8 numvar2:782 |d dog |e numvar3:234
-1 |a black |b small yellow |c numvar1:2.322 numvar2:488 |d dog |e numvar3:265
1 |a black |b large yellow |c numvar1:3.99 numvar2:882 |d hamster |e numvar3:543

大众创建交互术语的方式似乎有些不一致。以下是几个示例，其中命令始终如下，只有 -q 被更改：

vw -d cats.vm --loss_function logistic --invert_hash readable.cat.mod -q X

1.-q aa

在这里，我们在一个名称空间内进行了一个交互，只有一个特征，并且只得到了黑色和白色（黑色 ^ 2 和白色 ^ 2）的二次项，正如预期的那样。

Constant:116060:0.082801
a^black:53863:-0.039097
a^black^a^black:247346:-0.039097
a^white:55134:0.223999
a^white^a^white:227140:0.223999
b^green:114666:0.027346
b^large:192199:0.330261
b^small:80587:-0.096200
b^yellow:255950:0.075754
c^numvar1:132428:0.004266
c^numvar2:30074:0.000211
d^cat:11261:0.188487
d^dog:173570:0.006734
d^hamster:247835:-0.085219
e^numvar3:12042:0.000115

2.-q ab

通过 2 个命名空间（其中一个具有超过 1 个功能）之间的交互，事情与预期一致，只是 a 或 b 中没有项目的二次项（例如 black*black）

问题 1：有没有办法强制这些“跨命名空间交互”包含多项式项，例如 black*black？

Constant:116060:0.079621
a^black:53863:-0.035646
a^black^b^green:46005:-0.017797
a^black^b^large:123538:0.137239
a^black^b^small:11926:-0.088733
a^black^b^yellow:187289:-0.053135
a^white:55134:0.206693
a^white^b^green:24528:0.127449
a^white^b^large:102061:0.206693
a^white^b^yellow:165812:0.114003
b^green:114666:0.025218
b^large:192199:0.302959
b^small:80587:-0.088733
b^yellow:255950:0.072339
c^numvar1:132428:0.004038
c^numvar2:30074:0.000199
d^cat:11261:0.176863
d^dog:173570:0.007334
d^hamster:247835:-0.080986
e^numvar3:12042:0.000109

3. -q bb

在这里，我们在有两个特性的命名空间内进行交互。有重复项（例如 b^large^b^green:81557:0.112864 和 b^green^b^large:110857:0.112864）。

问题 2：这些是模型中的重复项还是 --invert_hash 中的一些问题？所有重复项的权重相同。例如，我们是否应该将 green*large 权重乘以 2，以便获得 green 和 large 交互的全部效果？

Constant:116060:0.062784
a^black:53863:-0.043486
a^white:55134:0.182450
b^green:114666:0.023035
b^green^b^green:33324:0.023035
b^green^b^large:110857:0.112864
b^green^b^small:261389:-0.016840
b^large:192199:0.252576
b^large^b^green:81557:0.112864
b^large^b^large:159090:0.252576
b^large^b^yellow:222841:0.187498
b^small:80587:-0.079945
b^small^b^green:249481:-0.016840
b^small^b^small:215402:-0.079945
b^small^b^yellow:128621:-0.123284
b^yellow:255950:0.051017
b^yellow^b^large:68957:0.187498
b^yellow^b^small:219489:-0.123284
b^yellow^b^yellow:132708:0.051017
c^numvar1:132428:0.003217
c^numvar2:30074:0.000164
d^cat:11261:0.158140
d^dog:173570:0.008735
d^hamster:247835:-0.085383
e^numvar3:12042:0.000086
4

1 回答 1

6

首先，基础知识：当您交叉功能时，vowpal wabbit 使用：

  • 对于交叉的特征名称/身份：连接的原始特征名称（字符串）的 murmur32 哈希（模权重向量大小）
  • 对于交叉特征值：原始特征值（权重）的交叉（乘法）

所以看看你上面的问题#3：连接的名字是 b^green^b^largeor b^large^b^green。它们具有相同的值：0.112864，因为两个特征值的乘积是相同的。然而，由于有两种可能的连接方式，我们得到了两个不同的哈希值和一个“拆分”特征。这种冗余（具有转置顺序）特征对现象似乎只出现在自我交叉中。我不确定为什么，这可能是一个错误。

要回答其他问题（1 和 2）：

要强制black^black（实际上^a^black^a^black）您需要通过-q aa，因为black仅在名称空间a中。

请注意，您可以传递多个-q参数来vw实现您想要的任何交叉：

-q aa -q ab -q ...

您可以使用通配符:名称空间将每个名称空间相互交叉：

-q ::

更多力量：

还有一个--cubic选项，允许您拟合三次多项式。--cubic将 3 个命名空间前导字符作为参数，例如--cubic abc.

最后，您还可以使用--keepand--ignore来保留或忽略以某个字符开头的名称空间。

于 2014-09-23T20:05:24.613 回答