2

我们在 matlab 中有一个大小为 308 x 22 x 29 x 12 x 492020 的张量，它非常大。我们对它进行了分解，效果很好。现在我们正试图重建它以获得一些预测。当我们运行它时，当我们对最后一个维度进行乘法时，它会因内存不足而崩溃。

我试图将我们的张量展平为 2 x 2 矩阵，以使重建更容易。我找不到办法，我尝试在 matlab 中使用 reshape 函数但没有成功。所以基本上我想知道在matlab中将（308 x 22 x 29 x 12 x 492020）张量转换为二维矩阵的方法。

只是为了更多地解释数据。我们有一个用户搜索汽车的数据库。我们想做推荐模型。我们创建了一个具有 5 个维度的张量：308（车型）x 22（车身类型）x 29（价格类别）x 12（制造年份）x 492020（用户）。然后我们运行张量分解，我们现在可以在最后一个分解的维度上进行聚类，通过用户的搜索对用户进行分组，并构建一些搜索日志依赖项。到这里我们还好。现在我们想从它的分解版本中重建张量，以获得一些新的记录来作为预测。鉴于张量很大，我们需要一种将其展平的方法来执行重建，如果有人可以分享一些如何做到这一点的示例 matlab 代码会很好，因为我对 matlab 比较陌生。所以我想将 5D 张量转换为 2D

4

2 回答 2

2

如果您在 MATLAB 变量列表中有巨大的 5D 张量，并且您可以访问其中的单个元素，例如MyTensor(123,17,15,4,123456)那么你可以做到，如果你有足够的存储空间。我没有处理这种大小的任何数据的经验，但是如果您可以访问它，那么您可以重建它。如果您将所有内容逐个元素或逐个切片或 n 维超切片逐个超切片写入磁盘，以使用运行编号分隔文件，然后以正确的顺序从这些文件中加载和重建您的元素/切片/超切片，那么您将拥有 2D 矩阵。如果元素访问适用于您的 5D 张量，我将首先创建一个小的 5D 矩阵并将其转换为 2D 矩阵，以查看维度是否按正确的顺序排列，仅使用适用于您的巨大 5D 张量的访问方法。之后，您可以使用完全相同的代码重建巨大的 5D 张量。

于 2012-05-20T14:16:56.317 回答
1

您不需要重建整个张量来估计“集群”用户的样本重建误差。例如，您可以对单个用户进行抽样并比较重建的切片并在进行过程中收集统计数据。通常在机器学习中，您希望通过使用“样本外”来交叉验证您的模型 - 即从测试集中随机划分训练集。

我会观察到车身类型是车型的一个属性，而价格大致是每个车型的年龄（和状况）的函数......所以在这种情况下你并没有足够的独立尺寸。

您的 492020 用户适合内存的原因可能是因为张量是稀疏的。除非您对因子强制执行稀疏性，否则重新组合分解的张量通常是密集的（尽管等级降低了）。在任何情况下，使用分解形式的计算效率要高得多。

我担心你的“做聚类”步骤 - 塔克分解是线性的（如主成分），非负张量分解可能更接近你想要做的......为每个用户分配一些“典型”的非负混合向量“ 喜好。“聚类”往往意味着硬边分类，而不是模糊。

于 2014-05-23T20:48:52.723 回答