1

我正在做一个有 300,000 个用户和 280,000 个项目的推荐系统，人们通常通过将数据框转换为表格来做推荐系统：

df.pivot_table(index='User-ID',columns='Item-ID',values='Rating')

但是不可能将如此庞大的数据集转换为表格。处理这个问题的常用方法是什么？还是人们使用其他结构来做推荐系统？

4

1 回答 1

2

肯定有更好的方法来节省大量的计算和内存。我们创建的 user-item 矩阵通常是稀疏的并且包含大量的零，这极大地增加了计算和内存的复杂性。例如：

        Per1    Per2    Per3    Per4    Per5    Per6    Per7    per8
Item1    5        0        1     0       0        0       0       0    
Ttem2    0        3        0     0       2        0       0       0

这里矩阵中的零增加了计算量。

存储矩阵的更好方法是使用压缩稀疏行矩阵算法存储矩阵。它删除所有零值并仅存储非零值。这是为推荐系统创建 csr 矩阵的简单函数：-

def create_matrix(data, user_col, item_col, rating_col):
    """
    creates the sparse user-item interaction matrix

    Parameters
    ----------
    data : DataFrame
        implicit rating data

    user_col : str
        user column name

    item_col : str
        item column name

    ratings_col : str
        implicit rating column name
    """



    # create a sparse matrix of using the (rating, (rows, cols)) format
    rows = data[user_col].cat.codes
    cols = data[item_col].cat.codes
    rating = data[rating_col]
    ratings = csr_matrix((rating, (rows, cols)))
    ratings.eliminate_zeros()
    return ratings, data

我希望它会有所帮助！！！

于 2019-10-09T06:58:24.643 回答