问题标签 [mahout-recommender]

我已成功将输入文件“input.txt”和“users.txt”添加到 HDFS。我已经成功地分别测试了 Hadoop 和 Mahout 作业。但是，当我使用以下命令行运行 RecommenderJob 时：

bin/hadoop jar /Applications/mahout-distribution-0.9/mahout-core-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.input.dir=/user/valtera45/input /input.txt -Dmapred.output.dir=/user/valtera45/output --usersFile /user/valtera45/input2/users.txt --similarityClassname SIMILARITY_COOCCURRENCE

这是我得到的输出：

线程“主”java.io.IOException 中的异常：无法在 org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfo(DFSClient.java:1444) 处打开文件名 /user/valtera45/temp/preparePreferenceMatrix/numUsers.bin 在 org .apache.hadoop.hdfs.DFSClient$DFSInputStream.(DFSClient.java:1435) 在 org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:347) 在 org.apache.hadoop.hdfs.DistributedFileSystem.open( DistributedFileSystem.java:178) 在 org.apache.hadoop.fs.FileSystem.open(FileSystem.java:351) 在 org.apache.mahout.common.HadoopUtil.readInt(HadoopUtil.java:339) 在 org.apache.mahout .cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:172) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.mahout.cf.taste.hadoop .item.RecommenderJob.main（RecommenderJob.java：322) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect .Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:156)

每当我运行独立的 Mahout 作业时，都会在 Mahout 目录中创建一个临时文件夹。RecommenderJob 似乎无法通过这一步。有任何想法吗？提前致谢。我知道我使用的输入文件格式正确，因为它们已经成功地为其他人工作。

我正在尝试使用 mahout 创建项目相似性。问题是我在输出方面确实很少有相似之处。

这是我的输入数据特征：

• 15.910.847 偏好总数
• 4.047.745 个不同的用户
• 773.015 个不同的项目我已经建立了用户和偏好的分布

第一列是不同用户的数量

第二列是每个用户的偏好计数。例如，我确实有 2.221.760 次使用，它们只有一种偏好。

这是我的输入设置：

我试图在没有偏好值的表上生成推荐，但它总是给出错误，如“DataModel 没有偏好值”。我已经创建了布尔数据模型，如下所示为什么会出现此错误。请帮助我解决此问题。我正在为我的数据库连接和数据模型创建附加代码，如下所示。

我点击了这个链接https://stackoverflow.com/questions/23537322/how-to-make-a-more-efficient-recommender-in-mahout但面临同样的问题

我修改了 NearestNUserNeighborhoud，为属于信任网络的用户添加了一些额外的价值。信任网络位于数据库 (MySQL) 中。

当我为某些用户推荐项目时，它运行良好并提供建议。

但是，当我评估 RMSE 时，它在比较用户的数据库/信任网络中的用户时非常慢。（它运行数千个选择语句）

第一个数据模型位于 csv 文件中，格式为 userid itemid rating。而数据库中的格式为 truster trustee。

您建议在合理的时间内评估 RMSE？

我想用大量 *.csv 文件制作 DataModel。（这些文件格式相同，数据不同）
但是，我不知道该怎么做。
我无法通过 mahout 文档找到函数。（mahout-API）
“制作将大量 *.csv 文件制作成一个 *.csv 文件的模块”唯一的解决方案？
请帮忙...！

我是否可以在不重新计算相似度矩阵的情况下为具有相同项目集中项目偏好的新用户计算推荐，并从先前存在的用户评分中了解项目相似度矩阵？

我正在考虑在 hadoop 中实现基于内容的推荐项目理念。

只是想要建议 weka 是否可以与 hadoop 一起使用，或者是否建议将 Mahout 用于基于 cbf 的实现

请指教

谢谢

我正在考虑PredictionIO用于构建音乐推荐系统。

但是，在用户-项目交互中，仅支持以下操作：喜欢、不喜欢、查看、转换和评分（等级 1 - 5）。

我现有的数据仅包含视图（用户听歌）。

我应该如何将我的数据转换为PredictionIO输入？我可以为同一个用户项拥有多个视图记录（更多视图 = 更多权重）还是会PredictionIO根据时间戳查看最近的一个？

我正在研究 mahout 推荐引擎用例。我预先计算了推荐并存储在数据库中。现在我计划向 .net 提供味觉休息服务。我的客户和产品有限。这是分销商级别的推荐用例。我的问题是，如果有新的分销商进来，我将如何向他提出建议。以及如何我向每个经销商建议推荐产品的数量。你们能给我一些指导吗。我会面临性能问题吗..？

我正在阅读 Mahout in Action 这本书并尝试分布式推荐引擎示例。但是，我在示例中使用了一个小型数据集，而不是 Wikipedia 数据集。

输入.txt->

用户.txt->

其中 input.txt 和 user.txt 的格式为user,iteminput.txt 代表用户过去购买的商品，user.txt 代表当前购买的商品

当我将这两个文件复制到 hdfs 并运行时

hadoop jar mahout-core-0.5-job.jar \ org.apache.mahout.cf.taste.hadoop.item.RecommenderJob \ -Dmapred.input.dir=input/input.txt \ -Dmapred.output.dir=output - -usersFile 输入/user.txt --booleanData

map reduce 运行正常。但是，当我检查输出时bin/hadoop fs -cat output/ part-r-00000

我找到一个空文件。

有人可以解释我出了什么问题吗？如果我理解正确，推荐作业应该已经建立了一个项目到项目的相似度矩阵，将它与用户项目矩阵（来自 user.txt）相乘并产生结果。

需要一些帮助理解。我在单个节点上使用 Mahout 0.5 和 hadoop 1.2。我希望它不是版本兼容性的问题。

编辑

如果我将 user.txt 更改为

2

或者

1