我即将运行一个在线用户实验来比较推荐系统的不同策略。我将比较 18 个策略，每个策略产生 5 个建议，因此我必须要求受试者总共评估 90 个建议。然而，这些策略提出了重复的推荐（即，一些推荐出现在多个策略中）。
(i) 在当前的设计中，每一页提供由一个策略提出的五项建议。在用户输入所有评价后，会出现另一个页面，其中给出了另一种策略的五个推荐。因此，用户有时会看到他已经评估过的推荐。我认为这种设计在以前的作品中被广泛使用，尽管尚未广泛讨论如何处理重复的推荐。
(ii) 还是先提取所有独特的推荐，将它们分成不同的页面，然后以随机顺序显示它们是否合理？我认为这种设计使实验更短。但据我所知，这种设计尚未被使用。
如果您有建议或知道与之相关的论文，请给我。