machine-learning - 当奖励非常低时，多臂老虎机是一种选择吗

Question

任何版本的多臂老虎机（EpsilonGreedy、Thompson Sampling、UCB）在高拉取率的奖励/点击率非常低时是否有用。我有 600 条内容，每天大约有 3000 次点击（所有内容的总和），请求量约为百万。有了这个，实现 MAB 会很有用，这个点击率是否对算法有任何统计意义。

Answer 1

这 600 条内容是每天都在变化还是保持不变？如果它们保持不变，那么渐近最优算法将很快开始表现得非常好。

即使内容发生变化，Thompson Sampling 应该仍然可以工作，并为您提供比随机更好的东西。我已经为我的研究使用 Thompson Sampling 进行了各种实验，并且似乎在大多数实验中都开始做得很好。