python - 为上下文强盗算法生成人工数据集

Question

我想生成以下人工数据集来测试上下文老虎机算法。在 python 中完成它的最简单方法是什么？任何人都可以指向一个演示它的代码的链接吗？

K 个动作的单位向量 θ1 , ..., θK 是从 Rd 统一绘制的。在 T 次完整迭代的每次迭代 t 中，首先从 ∥x| 内的均匀分布中采样上下文 xt ≤ 1。

Answer 1

如果我正确理解您的问题，您想要生成：

1. 来自均匀分布的上下文 xt
2. K 个元素的单位向量，指示选择哪个臂，仅将单个值设置为 1，同样来自均匀分布

使用 numpy 包可以轻松完成这两项任务：

1. 使用numpy.random.uniform从任何范围内的均匀分布中生成值。
2. 使用numpy.random.randint从均匀分布中生成整数，然后使用生成的值将某些列表元素设置为 1。