python - 如何拆分数据集以训练/测试某些行依赖的位置？

Question

我有一个主题数据集，每个主题在我的 pandas 数据框中都有很多行（每个测量都是一行，一个主题可以测量几次）。我想将我的数据拆分为训练集和测试集，但我不能随机拆分，因为所有主题的测量都是依赖的（不能将同一主题放入训练和测试中）。你会如何重新喜欢这个？我有一个熊猫数据框，每个主题都有不同数量的测量值。

编辑：我的数据包括每一行的主题编号，我想尽可能接近 0.8/0.2。

Answer 1

考虑df带有列的数据框user_id来识别用户。

df = pd.DataFrame(
    np.random.randint(5, size=(100, 4)), columns=['user_id'] + list('ABC')
)

您想要识别唯一用户并随机选择一些用户。然后拆分您的数据框，以便将所有测试用户放在一个中，并在另一个中训练用户。

unique_users = df['user_id'].unique()
train_users, test_users = np.split(
    np.random.permutation(unique_users), [int(.8 * len(unique_users))]
)

df_train = df[df['user_id'].isin(train_users)]
df_test = df[df['user_id'].isin(test_users)]

这应该将您的数据大致分成 80/20。

---

但是，如果您希望尽可能保持平衡，则必须逐步添加用户。

unique_users = df['user_id'].unique()
target_n = int(.8 * len(df))
shuffled_users = np.random.permutation(unique_users)

user_count = df['user_id'].value_counts()

mapping = user_count.reindex(shuffled_users).cumsum() <= target_n
mask = df['user_id'].map(mapping)

df_train = df[mask]
df_test = df[~mask]