如何拆分数据集以训练/测试某些行依赖的位置？

1 回答

• 1

  考虑使用 user_id 列的数据框 df 来标识用户 .

  df = pd.DataFrame(
      np.random.randint(5, size=(100, 4)), columns=['user_id'] + list('ABC')
  )
  

  您想要识别唯一用户并随机选择一些用户 . 然后拆分数据框，以便将所有测试用户放在一个用户中，并在另一个用户中培训用户 .

  unique_users = df['user_id'].unique()
  train_users, test_users = np.split(
      np.random.permutation(unique_users), [int(.8 * len(unique_users))]
  )
  
  df_train = df[df['user_id'].isin(train_users)]
  df_test = df[df['user_id'].isin(test_users)]
  

  这应该大致将您的数据分成80/20 .

  ---

  但是，如果您希望尽可能保持 balancer ，则必须逐步添加用户 .

  unique_users = df['user_id'].unique()
  target_n = int(.8 * len(df))
  shuffled_users = np.random.permutation(unique_users)
  
  user_count = df['user_id'].value_counts()
  
  mapping = user_count.reindex(shuffled_users).cumsum() <= target_n
  mask = df['user_id'].map(mapping)
  
  df_train = df[mask]
  df_test = df[~mask]
  

  回复于 2024-04-23T16:12:05+08:00