用于大型hdf5文件的Keras自定义数据生成器，不适合内存

3 回答

• -1

  如果我理解正确，您希望使用HDF5中的数据（不适合内存），同时在其上使用数据扩充 .

  我和你的情况相同，我发现这些代码可能对一些修改有所帮助：

  https://gist.github.com/wassname/74f02bc9134897e3fe4e60784f5aaa15

  回复于 2024-05-05T14:07:21+08:00
• -1

  你想写一个函数，它从HDF5加载图像然后 yield s（而不是 return s）它们作为一个numpy数组 . 下面是一个简单的示例，它使用OpenCV直接从给定目录中的.png / .jpg文件加载图像：

  def generate_data(directory, batch_size):
      """Replaces Keras' native ImageDataGenerator."""
      i = 0
      file_list = os.listdir(directory)
      while True:
          image_batch = []
          for b in range(batch_size):
              if i == len(file_list):
                  i = 0
                  random.shuffle(file_list)
              sample = file_list[i]
              i += 1
              image = cv2.resize(cv2.imread(sample[0]), INPUT_SHAPE)
              image_batch.append((image.astype(float) - 128) / 128)
  
          yield np.array(image_batch)
  

  显然你必须修改它才能从HDF5读取 .

  编写完功能后，用法很简单：

  model.fit_generator(
  generate_data('~/my_data', batch_size),
  steps_per_epoch=len(os.listdir('~/my_data')) // batch_size)
  

  再次修改以反映您正在从HDF5而不是目录中读取的事实 .

  回复于 2024-05-05T14:07:21+08:00
• 1

  这是我用h5文件每个时代的随机数据的解决方案 . 指数表示火车或val指数列表 .

  def generator(h5path, indices, batchSize=128, is_train=True, aug=None):
  
      db = h5py.File(h5path, "r")
      with open("mean.json") as f:
          mean = json.load(f)
      meanV = np.array([mean["R"], mean["G"], mean["B"]])
  
      while True:
  
          np.random.shuffle(indices)
          for i in range(0, len(indices), batchSize):
              t0 = time()
              batch_indices = indices[i:i+batchSize]
              batch_indices.sort()
  
              by = db["labels"][batch_indices,:]
              bx = db["images"][batch_indices,:,:,:]
  
              bx[:,:,:,0] -= meanV[0]
              bx[:,:,:,1] -= meanV[1]
              bx[:,:,:,2] -= meanV[2]
              t1=time()
  
              if is_train:
  
                  #bx = random_crop(bx, (224,224))
                  if aug is not None:
                      bx,by = next(aug.flow(bx,by,batchSize))
  
              yield (bx,by)
  
  
  h5path='all_224.hdf5'   
  model.fit_generator(generator(h5path, train_indices, batchSize=batchSize, is_train=True, aug=aug),
                  steps_per_epoch = 20000//batchSize,
                  validation_data= generator(h5path, test_indices, is_train=False, batchSize=batchSize), 
                  validation_steps = 2424//batchSize,
                  epochs=args.epoch, 
                  max_queue_size=100,
                  callbacks=[checkpoint, early_stop])
  

  回复于 2024-05-05T14:07:21+08:00