Dağıtılmış eğitim için verileri hazırlama

Bu makalede, dağıtılmış eğitim için veri hazırlama yöntemleri açıklanmaktadır.

Belleğe sığmayan çok büyük veri kümeleri için akış temelli yöntemleri kullanın.

  • Özel akış mantığı için PyTorch IterableDataset.
  • Hub'da veya birimlerde barındırılan veri kümeleri için akışla Yüz Tanıma veri kümelerini kucaklama.
  • Dağıtılmış toplu veri işleme için Ray Data.

TFRecord

Dağıtılmış derin öğrenme için veri kaynağı olarak TFRecord biçimini de kullanabilirsiniz. TFRecord biçimi, birçok TensorFlow uygulamasının eğitim verileri için kullandığı basit bir kayıt odaklı ikili biçimdir.

tf.data.TFRecordDataset , TFRecords dosyalarındaki kayıtlardan oluşan TensorFlow veri kümesidir. TFRecord verilerini kullanma hakkında daha fazla ayrıntı için TFRecord verilerini kullanma TensorFlow kılavuzuna bakın.

Aşağıdaki makalelerde verilerinizi TFRecord dosyalarına kaydetmenin ve TFRecord dosyalarını yüklemenin önerilen yolları açıklanmaktadır:

  • Last updated on