Derin öğrenme (kullanım dışı)

Azure Synapse Analytics'teki Apache Spark, büyük verilerle makine öğrenmesine olanak sağlayarak büyük miktarlarda yapılandırılmış, yapılandırılmamış ve hızlı hareket eden verilerden değerli içgörüler elde etme olanağı sağlar. Azure Synapse Analytics'te Azure Spark kullanarak makine öğrenmesi modellerini eğitirken çeşitli seçenekler vardır: Apache Spark MLlib, Azure Machine Learning ve diğer çeşitli açık kaynak kitaplıkları.

Not

Azure Synapse GPU özellikli havuzlar için Önizleme artık kullanım dışı bırakıldı.

GPU özellikli Apache Spark havuzları

Azure Synapse, havuz oluşturma ve yönetme sürecini basitleştirmek için düşük düzeyli kitaplıkları önceden yükleme ve işlem düğümleri arasında tüm karmaşık ağ gereksinimlerini ayarlama işlemlerini üstlenir. Bu tümleştirme, kullanıcıların yalnızca birkaç dakika içinde GPU hızlandırılmış havuzları kullanmaya başlamasını sağlar.

Not

  • GPU hızlandırmalı havuzlar Doğu ABD, Doğu Avustralya ve Kuzey Avrupa'da bulunan çalışma alanlarında oluşturulabilir.
  • GPU hızlandırmalı havuzlar yalnızca Apache Spark 3.1 (kullanım dışı) ve 3.2 çalışma zamanı (kullanım dışı) ile kullanılabilir.
  • GPU özellikli kümeler oluşturmak için bir sınır artışı istemeniz gerekebilir.

GPU ML Ortamı

Azure Synapse Analytics derin öğrenme altyapısı için yerleşik destek sağlar. Apache Spark 3 için Azure Synapse Analytics çalışma zamanları TensorFlow ve PyTorch gibi en yaygın derin öğrenme kitaplıkları için destek içerir. Azure Synapse çalışma zamanı, dağıtılmış eğitim için yaygın olarak kullanılan Petastorm ve Horovod gibi destekleyici kitaplıkları da içerir.

TensorFlow

TensorFlow, tüm geliştiriciler için açık kaynak bir makine öğrenmesi çerçevesidir. Makine öğrenmesi ve derin öğrenme uygulamalarını uygulamak için kullanılır.

TensorFlow hakkında daha fazla bilgi için TensorFlow API belgelerini ziyaret edebilirsiniz.

PyTorch

PyTorch, GPU'ları ve CPU'ları kullanarak derin öğrenme için iyileştirilmiş bir tensor kitaplığıdır.

PyTorch hakkında daha fazla bilgi için PyTorch belgelerini ziyaret edebilirsiniz.

Horovod

Horovod, TensorFlow, Keras ve PyTorch için dağıtılmış bir derin öğrenme eğitim çerçevesidir. Horovod, dağıtılmış derin öğrenmeyi hızlı ve kullanımı kolay hale getirmek için geliştirilmiştir. Bu çerçeveyle, mevcut bir eğitim betiğinin ölçeği, yalnızca birkaç kod satırı halinde yüzlerce GPU üzerinde çalıştırılacak şekilde artırılabilir. Buna ek olarak Horovod, Apache Spark üzerinde çalışabilir ve bu sayede veri işleme ve model eğitimini tek bir işlem hattında birleştirmeyi mümkün hale getirir.

Azure Synapse Analytics'te dağıtılmış eğitim işlerini çalıştırma hakkında daha fazla bilgi edinmek için şu öğreticileri ziyaret edebilirsiniz: - Öğretici: Horovod ve PyTorch ile dağıtılmış eğitim - Öğretici: Horovod ve TensorFlow ile dağıtılmış eğitim

Horovod hakkında daha fazla bilgi için Horovod belgelerini ziyaret edebilirsiniz,

Petastorm

Petastorm, derin öğrenme modellerinin tek düğümlü veya dağıtılmış eğitimine olanak tanıyan bir açık kaynak veri erişim kitaplığıdır. Bu kitaplık doğrudan Apache Parquet biçimindeki veri kümelerinden ve önceden Apache Spark DataFrame olarak yüklenmiş veri kümelerinden eğitim sağlar. Petastorm, TensorFlow ve PyTorch gibi popüler eğitim çerçevelerini destekler.

Petastorm hakkında daha fazla bilgi için Petastorm GitHub sayfasını veya Petastorm API belgelerini ziyaret edebilirsiniz.

Sonraki adımlar

Bu makalede, Azure Synapse Analytics'teki Apache Spark havuzlarında makine öğrenmesi modellerini eğitmeye yönelik çeşitli seçeneklere genel bir bakış sunulmaktadır. Aşağıdaki öğreticiyi izleyerek model eğitimi hakkında daha fazla bilgi edinebilirsiniz:

  • Last updated on