AI Çalışma Zamanı

Önemli

Bu özellik Genel Önizleme aşamasındadır.

AI Runtime, Databricks'te derin öğrenme iş yüklerine yönelik bir işlem teklifidir ve Databricks Sunucusuz için GPU desteği sunar. En sevdiğiniz çerçeveleri kullanarak özel modelleri eğitmek ve ince ayar yapmak ve en son verimlilik, performans ve kalite elde etmek için AI Çalışma Zamanı'nı kullanabilirsiniz. Sunucusuz işlemin Databricks mimarisine nasıl uyduğunu gösteren bir genel bakış için bkz. Sunucusuz çalışma alanı mimarisi.

Temel özellikler

  • Tam olarak yönetilen GPU altyapısı: Sunucusuz, GPU'lara esnek erişim ve yönetecek küme yapılandırması, sürücü seçimi veya otomatik ölçeklendirme ilkeleri yoktur.
  • Derin öğrenme için ayrılmış bir çalışma zamanı: Bağımlılıklar üzerinde maksimum esneklik için en düşük Standart ortamı veya popüler ML çerçeveleriyle önceden yüklenmiş tam özellikli bir yapay zeka ortamı seçin.
  • Sorunsuz geliştirme, veri erişimi ve deneme izleme için not defterleri, işler, Unity Kataloğu ve MLflow arasında yerel olarak tümleştirilmiştir.
  • Uyumluluk desteği: Uyumluluk standartlarının çoğunu destekler. Desteklenen standartlar ve özel durumlar için bkz. uyumluluk güvenlik profili.

Donanım seçenekleri

Tüm AI Çalışma Zamanı hızlandırıcıları tek bir düğüm sağlar. Bu düğümdeki GPU sayısı hızlandırıcı türüne bağlıdır:

Hızlandırıcı Düğüm başına GPU sayısı GPU belleği En iyi kullanım alanı: Dağıtılmış eğitim
1xA10 1 24 GB Küçükten orta düzeye ML ve klasik ML modelleri veya daha küçük dil modellerinde ince ayar yapma gibi derin öğrenme görevleri Desteklenmiyor (tek GPU)
1xH100 1 80GB 1xA10'dan daha fazla GPU belleğine ihtiyaç duyan ancak orta boyutlu dil modellerinde ince ayar yapma gibi çok GPUlu dağıtılmış eğitim gerektirmeyen iş yükleri Desteklenmiyor (tek GPU)
8xH100 8 GPU başına 80 GB Büyük modellerde eğitim veya ince ayar yapma ya da gelişmiş derin öğrenme görevleri çalıştırma dahil olmak üzere büyük ölçekli yapay zeka iş yükleri @distributed dekoratörü gpus=8 ile kullanılarak desteklenir

Databricks, derin öğrenme, büyük ölçekli klasik iş yükleri veya GPU'lar içeren özel model eğitimi kullanım örnekleri için AI Runtime'ı önerir.

Örneğin:

  • LLM ince ayarı (LoRA, QLoRA, tam ince ayar)
  • Görüntü işleme (nesne algılama, görüntü sınıflandırma)
  • Derin öğrenme tabanlı öneri sistemleri
  • Pekiştirmeye dayalı öğrenme
  • Derin öğrenme tabanlı zaman serisi tahmini

Gereksinimler

  • Aşağıdaki Azure desteklenen bölgelerden birinde bir çalışma alanı:
    • centralus
    • eastus
    • eastus2
    • northcentralus
    • westcentralus
    • westus
    • westus3

Sınırlamalar

  • AI Çalışma Zamanı yalnızca A10 ve H100 hızlandırıcılarını destekler.
  • AI Runtime, FedRAMP High veya DoD IL5 standartları için uyumluluk güvenlik profilini desteklemez. Diğer tüm uyumluluk standartları desteklenir.
  • Ortamlar panelini kullanarak bağımlılık ekleme, yapay zeka çalışma zamanı zamanlanmış işleri için desteklenmez. Bunun yerine not defterinizde kullanarak %pip install bağımlılıkları program aracılığıyla yükleyin.
  • AI Çalışma Zamanı'ndaki zamanlanmış işler için, not defterinizle ilişkilendirilmiş uyumsuz paket sürümleri için otomatik kurtarma davranışı desteklenmez.
  • bir iş yükü için maksimum çalışma zamanı yedi gündür. Bu sınırı aşan model eğitim işleri için denetim noktası oluşturmayı uygulayın ve çalışma zamanı üst sınırına ulaşıldığında işi yeniden başlatın.
  • AI Runtime, GPU kaynaklarına isteğe bağlı erişim sağlar. Bu, GPU'lara kolay ve esnek erişim sağlarken, bölgenizde kapasitenin kısıtlandığı veya kullanılamadığı dönemler olabilir.
  • AI Runtime, talebin yüksek olduğu anlarda belirli durumlarda bölgeler arası GPU'lardan yararlanıyor. Bu tür kullanımla ilişkili çıkış maliyetleri olabilir ve bölgeler arası ağ bağlantısı belirli zamanlarda sınırlı olabilir.

AI Runtime'a bağlanma

Not defterlerinden, SSH tüneli kullanan bir IDE terminalinden, zamanlanmış işlerden, Jobs API’den ve Bildirimsel Otomasyon Paketlerinden AI Runtime’a etkileşimli olarak bağlanabilirsiniz. Adım adım yönergeler için bkz. AI Runtime'a bağlanma.

Ortamı ayarlama

AI Runtime, iki yönetilen Python ortamı sunar: minimal bir Standart ortam ve PyTorch ile Transformers gibi popüler ML çerçeveleri önceden yüklenmiş, tam özellikli bir Databricks AI ortamı. Ortam seçme, önbelleğe alma davranışı, özel modülleri içeri aktarma ve bilinen sınırlamalar hakkında ayrıntılı bilgi için bkz. Ortamınızı ayarlama.

Yapay zeka çalışma zamanına veri yükleme

Sorunsuz bir deneyim için yapay zeka çalışma zamanında veri erişiminin nasıl çalıştığını anlamak önemlidir. Ayrıntılar için bkz . Yapay zeka çalışma zamanına veri yükleme.

Dağıtılmış eğitim

AI Runtime, dizüstü bilgisayarınızın bağlı olduğu tek düğüm üzerinde birden çok GPU'yu kullanarak dağıtılmış eğitimi destekler. @distributed Python API’sindeki serverless_gpu dekoratörünü kullanarak, PyTorch DDP, FSDP veya DeepSpeed ile çoklu GPU iş yüklerini minimum yapılandırmayla başlatabilirsiniz. Ayrıntılar için bkz. Not defterlerinde dağıtılmış eğitim.

Deneme izleme ve gözlemlenebilirlik

MLflow tümleştirmesi, günlükleri görüntüleme ve model kontrol noktası yönetimi için Deneme izleme ve gözlemlenebilirlik bölümüne bakın.

Derin öğrenme için Genie Code

Genie Code, yapay zeka çalışma zamanında derin öğrenme iş yüklerini destekler. Eğitim kodu oluşturma, kitaplık yükleme hatalarını çözme, iyileştirme önerme ve yaygın sorunlarda hata ayıklama konusunda yardımcı olabilir. Bkz . Veri bilimi için Genie Code kullanma.

Guides

Klasik iş yüklerinden, örneğin not defterlerinden geçiş ve sorun giderme için bkz. AI Runtime için kullanıcı kılavuzları.

  • Last updated on