Ortamınızı ayarlama

Önemli

Bu özellik Genel Önizleme aşamasındadır.

AI Runtime, sunucusuz GPU hesaplama için iki yönetilen Python ortamı sağlar: torch, cuda ve torchvision içeren asgari bir Standart ortam ile PyTorch, Transformers ve diğer ML ve derin öğrenme çerçeveleri önceden yüklenmiş bir Databricks AI ortamı. Bağımlılık yığınınız üzerinde tam denetim için Standart ortamı veya kullanıma hazır bir eğitim kurulumu için yapay zeka ortamını seçin. Ayrıca her iki ortamdan da başlayabilir ve ile %pip installpaketler ekleyebilirsiniz.

Hangi ortamın kullanılacağı

AI Runtime iki yönetilen Python ortamı sunar: Standart ortam ve Databricks AI ortamı.

Çevre Temel özellikler Ne zaman kullanılır?
Standart ortam Minimal; cuda içerir. Ortam sürümü 5'ten itibaren torch ve torchvision artık önceden yüklü olarak gelmez. Bağımlılık yığınınız üzerinde tam denetime sahip olmak istiyorsunuz ve yalnızca ihtiyacınız olanı yüklemeyi tercih ediyorsunuz
Databricks AI ortamı Popüler ML çerçeveleri (PyTorch, Transformers ve daha fazlası) ile önceden yüklenmiş El ile bağımlılık yönetimi olmadan eğitim, ince ayar ve deneme için eksiksiz bir ortam istiyorsunuz

Çalışma alanı yöneticisinin sunucusuz GPU işlem için oluşturduğu bir çalışma alanı temel ortamı da kullanabilirsiniz. Bkz. Sunucusuz GPU hesaplama için derleme (AI Runtime).

Standart ortam (minimum ortam)

Yalnızca AI Çalışma Zamanı işlemi için gerekli paketleri içeren minimum, kararlı bir ortam. Ortam, GPU desteği için cuda içerir. Ortamın 5. sürümünden itibaren, torch ve torchvision artık önceden yüklü değildir. ile pip installiş yükünüzün ihtiyaç duyduğu sürümleri yükleyin. Her ortam sürümünde yüklü paketler için aşağıdaki sürüm notlarını inceleyin.

En iyi yöntem: Bağımlılık yığınları üzerinde tam denetim sahibi olmak isteyen ve yalnızca ihtiyaç duydukları şeyi yüklemeyi tercih eden kullanıcılar.

Seçmek için: Ortam yan panelinde, temel ortamınız olarak Standart v5 veya Standart v4'i seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

Databricks AI ortamı

4. ve sonraki ortamlarda kullanılabilir. Yapay zeka ortamı, GPU'larda makine öğrenmesine özgü yaygın çalışma zamanı paketleri ve paketleriyle Standart ortamın üzerine kurulmuştur. Önceden yüklenmiş paketler şunlardır:

  • PyTorch (CUDA desteği ile)
  • Transformers (Hugging Face)
  • Ayrıca ilave ML/DL bağımlılıkları

En iyi yöntem: el ile bağımlılık yönetimi olmadan iş yüklerini eğitmek, ince ayar yapmak ve deneme yapmak için eksiksiz bir ortam isteyen ML uygulayıcıları.

Seçmek için: Ortam yan panelinde temel ortamınız olarak AI v5 veya AI v4'i seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

Çalışma alanı temel ortamları

Çalışma alanı yöneticisi sunucusuz GPU işlem için bir çalışma alanı temel ortamı oluşturabilir ve bu da temel ortam açılan menüsü aracılığıyla çalışma alanındaki tüm kullanıcıların kullanımına sunar. Ayrıntılar için sunucusuz GPU hesaplama (AI Runtime) için oluşturma bölümüne bakın.

Ayrıca, sağlanan temel ortamlardan birinden (varsayılan veya Databricks AI) başlayıp not defterinizde veya eğitim betiğinizin en üstünde kullanarak %pip install program aracılığıyla ek paketler yükleyerek proje başına derin öğrenme ortamınızı yapılandırabilirsiniz:

%pip install "trl==1.1.0"
%pip install "peft==0.19.1"
%pip install "transformers==5.5.4"
%pip install "fsspec==2024.9.0"
%pip install "huggingface_hub==1.11.0"
%pip install "datasets==3.2.0"
%pip install "accelerate==1.13.0"

Çoklu GPU iş yükleri için @distributed dekoratörü kullanıldığında, %pip install çağrılmadan önce .distributed() ile yüklenen paketlerin anlık görüntüsü otomatik olarak alınır ve tüm dağıtılmış işlemlere iletilir. Yüklenen paketlerin toplam boyutu 15 GB'ı aşmamalıdır.

Diğer ayrıntılar için bkz. Not defterine bağımlılık ekleme.

Ortam önbellekleme ve özel modüller

Ortamlar ne zaman önbelleğe alınır?

Ortamlar, başlangıç sürelerini hızlandırmak için oturumlar arasında önbelleğe alınır. AI Çalışma Zamanı'na aynı ortam yapılandırmasıyla yeniden bağlandığınızda, önceden yüklenmiş paketler önbellekten kullanılabilir ve bu da kurulum süresini kısaltabilir.

Ancak önbellek davranışı garanti edilmediğinden, not defterinizin her zaman yeniden üretilebilirlik için gerekli %pip install komutları içerdiğinden emin olun.

Özel modülleri nasıl içeri aktarebilirim?

Özel modülleri içine yerleştirip /Workspace/Shared yolunu sys.pathiçine ekleyerek içeri aktarabilirsiniz:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Ayrıca modül dosyalarını Çalışma Alanı dosyaları olarak karşıya yükleyebilir ve bunları doğrudan içeri aktarabilirsiniz. Çok kullanıcılı işbirliği için, paylaşılan kodu kullanıcıya özgü klasörler yerine içinde /Workspace/Shared depolayın. Etkin geliştirme için kullanıcıya özgü klasörleri kullanın ve sürüm denetimi için uzak git deposuna gönderin.

Sınırlamalar

AI Çalışma Zamanı'nda aşağıdaki özellikler kullanılamaz:

  • Spark işlevleri: PySpark işlevlerini doğrudan içeri aktaramaz veya kullanamazsınız. AI Runtime yalnızca Python ortamıdır; Spark yerel çalışma zamanı olarak kullanılamaz. Ancak Spark Connect, veri yükleme için kullanılabilir. Bkz . Yapay zeka çalışma zamanına veri yükleme.
  • Databricks Runtime ML kitaplıkları: Önceden yüklenmiş paketler Databricks Runtime ML'nin yerini almamaktadır. Databricks Runtime ML'de kullanılabilen bazı ML kitaplıkları AI Runtime'da önceden yüklenmemiş olabilir.
  • Özel yapıtlar: AI Çalışma Zamanı belirli durumlarda özel yapıtları destekler. Daha fazla bilgi için hesap ekibinize başvurun.
  • Last updated on