Kavramlar: Azure Databricks üzerinde veri bilimi ve makine öğrenmesi

Veri bilimi ve makine öğrenmesi (DS ve ML) içgörüleri ayıklar ve verilerden tahmine dayalı modeller oluşturur. DS ve ML hem etkileşimli keşif, modelleme hem de otomatik üretim sistemlerini içerir. Klasik ML sınıflandırma, regresyon, anomali algılama, tahmin ve öneri gibi teknikleri içerir.

Modern derin öğrenme ve üretken yapay zeka (GenAI) yöntemleri teknik olarak ML türleridir. Bu bölüm derin öğrenmeyi kapsar. GenAI için bkz: Kavramlar: Azure Databricks'te Üretken Yapay Zekâ.

ML yaşam döngüsü

ML yaşam döngüsü, ham verilerden üretim modeline ve izleme ve yeniden eğitme aracılığıyla uçtan uca yolculuğu kapsar. Önemli aşamalar şunlardır:

1. Tahmin hedefini, başarı ölçümlerini ve üretim gereksinimlerini tanımlayarak kullanım örneğinin kapsamını belirleyin.
2. Modellemeden önce veri dağıtımlarını, tahmine dayalı sinyalleri ve veri kalitesi sorunlarını anlamak için keşif veri analizi (EDA) çalıştırın.
3. Bir özellik deposu içinde yönetilen verileri ve özellikleri hazırlama.
4. Modelleri eğitin ve deneyleri izleyin, analiz ve dağıtım için deney meta verilerini günlüğe kaydedin.
5. Model kalitesini tutulan veriler ve paydaş ölçütlerine göre değerlendirin.
6. Üretime yükseltmeden önce modelleri kaydedin, hazırlayıp test edin.
7. Gerçek zamanlı uç noktalarda veya toplu çıkarım işlerinde üretime dağıtın.
8. Modelleri değişen verilere veya kullanıcı davranışlarına uyarlamak için izleyin ve yeniden eğitin.

Her aşamaya yönelik bir kılavuz için bkz. Makine öğrenmesi yaşam döngüsü .

Yapay zeka destekli geliştirme ve operasyonlar

Azure Databricks, not defterleri ve çalışma alanları arasında tümleştirilmiş bir yapay zeka yardımcısı olan Genie Code'a sahiptir. Kurumsal bağlamınıza ilişkin uzmanlaşmış bilgisinden yararlanarak bunu geliştirme, hata ayıklama ve süregelen operasyonlar için kullanın. Bkz . Veri bilimi için Genie Code kullanma.

İş akışınızın her adımında Genie Code kullanabilirsiniz:

• Çalışma alanınızdaki ve Unity Kataloğu'ndaki ilgili modelleri, verileri ve özellikleri keşfetmek için Genie sohbetiyle başlayın.
• Özellik geliştirme, model eğitimi ve ayarlama, değerlendirme ve dağıtım için işlem hatlarının prototipini yapmak için Genie Code kullanın.
• Üretimdeki sorunları tanılamak ve araştırmak için Genie Code ile uç noktalara hizmet veren modeli analiz edin.

Ayrıca, Azure Databricks üzerinde ML işlem hatları geliştirmek ve bakımını yapmak için üçüncü taraf kodlama araçlarını da kullanabilirsiniz. Yapay zeka kodlama yardımcıları için ajan becerileri bölümüne bakın.

ML platformu nedir?

ML platformu, ham verilerden üretim modellerine kadar tüm ML yaşam döngüsünü destekleyen birleşik altyapı, araçlar ve idare katmanıdır. İyi tasarlanmış bir ML platformu, veri mühendisliği, etkileşimli veri bilimi ve üretim ML'sini tek bir idare sisteminde birbirine bağlar.

Önemli bileşenler şunlardır:

• Dosyalar, tablolar, işleme ardışık düzenleri ve özellik depoları gibi veri varlıkları
• Basit işbirliği ve yapay zeka yardımıyla not defterleri ve görselleştirmeler gibi deneme araçları
• Özelleştirilebilir ortamlar ve esnek işlem kaynaklarıyla eğitim altyapısı
• Üretim panoları ve uyarıları ile toplu ve gerçek zamanlı sunum için dağıtım ve izleme altyapısı
• Orkestrasyon, CI/CD, veri soyağacı, erişim yönetimi ve denetim günlüğü için MLOps ve yönetişim araçları

Temel idare özellikleri şunlardır:

• Veri ve ML varlıklarının birleşik idaresi. Unity Kataloğu nedir? sayfasında daha fazla bilgi edinin.
• Model uç noktalarının birleşik idaresi. Uç noktalara hizmet için AI Gateway'de daha fazla bilgi edinin.
• Birleşik güvenlik yaklaşımı. Daha fazla bilgi için bkz. Databricks AI Security.
• Veri ve ML araçlarının birleşik yönetimi. Yönetim'de daha fazla bilgi edinin.

Ayrıca bkz. Azure Databricks veri bilimi ve ML özellikleri ve Azure Databricks mimarisi.

ML ile derin öğrenme ve GenAI karşılaştırması

Makine öğrenmesi (ML), derin öğrenme (DL) ve üretken yapay zeka (GenAI) arasındaki sınırlar belirsiz olabilir. Bu kılavuz ML ve derin öğrenmeye odaklanır, ancak aşağıdaki platform özellikleri üç paradigmayı da destekler:

• Model Sunma , hem gerçek zamanlı hem de toplu çıkarım için klasik ML, derin öğrenme ve özel GenAI modellerini destekler.
• ai_query üç paradigma için de SQL sorgularını ve toplu çıkarım iş yüklerini destekler.

• Machine Learning için AI Runtime ve GPU özellikli Databricks Runtime, üç paradigmada da eğitim ve ince ayarlama desteği sunar.

• MLflow deney izleme, her üç paradigma için de çalıştırmaları ve deneyleri izler.
• Databricks AI Search , üç paradigma için de yapılandırılmamış veriler sağlar.

Ek kaynaklar

• Makine öğrenmesi yaşam döngüsü - ML yaşam döngüsü aşamaları ve en iyi yöntemler
• Azure Databricks veri bilimi ve ML özellikleri - İş akışı aşamasına göre Azure Databricks ML özellikleri
• Databricks'te yapay zeka - Kullanım örnekleri, müşteriler ve diğer kaynaklar