Concetti: scienza dei dati e apprendimento automatico su Azure Databricks

Data science e Machine Learning estraggono informazioni dettagliate e compilano modelli predittivi dai dati. DS e ML includono sia l'esplorazione interattiva che la modellazione e i sistemi di produzione automatizzati. Machine Learning classico include tecniche come classificazione, regressione, rilevamento anomalie, previsione e raccomandazione.

I metodi moderni di Deep Learning e intelligenza artificiale generativa (GenAI) sono tecnicamente tipi di MACHINE Learning. Questa sezione illustra l'apprendimento avanzato. Per GenAI, vedere Concepts: Generative AI on Azure Databricks (Concetti: Generative AI on Azure Databricks).

Ciclo di vita di Machine Learning

Il ciclo di vita dell’ML copre l’intero processo end-to-end, dai dati grezzi a un modello messo in produzione, per poi tornare al punto di partenza tramite il monitoraggio e il riaddestramento. Le fasi principali includono:

1. Definire l'ambito del caso d'uso definendo la destinazione di stima, le metriche di successo e i requisiti di produzione.
2. Eseguire l'analisi esplorativa dei dati (EDA) per comprendere le distribuzioni dei dati, i segnali predittivi e i problemi di qualità dei dati prima della modellazione.
3. Preparare dati e caratteristiche, gestiti in un feature store.
4. Eseguire il training di modelli e tenere traccia degli esperimenti, registrare i metadati dell'esperimento per l'analisi e la distribuzione.
5. Valutare la qualità del modello rispetto ai dati di validazione e ai criteri degli stakeholder.
6. Registrare, mettere in staging e testare i modelli prima di distribuirli in produzione.
7. Distribuire in produzione su endpoint in tempo reale o processi di inferenza in batch.
8. Monitora e riaddestra per adattare i modelli ai cambiamenti nei dati o nel comportamento degli utenti.

Per una guida a ogni fase, vedere Ciclo di vita di Machine Learning .

Sviluppo e operazioni assistita dall'intelligenza artificiale

Azure Databricks include Genie Code, un assistente di intelligenza artificiale integrato nei notebook e nell'area di lavoro. Usarlo per lo sviluppo, il debug e le operazioni in corso, basandosi sulla conoscenza specializzata del contesto aziendale. Vedere Usare il codice Genie per l'analisi scientifica dei dati.

È possibile usare Genie Code in ogni passaggio del flusso di lavoro:

• Iniziare con Genie chat per individuare modelli, dati e funzionalità pertinenti nell'area di lavoro e nel catalogo unity.
• Usare Genie Code per creare prototipi di pipeline per la definizione delle caratteristiche, il training e l'ottimizzazione dei modelli, la valutazione e la distribuzione.
• Analizzare i modelli che servono gli endpoint con il codice Genie per diagnosticare e analizzare i problemi nell'ambiente di produzione.

È anche possibile usare strumenti di codifica di terze parti per sviluppare e gestire pipeline di Machine Learning in Azure Databricks. Vedere Competenze dell'agente per gli assistenti di codifica per intelligenza artificiale.

Che cos'è una piattaforma ml?

Una piattaforma ml è l'infrastruttura combinata, gli strumenti e il livello di governance che supporta il ciclo di vita completo del Machine Learning, dai dati non elaborati ai modelli di produzione. Una piattaforma ML ben progettata connette la progettazione dei dati, l'analisi scientifica dei dati interattiva e l'apprendimento automatico di produzione in un unico sistema regolamentato.

I componenti principali includono:

• Asset di dati come file, tabelle, pipeline di elaborazione e archivi di funzionalità
• Strumenti di sperimentazione come notebook e visualizzazioni, con semplici funzionalità di collaborazione e assistenza dell'IA
• Infrastruttura di training con ambienti personalizzabili e risorse di calcolo flessibili
• Infrastruttura di distribuzione e monitoraggio per la gestione batch e in tempo reale, con dashboard e avvisi di produzione
• Strumenti di governance e MLOps per orchestrazione, CI/CD, derivazione, gestione degli accessi e registrazione di controllo

Le principali funzionalità di governance includono:

• Governance unificata dei dati e degli asset di Machine Learning. Per altre informazioni, vedere Che cos'è il catalogo unity?.
• Gestione unificata degli endpoint dei modelli. Per altre informazioni, vedere Gateway di intelligenza artificiale per la gestione degli endpoint.
• Approccio di sicurezza unificato. Per altre informazioni, vedere Sicurezza dell'intelligenza artificiale di Databricks.
• Amministrazione unificata dei dati e degli strumenti di Machine Learning. Per ulteriori informazioni, vedi Amministrazione.

Vedere anche Azure Databricks funzionalità di data science e Machine Learning e architettura Azure Databricks.

ML vs. deep learning vs. GenAI

I limiti tra Machine Learning (ML), Deep Learning (DL) e intelligenza artificiale generativa (GenAI) possono essere fuzzy. Questa guida è incentrata su ML e Deep Learning, ma le funzionalità della piattaforma seguenti supportano tutti e tre i paradigmi:

• Model Serving supporta modelli classici di Machine Learning, Deep Learning e GenAI personalizzati sia per l'inferenza in tempo reale che per l'inferenza batch.
• ai_query supporta query SQL e carichi di lavoro di inferenza batch per tutti e tre i paradigmi.

• AI Runtime e Databricks Runtime for Machine Learning con supporto GPU supportano l'addestramento e la messa a punto in tutti e tre i paradigmi.

• Il rilevamento dell'esperimento MLflow tiene traccia delle esecuzioni e degli esperimenti per tutti e tre i paradigmi.
• Databricks AI Search fornisce dati non strutturati per tutti e tre i paradigmi.

Risorse aggiuntive

• Ciclo di vita di Machine Learning - Fasi e procedure consigliate del ciclo di vita di Machine Learning
• Funzionalità di data science e Machine Learning di Azure Databricks - Funzionalità di Machine Learning di Azure Databricks in base alla fase del flusso di lavoro
• Intelligenza artificiale in Databricks - Casi d'uso, clienti e altre risorse