Comprendere e valutare i modelli per i carichi di lavoro del database SQL

I modelli di linguaggio di grandi dimensioni consentono alle applicazioni di generare risposte, riepilogare le informazioni e il motivo dell'input dell'utente. La loro utilità aumenta quando possono accedere ai dati dell'applicazione archiviati in un database.

Il database SQL di Azure e il database SQL dell'infrastruttura supportano la creazione di applicazioni intelligenti integrando funzionalità di intelligenza artificiale come incorporamenti, tipi di dati vettoriali e ricerca vettoriale. Queste funzionalità consentono ai modelli di lavorare direttamente con i dati relazionali, abilitando modelli comuni come la ricerca semantica e la generazione aumentata di recupero (RAG).

Prima di integrare un modello in una soluzione basata su SQL, è importante comprendere il comportamento dei diversi modelli e il modo in cui le relative caratteristiche influiscono sulla progettazione dell'applicazione.

Identificare le caratteristiche del modello per i carichi di lavoro del database SQL

I modelli variano in base alle funzionalità, alle caratteristiche delle prestazioni e ai formati di input e output supportati. Quando si valutano i modelli da usare con il database SQL di Azure o il database SQL dell'infrastruttura, considerare i fattori seguenti.

Modalità
Alcuni modelli elaborano solo testo, mentre altri supportano altri input, ad esempio immagini o dati strutturati. La modalità richiesta dipende dal tipo di dati archiviati nel database e dallo scenario di applicazione previsto.

Supporto di versioni in lingue diverse
Il supporto multilingue è importante quando le applicazioni servono gli utenti in più aree o quando il contenuto archiviato si estende su più lingue.

Dimensioni e capacità del modello
I modelli più grandi offrono in genere un ragionamento più forte e un output più sfumato, ma usano anche più token e possono introdurre una latenza e un costo più elevati. I modelli più piccoli potrebbero essere più adatti per compiti specifici, come la generazione di embedding.

Output strutturato
I modelli che possono produrre output strutturato, ad esempio JSON, sono più facili da integrare nei flussi di lavoro basati su SQL in cui le risposte devono essere elaborate a livello di codice.

Queste caratteristiche influiscono sul fatto che un modello sia adatto per la generazione di incorporamenti, il supporto di modelli RAG o l'abilitazione dell'accesso conversazionale al contenuto del database.

Descrivere in che modo i modelli interagiscono con i dati SQL di Azure

Il database SQL di Azure e il database SQL dell'infrastruttura supportano modelli di applicazione intelligenti combinando l'archiviazione relazionale con funzionalità di intelligenza artificiale, ad esempio tipi di dati vettoriali e funzioni vettoriali.

Un modello comune è La generazione aumentata di recupero (RAG), in cui i dati rilevanti vengono recuperati dal database e forniti a un modello come contesto prima di generare una risposta. Questo passaggio consente di basare le risposte nei dati dell'applicazione anziché basarsi solo sulla conoscenza preliminare di un modello.

Diversi concetti influiscono sul modo in cui i modelli interagiscono con i dati del database:

• Token, ovvero i modelli di unità usati per elaborare il testo
• Incorporamenti, che rappresentano i dati come vettori
• Ricerca vettoriale, che confronta gli incorporamenti per identificare la somiglianza semantica

Poiché i vettori si trovano insieme ai dati relazionali nel database SQL di Azure, è possibile combinare la ricerca di somiglianza vettoriale con qualsiasi funzionalità SQL standard in una singola query. Ad esempio, è possibile restringere i risultati della ricerca vettoriale con una clausola WHERE, unirli a tabelle correlate o combinare classificazioni del coseno vettoriale con punteggi BM25 testo completo. Questa combinazione di ricerca vettoriale con le normali operazioni SQL è nota come ricerca ibrida. Anziché inviare richieste a un servizio di ricerca separato e riconciliare i risultati, eseguire una query su un database che gestisce sia la somiglianza semantica che il filtro relazionale.

La comprensione di questi concetti consente di progettare applicazioni basate su SQL che usano in modo efficace le funzionalità di intelligenza artificiale durante la gestione delle prestazioni e dei costi.

Spiegare in che modo i token influiscono sui costi e sulla progettazione

I modelli non elaborano il testo come caratteri in forma grezza. Invece, suddividono il testo in token. I token sono piccoli blocchi che possono essere parole, parti di parole o punteggiatura. Ad esempio, la parola "hamburger" potrebbe diventare tre token: "ham", "bur" e "ger", mentre una parola comune come "the" è in genere un singolo token.

I conteggi dei token sono importanti per due motivi. Prima di tutto, i modelli hanno limiti di input. Un modello può accettare un massimo di 8.000 o 128.000 token in una singola richiesta. Questo limite limita la quantità di contenuto del database che è possibile includere come contesto in un modello rag. In secondo luogo, i provider di modelli addebitano in genere in base ai token elaborati. Più token significano costi più elevati, quindi una gestione efficiente del testo influisce direttamente sulle spese operative.

Quando si progettano soluzioni di intelligenza artificiale basate su SQL, i limiti dei token influenzano la modalità di blocco del contenuto per gli incorporamenti e la quantità di contesto che è possibile passare a un modello durante la generazione.

Poiché i modelli impongono limiti di token e differiscono per la modalità di generazione degli incorporamenti, queste caratteristiche influiscono sulla progettazione dello schema, sulle strategie di suddivisione in blocchi e sul comportamento delle query.

Esplorare i modelli con Microsoft Foundry

I modelli di Microsoft Foundry offrono un catalogo di modelli di intelligenza artificiale che possono essere usati con i servizi di Azure. Il catalogo include modelli che supportano attività come l'elaborazione del testo, la generazione di embedding, il ragionamento e l'input multimodale.

Per i carichi di lavoro del database SQL, Foundry consente di valutare i modelli appropriati per l'integrazione con il database SQL di Azure o il database SQL dell'infrastruttura. I tipi di input supportati, la copertura della lingua e le opzioni di distribuzione influenzano tutti il modello più adatto allo scenario.

Il catalogo dei modelli espone informazioni quali funzionalità del modello, benchmark, dettagli della versione e stato del ciclo di vita. Queste informazioni consentono agli sviluppatori di comprendere le prestazioni e i vincoli operativi prima di connettere un modello ai flussi di lavoro del database.

L'uso di Foundry durante la progettazione consente di garantire che il modello selezionato sia allineato ai requisiti dell'applicazione basata su SQL e possa essere integrato in modo prevedibile con i dati relazionali.

Selezionare un modello per la soluzione

La selezione di un modello è una decisione di progettazione che influisce su prestazioni, costi e gestibilità. Quando si sceglie un modello da usare con il database SQL di Azure o il database SQL di Infrastruttura, prendere in considerazione:

• Tipo e formato dei dati archiviati nel database
• Requisiti di prestazioni e scalabilità
• Requisiti linguistici o di modalità
• Considerazioni sulla distribuzione e sul ciclo di vita

Comprendere questi compromessi consente di garantire che le funzionalità di intelligenza artificiale siano integrate nelle soluzioni di database SQL in modo prevedibile, scalabile e allineato agli obiettivi dell'applicazione.

Punti chiave

I modelli differiscono in modalità, supporto del linguaggio, dimensioni e funzionalità di output strutturate e queste differenze influiscono sul modo in cui si integrano con i carichi di lavoro del database SQL. Rag recupera il contenuto del database pertinente e lo fornisce a un modello come contesto, mentre i token determinano la modalità di elaborazione del testo di input e output. Gli incorporamenti rappresentano i dati come vettori che consentono confronti di somiglianza semantica. Microsoft Foundry Models fornisce un catalogo per la valutazione e la selezione di modelli allineati ai requisiti dell'applicazione basata su SQL.