Implementarea modelelor către endpoint-uri

După ce selectezi un model din catalog, îl implementezi pentru a-l face accesibil prin endpoint-uri pe care aplicațiile tale le pot folosi. Portalul Microsoft Foundry te guides prin procesul de implementare și oferă instrumente pentru a testa imediat modelul tău implementat.

Înțelege tipurile de implementare

Microsoft Foundry suportă mai multe tipuri de implementare, fiecare oferind caracteristici diferite pentru rezidența datelor, scalare și facturare:

• Implementările modelului standard global pot folosi orice regiune Azure pe bază de plată pe token. Sunt cele mai bune pentru volumul general de muncă și oferă cea mai mare cotă.
• Implementările Global Provisioned pot folosi orice regiune Azure, iar utilizarea lor se bazează pe o bază de unități de throughput rezervate (PTU) pentru a oferi un debit previzibil și ridicat.
• Implementările Global Batch pot folosi orice regiune Azure cu o reducere de 50% pentru joburi asincrone mari în decurs de 24 de ore.
• Implementările Standard de Zonă de Date asigură că datele rămân într-o anumită zonă de date pe bază de plată pe token. Sunt cele mai bune pentru scenarii în care este necesară conformitatea cu zonele de date UE/SUA.
• Implementările cu zone de date Provisioned oferă un debit previzibil bazat pe PTU-uri rezervate într-o zonă de date.
• Implementările Batch din zona de date sunt concepute pentru joburi batch asincrone mari într-o zonă de date.
• Implementările standard sunt implementate într-o singură regiune pe bază de plată pe token. Sunt grozave când ai nevoie de conformitate regională pentru rezidența datelor sau pentru scenarii cu volum redus.
• Desfășurările regionale aprovizionate oferă PTU-uri rezervate într-o singură regiune.
• Dezvoltator Implementările dezvoltatorilor folosesc orice regiune Azure pe bază de plată pe token și sunt doar pentru evaluarea fină a modelului.

Fiecare model din catalog indică ce tipuri de implementare suportă. Portalul selectează automat cea mai bună opțiune de implementare în funcție de mediul tău și cerințele modelului. Implementările Standardului Global în resursele Foundry ar trebui folosite ori de câte ori este posibil pentru capabilități maxime.

Implementarea unui model

Pentru a implementa un model din portalul Microsoft Foundry:

Mai întâi, navighează către modelul pe care l-ai selectat în catalogul de modele. Din pagina principală a portalului Foundry, selectează Descoperă în navigare, apoi Modele în panoul din stânga. Deschide placa modelului pentru a revizui specificațiile și tipurile de implementare suportate.

Selectează Deploy pentru a începe procesul de implementare. Poți alege:

• Setări implicite pentru implementare rapidă cu configurații recomandate
• Setări personalizate pentru a personaliza opțiunile de implementare

Dacă modelul necesită un abonament Azure Marketplace (comun pentru modelele de la parteneri și comunitate), vezi termenii de utilizare. Revizuiește acești termeni și selectează Acceptă și Procedează pentru a-i accepta. Modelele vândute direct de Azure, cum ar fi modelele Azure OpenAI precum GPT-4o-mini, nu necesită abonamente la marketplace.

Configurează-ți setările de implementare:

• Numele implementării: În mod implicit, sistemul folosește numele modelului. Poți modifica acest lucru pentru a crea denumiri semnificative pentru mai multe implementări ale aceluiași model. În timpul inferenței, codul tău folosește acest nume de implementare în model parametru pentru a ruta cererile.
• Tipul de implementare: Portalul selectează automat tipul de implementare corespunzător în funcție de model și de mediul tău. Fiecare model suportă tipuri diferite de implementare, oferind garanții diferite de rezidență a datelor sau de debit.

Pentru implementările de calcul gestionat, configurezi și:

• SKU pentru mașini virtuale: Alegeți dintre tipurile de mașini virtuale suportate. Ai nevoie de cota de calcul Azure Machine Learning pentru SKU-ul selectat în abonamentul tău.
• Număr de instanțe: Specifică câte instanțe trebuie implementate pentru distribuția încărcării și redundanță.

După ce ai configurat toate setările, selectează Deploy. Când implementarea se finalizează, aterizezi pe Foundry Playground, unde poți testa interactiv modelul. Verifică dacă statusul de implementare arată Reușit în lista ta de implementare.

Gestionarea modelelor implementate

După implementare, îți gestionezi modelele din secțiunea Build din portalul Microsoft Foundry. Selectează Build în navigare, apoi Models în panoul din stânga pentru a vedea lista implementărilor din resursa ta.

Din lista de implementare, selectați un model specific pentru a vedea detaliile acestuia:

• Configurația și starea implementării
• URL de endpoint pentru access la API
• Chei sau jetoane de autentificare
• Monitorizare și metrici de utilizare
• Opțiunea de a ajusta setările de implementare sau de a șterge implementarea

Pagina de detalii de implementare oferă informațiile de care aplicațiile tale au nevoie pentru a se conecta și a folosi modelul.

Test în terenul de joacă

Portalul Microsoft Foundry include locuri de joacă interactive unde testezi modelele implementate imediat, fără a scrie cod. După finalizarea desfășurării, aterizezi automat în terenul de joacă sau poți selecta o implementare din lista de modele pentru a deschide locul de joacă.

Playground-ul îți preselectează implementarea, astfel încât să poți începe testarea imediat. În interfața de chat:

Introduceți prompturi în caseta de mesaj și observați răspunsurile. Playground-ul afișează atât inputul tău, cât și outputul generat de model, ajutându-te să înțelegi comportamentul și calitatea.

Experimentează diferite tipuri de prompturi pentru a testa diverse capabilități:

• Întrebări simple pentru a verifica înțelegerea de bază
• Probleme complexe de raționament în mai mulți pași
• Cereri pentru formate sau stiluri specifice
• Cazuri limită care ar putea dezvălui limitări

Ajustează mesajele sistemului pentru a ghida comportamentul modelului. Mesajele sistemului stabilesc contextul, tonul și instrucțiunile care se aplică tuturor inputurilor utilizatorului. De exemplu, ai putea instrui modelul să "răspundă ca reprezentant customer service" sau să "ofere explicații concise, tehnice".

Modifică parametri precum temperatura (creativitate vs. consistență), tokenurile maxime (limitele lungimii răspunsului) și top-p (eșantionarea nucleului) pentru a ajusta fin comportamentul de generare.

Selectează fila Cod pentru a vedea exemple de cum să apelezi modelul tău implementat programatic. Mostrele de cod arată autentificarea, configurarea endpoint-urilor și formatarea cererilor în limbaje precum Python, C# și JavaScript. Poți copia aceste mostre direct în aplicația ta.

Playground-ul servește ca mediu de dezvoltare pentru inginerie promptă și testare înainte de integrarea modelului în aplicație.

Access modelează programatic

Când ești gata să integrezi modelul în aplicația ta, ai nevoie de trei informații cheie din detaliile de implementare:

URL endpoint: Endpoint-ul API unde aplicația ta trimite cereri. Microsoft Foundry suportă endpoint-uri de proiect pentru funcționalități specifice Foundry și endpoint-uri OpenAI v1 pentru compatibilitate largă cu API-urile modelelor OpenAI.

Cheia de autentificare: Cheia secretă sau tokenul pe care aplicația ta o prezintă pentru a autentifica cererile. Alternativ, poți folosi autentificarea Microsoft Entra ID și aplicația ta să prezinte un token de autentificare bazat pe identitatea sa. Autentificarea Entra ID este recomandată pentru scenariile de producție.

Numele implementării: Numele specificat în timpul implementării, folosit în parametrul model cererilor API pentru a ruta către implementarea ta specifică.

Aplicația ta folosește aceste detalii pentru a construi cererile API. Portalul Microsoft Foundry oferă SDK-uri și documentație API REST pentru diverse limbaje de programare, împreună cu exemple de cod care arată formatarea cererii, autentificarea și gestionarea răspunsurilor.

Cu modelul tău implementat și testat, ești pregătit să-l integrezi în aplicații sau să treci la o evaluare mai cuprinzătoare folosind metrici automate și seturi de date de testare.