Evaluarea performanței modelului

Evaluarea modelului tău implementat asigură că acesta respectă standardele de calitate, oferă răspunsuri precise și se îmbunătățește continuu în timp. Portalul Microsoft Foundry oferă multiple abordări de evaluare, de la testare manuală la metrici automate și fluxuri cuprinzătoare de evaluare.

De ce să evaluezi modelele

Evaluarea servește mai multe scopuri critice în dezvoltarea aplicațiilor AI generative:

Asigurarea calității identifică problemele și asigură că modelul tău oferă răspunsuri precise și relevante. Descoperirea problemelor în timpul evaluării, nu în timpul producției, protejează utilizatorii dumneavoastră și reputația organizației dumneavoastră.

Satisfacția utilizatorilor crește atunci când modelele oferă constant răspunsuri utile și adecvate. Evaluarea te ajută să înțelegi cum experimentează utilizatorii aplicația ta și unde îmbunătățirile au cel mai mare impact.

Îmbunătățirea continuă vine din analiza rezultatelor evaluărilor pentru a identifica oportunități de îmbunătățire. Evaluarea regulată pe măsură ce actualizezi prompturi, adaugi funcționalități sau re-antrenezi modele asigură o calitate continuă.

Verificarea conformității și siguranței confirmă că modelul dumneavoastră respectă politicile, evită generarea de conținut dăunător și respectă cerințele de confidențialitate a utilizatorilor și protecția datelor.

Abordări manuale de evaluare

Evaluarea manuală implică recenzori umani care evaluează răspunsurile modelului. Deși este consumatoare de timp, evaluarea manuală oferă perspective pe care metricile automate nu le pot surprinde.

Testarea interactivă în terenul de joacă îți permite să explorezi comportamentul modelului calitativ. Introduci diverse prompturi, observi răspunsurile și observi probleme precum informații incorecte, tonuri nepotrivite sau nerespectarea instrucțiunilor. Această testare exploratorie te ajută să înțelegi punctele forte și limitările unui model.

Pentru a optimiza designul aplicației, poți testa modelele unul lângă altul în playground, sincronizând instrucțiunile sistemului și prompturile pentru a compara răspunsurile lor.

Revizuirea structurată implică crearea unui set de cazuri de testare care să reprezinte cazurile de utilizare ale aplicației tale. Evaluatorii umani evaluează răspunsurile pe baza unor criterii precum:

• Relevanță: Răspunsul răspunde întrebării sau cererii?
• Informare: Oferă suficient detaliu și informații utile?
• Implicare: Este răspunsul interesant și potrivit de conversațional?
• Acuratețe: Sunt faptele și afirmațiile corecte?
• Siguranță: Răspunsul evită conținutul dăunător, părtinitor sau inadecvat?

Evaluatorii folosesc de obicei scale de evaluare (cum ar fi 1-5) pentru fiecare criteriu. Evaluările agregate din mai multe cazuri de testare oferă măsuri cantitative ale calității generale.

Studiile de utilizator colectează feedback de la utilizatori reali sau reprezentativi care interacționează cu aplicația ta. Feedback-ul utilizatorilor dezvăluie probleme reale pe care le-ai putea rata în testarea controlată, cum ar fi formulări confuze, lipsă de context sau așteptări neîndeplinite.

Evaluarea manuală completează abordările automatizate prin surprinderea aspectelor subiective de calitate precum satisfacția utilizatorului, adecvarea contextuală și alinierea brandului, pe care metricile singure nu le pot măsura.

Metrici automate de evaluare

Evaluarea automată folosește metrici standard pentru a evalua automat rezultatele modelului dumneavoastră. Aceste evaluări scalează eficient și oferă măsurători consistente și obiective.

Portalul Microsoft Foundry suportă mai multe categorii de metrici de evaluare, inclusiv:

Metricii calității generării evaluează calitatea generală a răspunsului:

• Ancorare: Determină dacă răspunsurile se bazează pe contextul oferit și nu pe speculații. Groundedness Pro oferă evaluare binară (împământată sau nu) utilă pentru cerințele de acuratețe factuală.
• Relevanță: Măsoară dacă răspunsurile răspund în mod corespunzător la întrebarea sau cererea utilizatorului.
• Coerență: Evaluează dacă răspunsurile curg logic și mențin idei consistente.
• Fluență: Evaluează corectitudinea lingvistică și calitatea limbajului natural.

Indicatorii de risc și siguranță identifică conținutul potențial dăunător:

• Conținut despre auto-vătămare: Detectează răspunsuri care discută sau încurajează auto-vătămarea
• Conținut urât și nedrept: Identifică părtinirea, discriminarea sau afirmațiile pline de ură
• Conținut violent: Semnalează răspunsurile care conțin sau promovează violența
• Conținut sexual: Detectează conținut sexual nepotrivit
• Material protejat: Identifică potențiale reproduceri ale drepturilor de autor sau conținut proprietar
• Atac indirect (jailbreak): Evaluează vulnerabilitatea la încercări de manipulare

Pentru metricile de vătămare a conținutului, rezultatele se agregă ca rată de defecte — procentul de răspunsuri care depășesc un prag de severitate (de obicei Mediu). Pentru material protejat și atac indirect, rata de defecte se calculează ca (true instances / total instances) × 100.

Când folosești evaluarea asistată de AI, specifici un model GPT pentru a efectua evaluarea. Acest model evaluator analizează răspunsurile modelului tău implementat și atribuie scoruri pe baza criteriilor selectate.

Măsurători de procesare a limbajului natural

Metricile NLP oferă o evaluare bazată pe matematică fără a necesita un model evaluator. Aceste metrici necesită adesea date de adevăr la bază — răspunsuri așteptate sau corecte pentru comparație.

Scorul F1 măsoară raportul cuvintelor comune între răspunsurile generate și cele de adevăr de bază, echilibrând precizia (evitarea cuvintelor greșite) și reamintirea (inclusiv cuvintele importante). Scorul F1 este valoros pentru sarcini precum clasificarea textului și recuperarea informațiilor.

BLEU (Bilingual Evaluation Understudy) compară n-gramele (secvențe de cuvinte) între texte generate și texte de referință, folosite frecvent pentru evaluarea traducerii automate.

METEOR (Metric for Evaluation of Translation with Explicit Ordering) extinde BLEU prin includerea sinonimelor, stemming și parafrazarea, oferind o comparație mai flexibilă.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) pune accent pe reamintire în detrimentul preciziei, făcându-l deosebit de util pentru sarcini de rezumat, unde acoperirea punctelor cheie contează mai mult decât evitarea cuvintelor suplimentare.

GLEU (Google-BLEU) este o variantă a BLEU concepută pentru evaluarea la nivel de propoziție.

Metricile NLP funcționează bine când ai răspunsuri corecte definitive sau texte de referință. Sunt mai puțin potrivite pentru generații deschise, unde există multe răspunsuri valide.

Creează evaluări cuprinzătoare

Funcția Evaluation a portalului Microsoft Foundry îți permite să rulezi evaluări sistematice folosind seturi de date de test și multiple metrici simultan.

Vă puteți baza evaluarea pe unul dintre următoarele:

• Model: Evaluează un model implementat cu prompturile specificate de tine. Sistemul generează ieșiri în timpul evaluării.
• Agent: Evaluează răspunsurile unui agent cu prompturi definite de utilizator.
• Set de date: Evaluează rezultatele pre-generate deja prezente în setul tău de date de test.

Când evaluezi un model sau agent, ai nevoie de un set de date care să ofere intrări pentru evaluare. Aveți trei opțiuni:

• Încarcă un nou set de date: Furnizează un fișier CSV sau JSONL care conține cazuri de testare din storage local.
• Folosește setul de date existent: Selectează dintre seturile de date pe care le-ai încărcat anterior în project.
• Generează un set de date sintetic: Dacă nu ai date de testare, sistemul poate genera date eșantion pe baza unei descrieri de subiect pe care le furnizezi. Specifici resursa pentru generarea datelor, numărul de rânduri și un prompt care descrie datele dorite. De asemenea, poți încărca fișiere pentru a le îmbunătăți relevanța pentru sarcina ta specifică.

Pentru evaluarea seturilor de date în care rezultatele sunt pre-generate, selectați sau încărcați setul de date care conține atât intrări, cât și răspunsuri generate de model.

După configurarea metricilor pe care vrei să le calculezi, mapările câmpurilor pentru datele de evaluare și promptul sistemului pentru model; Poți începe jobul de evaluare – care poate dura ceva timp să ruleze asincron, procesând fiecare rând din setul tău de date de test în raport cu metricile selectate.

Revizuirea rezultatelor evaluării

Când evaluarea se finalizează, rezultatele arată scorurile agregate pentru metricile selectate și detalii ale fiecărui prompt de test.

Explorează biblioteca evaluatorilor

Biblioteca Evaluatorilor oferă o locație centralizată pentru a vizualiza și gestiona toți evaluatorii disponibili. Access-o de pe pagina Evaluation a project selectând fila Evaluator library.

În biblioteca evaluatorului, poți:

• Vizualizați evaluatori selectați de Microsoft pentru calitate, siguranță și performanță
• Examinați detaliile evaluatorilor, inclusiv numele, descrierea, parametrii și fișierele asociate
• Revizuiește prompturile de adnotare pentru evaluatorii de calitate, pentru a înțelege cum sunt calculate metricile
• Verificați definițiile și nivelurile de severitate pentru evaluatorii de siguranță
• Gestionează evaluatorii personalizați pe care i-ai creat pentru scenarii specifice

Biblioteca suportă gestionarea versiunilor, permițându-vă să comparați diferite versiuni, să restaurați versiunile anterioare dacă este necesar și să colaborați cu alții la evaluatori personalizați.

Iterează pe baza evaluării

Rezultatele evaluării îți ghidează pașii următori:

Când scorurile sunt mai mici decât cele necesare, luați în considerare:

• Ingineria prompturilor: Rafinarea instrucțiunilor și mesajelor sistemului
• Modele diferite: Încercarea modelelor optimizate pentru cazul tău de utilizare
• Integrare RAG: Adăugarea capabilităților de recuperare la răspunsurile de la sol în datele tale
• Fine-tuning: Antrenarea modelului pe domeniul tău specific (dacă este suportat)

Fiecare dintre acești pași poate crește în complexitate (și uneori costuri), așa că ține cont de asta atunci când planifici îmbunătățiri.

Când indicatorii de siguranță arată îngrijorări:

• Filtre de conținut: Implementarea serviciilor Azure AI Content Safety
• Întărire promptă: Adăugarea instrucțiunilor de siguranță în mesajele sistemului
• Validarea rezultatului: Verificarea răspunsurilor înainte de afișare utilizatorilor

Evaluarea regulată pe măsură ce faci modificări urmărește îmbunătățirile și asigură că calitatea nu regresează. Stabiliți repere de evaluare încă de la începutul dezvoltării, apoi reluați evaluările după modificări pentru a măsura impactul obiectiv.

Combinând testarea manuală, metricile automate și fluxurile de evaluare cuprinzătoare, construiești încrederea că modelul tău funcționează bine, deservește utilizatorii în siguranță și îndeplinește cerințele de calitate ale aplicației tale.