Evaluer modellens ydeevne

Evaluering af din implementerede model sikrer, at den opfylder kvalitetsstandarder, giver præcise svar og løbende forbedres over tid. Microsoft Foundry-portalen tilbyder flere tilgange til evaluering, fra manuel test til automatiserede målinger og omfattende evalueringsflows.

Hvorfor evaluere modeller

Evaluering tjener flere kritiske formål i udviklingen af generativ AI-applikationer:

Kvalitetssikring identificerer problemer og sikrer, at din model leverer præcise og relevante svar. At opdage problemer under evaluering i stedet for produktion beskytter dine brugere og din organisations omdømme.

Brugertilfredsheden forbedres, når modeller konsekvent leverer hjælpsomme og passende svar. Evaluering hjælper dig med at forstå, hvordan brugerne oplever din applikation, og hvor forbedringerne har størst effekt.

Løbende forbedring opstår ved at analysere evalueringsresultater for at identificere forbedringsmuligheder. Regelmæssig evaluering, når du opdaterer prompts, tilføjer funktioner eller omtræner modeller, sikrer løbende kvalitet.

Overholdelse og sikkerhedsverifikation bekræfter, at din model overholder politikker, undgår at generere skadeligt indhold og respekterer brugernes privatliv og krav til databeskyttelse.

Manuelle evalueringsmetoder

Manuel evaluering indebærer, at menneskelige bedømmere vurderer modellens svar. Selvom det er tidskrævende, giver manuel evaluering indsigter, som automatiserede målinger ikke kan fange.

Interaktiv testning på legepladsen lader dig udforske modeladfærd kvalitativt. Du indtaster forskellige prompts, observerer svar og noterer ting som forkert information, upassende tone eller manglende overholdelse af instruktioner. Denne eksplorative testning hjælper dig med at forstå en models styrker og begrænsninger.

For at hjælpe med at optimere dit applikationsdesign kan du teste modeller side om side i legepladsen og synkronisere systeminstruktioner og prompts for at sammenligne deres svar.

Struktureret gennemgang indebærer at oprette et sæt testcases, der repræsenterer din applikations anvendelsestilfælde. Menneskelige evaluatorer vurderer svar ud fra kriterier som:

• Relevans: Adresserer svaret spørgsmålet eller anmodningen?
• Informativitet: Giver det tilstrækkelig detaljering og nyttig information?
• Engagement: Er svaret interessant og passende samtalepræget?
• Nøjagtighed: Er fakta og udsagn korrekte?
• Sikkerhed: Undgår svaret skadeligt, partisk eller upassende indhold?

Evaluatorer bruger typisk vurderingsskalaer (såsom 1-5) for hvert kriterium. Aggregerede vurderinger på tværs af flere testcases giver kvantitative mål for den samlede kvalitet.

Brugerstudier indsamler feedback fra faktiske eller repræsentative brugere, der interagerer med din applikation. Brugerfeedback afslører virkelige problemer, du måske overser i kontrolleret testning, såsom forvirrende formuleringer, manglende kontekst eller uopfyldte forventninger.

Manuel evaluering supplerer automatiserede tilgange ved at indfange subjektive kvalitetsaspekter som brugertilfredshed, kontekstuel relevans og brandtilpasning, som målinger alene ikke kan måle.

Automatiserede evalueringsmålinger

Automatiseret evaluering bruger standardmålinger til automatisk at vurdere din models output. Disse evalueringer skalerer effektivt og giver konsistente, objektive målinger.

Microsoft Foundry-portalen understøtter flere kategorier af evalueringsmålinger, herunder:

Genereringskvalitetsmålinger vurderer den samlede responskvalitet:

• Jordbundethed: Afgør, om svarene er baseret på given kontekst frem for spekulation. Groundedness Pro tilbyder binær vurdering (jordet eller ej), som er nyttig for krav til faktuel nøjagtighed.
• Relevans: Måler, om svarene adresserer brugerens spørgsmål eller anmodning passende.
• Sammenhæng: Vurderer, om svarene flyder logisk og opretholder konsistente idéer.
• Flydende lyd: Vurderer sproglig korrekthed og naturlig sprogkvalitet.

Risiko- og sikkerhedsmålinger identificerer potentielt skadeligt indhold:

• Indhold om selvskade: Opdager svar, der diskuterer eller opmuntrer til selvskade
• Hadefuldt og uretfærdigt indhold: Identificerer bias, diskrimination eller hadefulde udtalelser
• Voldeligt indhold: Markerer svar, der indeholder eller fremmer vold
• Seksuelt indhold: Opdager upassende seksuelt indhold
• Beskyttet materiale: Identificerer potentiel ophavsretlig eller proprietær indholdsreproduktion
• Indirekte angreb (jailbreak): Vurderer sårbarhed over for manipulationsforsøg

For indholdsskade-målinger aggregeres resultaterne som fejlrate—procentdelen af svar, der overstiger en alvorlighedsgrænse (typisk medium). For beskyttet materiale og indirekte angreb beregnes defektraten som (true instances / total instances) × 100.

Når man bruger AI-assisteret evaluering, specificerer man en GPT-model til at udføre vurderingen. Denne evaluatormodel analyserer din implementerede models svar og tildeler scorer baseret på de valgte kriterier.

Målepunkter for behandling af naturligt sprog

NLP-metrikker giver matematisk baseret evaluering uden at kræve en evaluatormodel. Disse målinger kræver ofte sandhedsdata – forventede eller korrekte svar til sammenligning.

F1-score måler forholdet mellem delte ord mellem genererede og grundbaserede sandhedssvar, hvor præcision (undgåelse af forkerte ord) og genkaldelse (inklusive vigtige ord) balanceres. F1-score er værdifuld til opgaver som tekstklassificering og informationssøgning.

BLEU (Bilingual Evaluation Understudy) sammenligner n-grammer (ordsekvenser) mellem genererede og referencetekster, som ofte bruges til evaluering af maskinoversættelse.

METEOR (Metric for Evaluation of Translation with Explicit Ordering) udvider BLEU ved at tage højde for synonymer, stemming og omskrivning, hvilket giver mere fleksibel sammenligning.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) lægger vægt på genkaldelse frem for præcision, hvilket gør det særligt nyttigt til opsummeringsopgaver, hvor det at dække nøglepunkter er vigtigere end at undgå ekstra ord.

GLEU (Google-BLEU) er en variant af BLEU designet til evaluering på sætningsniveau.

NLP-målinger fungerer godt, når du har definitive korrekte svar eller referencetekster. De er mindre egnede til åben generering, hvor mange gyldige svar findes.

Lav omfattende evalueringer

Microsoft Foundry-portalens evalueringsfunktion lader dig køre systematiske evalueringer ved hjælp af testdatasæt og flere målinger samtidig.

Du kan basere din vurdering på en af følgende:

• Model: Evaluer en deployeret model med prompts, du specificerer. Systemet genererer output under evalueringen.
• Agent: Evaluer en agents svar med brugerdefinerede prompts.
• Datasæt: Evaluer forudgenererede output, der allerede findes i dit testdatasæt.

Når du evaluerer en model eller agent, har du brug for et datasæt til at give input til vurdering. Du har tre muligheder:

• Upload nyt datasæt: Giv en CSV- eller JSONL-fil med testcases fra din lokale storage.
• Brug eksisterende datasæt: Vælg blandt datasæt, du tidligere har uploadet til dit project.
• Generer syntetisk datasæt: Hvis du mangler testdata, kan systemet generere prøvedata baseret på en emnebeskrivelse, du giver. Du angiver ressourcen til at generere data, antallet af rækker og en prompt, der beskriver de ønskede data. Du kan også uploade filer for at forbedre relevansen til din specifikke opgave.

For evaluering af datasæt, hvor output er forudgenererede, skal du vælge eller uploade dit datasæt, der indeholder både input og modelgenererede svar.

Efter at have konfigureret de metrikker, du vil beregne, feltmappingerne for evalueringsdataene og systemprompten for modellen; Du kan starte evalueringsopgaven – som kan tage noget tid at køre asynkront, hvor hver række i dit testdatasæt behandles mod de valgte metrikker.

Gennemgangsevalueringsresultater

Når evalueringen er afsluttet, viser resultaterne aggregerede scorer for de valgte målinger og detaljer om hver testprompt.

Udforsk evaluatorbiblioteket

Evaluator-biblioteket giver et centralt sted til at se og administrere alle tilgængelige evaluatorer. Access det fra din project's Evaluering side ved at vælge fanen Evaluator library.

I evaluatorbiblioteket kan du:

• Se Microsoft-kuraterede evaluatorer for kvalitet, sikkerhed og ydeevne
• Undersøg vurderingsdetaljer, herunder navn, beskrivelse, parametre og tilhørende filer
• Gennemgå annotationsprompts for kvalitetsevaluatorer for at forstå, hvordan målinger beregnes
• Tjek definitioner og alvorlighedsgrader for sikkerhedsevaluatorer
• Administrer brugerdefinerede evaluatorer, du har oprettet til specifikke scenarier

Biblioteket understøtter versionsstyring, så du kan sammenligne forskellige versioner, gendanne tidligere versioner om nødvendigt og samarbejde med andre om brugerdefinerede evaluatorer.

Iterer baseret på evaluering

Evalueringsresultaterne informerer dine næste skridt:

Når scorerne er lavere end krævet, overvej:

• Prompt-engineering: Forfining af instruktioner og systemmeddelelser
• Forskellige modeller: Prøv modeller, der er optimeret til dit brugsscenarie
• RAG-integration: Tilføjelse af hentningsmuligheder til jordbaserede svar i dine data
• Finjustering: Træn modellen på dit specifikke domæne (hvis understøttet)

Hvert af disse trin kan blive mere komplekst (og nogle gange omkostningstungt), så tag det i betragtning, når du planlægger forbedringer.

Når sikkerhedsmålinger viser bekymringer:

• Indholdsfiltre: Implementering af Azure AI Content Safety tjenester
• Prompt-hærdning: Tilføjelse af sikkerhedsinstruktioner til systemmeddelelser
• Outputvalidering: Kontrol af svar før visning til brugere

Regelmæssig evaluering, efterhånden som du foretager ændringer, følger forbedringer og sikrer, at kvaliteten ikke går tilbage. Etabler evalueringsbenchmarks tidligt i udviklingen, og gentag derefter evalueringerne efter ændringer for objektivt at måle effekten.

Ved at kombinere manuel testning, automatiserede målinger og omfattende evalueringsprocesser opbygger du tillid til, at din model præsterer godt, sikkert betjener brugerne og opfylder din applikations kvalitetskrav.