Introduktion

Dit team implementerer en AI-agent, der håndterer kundehenvendelser, og i starten fungerer den godt. Men efterhånden som omkostningerne stiger, og kundefeedback fremhæver problemer med responskvaliteten, står du over for en kritisk udfordring: hvordan forbedrer du agenten systematisk uden at gætte, hvilke ændringer der vil hjælpe?

Forsøg på tilfældig optimering spilder tid og ressourcer. Du kan skifte model i håb om bedre ydeevne, men uden at måle effekten kan du ikke afgøre, om kvaliteten er blevet bedre, omkostningerne faldet, eller svartiderne ændret sig væsentligt. Forskellige teammedlemmer vurderer de samme agenters svar forskelligt, hvilket gør det umuligt at sammenligne eksperimenter objektivt.

Effektiv agentoptimering kræver struktureret evaluering: klare målepunkter, der afslører kvalitet, omkostninger og præstationskarakteristika; kontrollerede eksperimenter, der tester én ændring ad gangen; og konsistente scoringsmetoder, der eliminerer menneskelig bias. Uden denne systematiske tilgang bliver optimering til gætterium frem for evidensbaseret ingeniørarbejde.

Adventure Works, et udendørs eventyrfirma, driver en Trail Guide Agent, der hjælper kunder med at planlægge vandreture med anbefalinger til stier, bookinger af overnatning og forslag til udstyr. Teamet ønsker at reducere driftsomkostningerne ved at skifte fra GPT-4 til GPT-4 mini, men de skal sikre, at kvaliteten ikke falder under deres 4,2/5,0 kundetilfredshedsmål, og at svartiderne forbliver under 30 sekunder. De har brug for en struktureret tilgang til objektivt at teste denne ændring.

Læringsmål

I dette modul lærer du at:

• Designevalueringseksperimenter med klare målepunkter for kvalitet, omkostninger og ydeevne
• Anvend git-baserede workflows til systematisk at organisere og sammenligne agentvarianter
• Lav evalueringsrubrikker, der sikrer ensartet bedømmelse på tværs af menneskelige evaluatorer

Lad os starte med at finde ud af, hvordan man designer evalueringseksperimenter, der måler agentens præstation objektivt.