Wprowadzenie

  • 3 min

Twój zespół wdraża agenta sztucznej inteligencji, który obsługuje zapytania klientów i początkowo działa dobrze. Jednak w miarę wzrostu kosztów i podkreślenia przez opinię klientów problemów z jakością odpowiedzi, napotykasz istotne wyzwanie: jak systematycznie ulepszać agenta bez zgadywania, które zmiany przyniosą korzyści?

Próby optymalizacji losowej tracą czas i zasoby. Możesz przełączać modele mające nadzieję na lepszą wydajność, ale bez mierzenia wpływu nie można określić, czy jakość uległa poprawie, obniżyła koszty, czy czasy odpowiedzi zmieniły się znacząco. Różni członkowie zespołu oceniają różne odpowiedzi agentów, co uniemożliwia obiektywnie porównywanie eksperymentów.

Efektywna optymalizacja agenta wymaga oceny ustrukturyzowanej: jasne metryki, które ujawniają charakterystykę jakości, kosztów i wydajności; kontrolowane eksperymenty, które testowały jedną zmianę jednocześnie; i spójne metody oceniania, które eliminują stronniczość człowieka. Bez tego systematycznego podejścia optymalizacja staje się zgadywaniem, a nie inżynierią opartą na dowodach.

Adventure Works, firma przygodowa na świeżym powietrzu, obsługuje agenta Trail Guide, który pomaga klientom planować wycieczki turystyczne z zaleceniami szlakowymi, rezerwacjami zakwaterowania i sugestiami dotyczącymi sprzętu. Zespół chce obniżyć koszty operacyjne, przełączając się z GPT-4 do GPT-4 mini, ale muszą sprawdzić, czy jakość nie spada poniżej poziomu docelowego zadowolenia klientów 4.2/5.0 i czasów odpowiedzi pozostają poniżej 30 sekund. Potrzebują ustrukturyzowanego podejścia do obiektywnego przetestowania tej zmiany.

Cele nauczania

Z tego modułu dowiesz się, jak wykonywać następujące czynności:

  • Eksperymenty oceny projektu z przejrzystymi metrykami dotyczącymi jakości, kosztów i wydajności
  • Stosowanie przepływów pracy opartych na usłudze Git w celu systematycznego organizowania i porównywania wariantów agentów
  • Tworzenie rubryk oceny, które zapewniają spójne ocenianie wśród ewaluatorów ludzkich

Zacznijmy od odkrycia, jak projektować eksperymenty ewaluacyjne, które obiektywnie mierzą wydajność agenta.