Eksperymenty oceny projektu

Optymalizacja agentów sztucznej inteligencji wymaga więcej niż wprowadzania zmian i nadziei, że działają lepiej. Efektywna optymalizacja zależy od eksperymentów strukturalnych, które porównują warianty agentów obiektywnie, mierząc ulepszenia jakości, wpływ na koszty i charakterystykę wydajności. Weź pod uwagę Adventure Works, firmę zajmującą się przygodami na świeżym powietrzu, zarządzającą Agentem Szlaku, która pomaga klientom planować wyprawy piesze z zaleceniami dotyczącymi szlaków, rezerwacjami zakwaterowania i sugestiami dotyczącymi sprzętu. Zespół chce obniżyć koszty operacyjne, przełączając się z GPT-4 do GPT-4 mini, ale muszą sprawdzić, czy jakość nie spada poniżej poziomu docelowego zadowolenia klientów 4.2/5.0 i czasów odpowiedzi pozostają poniżej 30 sekund. Tutaj dowiesz się, jak projektować eksperymenty ewaluacyjne, definiując metryki, wybierając warianty do testowania i tworząc systematyczne podejścia do testowania.

Metryki oceny mierzą obiektywną jakość (rozpoznawanie intencji, istotność, podstawność), koszt (wykorzystanie tokenów, koszt modelu) i wydajność (czas odpowiedzi, czas do pierwszego tokenu).

Warianty do testowania obejmują wersję punktu odniesienia, odmiany monitów, alternatywy modelu (GPT-4, GPT-4 mini) i zmiany konfiguracji agenta (max_tokens, przesyłanie strumieniowe), aby ujawnić, które zmiany zwiększają wydajność we wszystkich trzech wymiarach.

Podejście do testowania obejmuje monity testowe obejmujące różne przypadki użycia, kryteria sukcesu i progi, metodologię porównania i dokumentację w celu zapewnienia powtarzalności w celu zapewnienia niezawodnych wyników i współpracy zespołowej.

Definiowanie metryk oceny

Każdy eksperyment wymaga obiektywnych miar, które ujawniają, czy zmiany zwiększają wydajność agenta, czy obniżają ich wydajność. Bez jasnych metryk nie można odróżnić rzeczywistych ulepszeń i subiektywnych preferencji.

Metryki jakości mierzą, jak dobrze agent spełnia potrzeby użytkowników. Platforma Microsoft Foundry udostępnia wbudowane ewaluatory zorganizowane w kategorie przeznaczone dla różnych scenariuszy oceny:

• Ewaluatory ogólnego przeznaczenia (spójność, płynność): umożliwia ocenę przepływu logicznego, spójności i jakości języka naturalnego we wszystkich aplikacjach.

• Ewaluatory podobieństw tekstowych (Podobieństwo, F1 Score, BLEU, GLEU, ROUGE, METEOR): Należy używać podczas porównywania generowanych odpowiedzi z oczekiwanymi lub odpowiedziami wzorcowymi, szczególnie w zadaniach tłumaczenia lub testów porównawczych.

• Ewaluatorzy agentów (zgodność zadań, wykonywanie zadań, rozpoznawanie intencji, dokładność wywołań narzędzi, wybór narzędzia, dokładność danych wejściowych narzędzi): stosuje się do aplikacji agentów wykonujących wieloetapowe przepływy pracy, dokonujących wywołań narzędzi lub walidujących poprawność wykonania zadań.

• Oceny RAG (odszukiwanie, wyszukiwanie dokumentów, osadzenie, osadzenie rozszerzone): Używaj, gdy agent pobiera informacje z baz wiedzy lub dokumentów, a Ty musisz zweryfikować, czy odpowiedzi są oparte na autorytatywnych źródłach.

• Ewaluatorzy ryzyka i bezpieczeństwa (nienawiść i niesprawiedliwość, seksualna, przemoc, samookaleczenia, materiały chronione, bezpieczeństwo zawartości): użyj dla wszystkich aplikacji przeznaczonych dla klientów, aby zapewnić odpowiedzialne praktyki sztucznej inteligencji i utrzymać zaufanie użytkowników.

• Klasyfikatory usługi Azure OpenAI (Model Labeler, String Checker, Text Similarity, Model Scorer): Użyj niestandardowej logiki oceniania i elastycznych wzorców walidacji, gdy wbudowane ewaluatory nie spełniają określonych kryteriów.

• Niestandardowe oceny: utwórz własną logikę oceny dla wymogów specyficznych dla firmy, takich jak zgodność z tonem marki, zgodność z przepisami lub specyficzne dla dziedziny miary dokładności.

Metryki kosztów kwantyfikują koszty operacyjne uruchamiania agenta. Użycie tokenu mierzy liczbę tokenów wejściowych i wyjściowych, które przetwarza model dla każdego żądania. Ceny modelu konwertują liczby tokenów na rzeczywiste koszty na podstawie struktury stawek modelu. W przypadku GPT-4 możesz zapłacić 30 tokenów za milion, podczas gdy mini GPT-4 kosztuje 7,50 na milion tokenów. Za pomocą tych metryk można obliczyć, że przetwarzanie 800 tokenów przy użyciu GPT-4 kosztuje około 0,024 na żądanie, podczas gdy to samo żądanie z GPT-4 mini kosztuje 0,006, co stanowi redukcję o 75%. Na skalę, w jakiej firma Adventure Works obsługuje tysiące zapytań klientów każdego dnia, ta różnica ma znaczący wpływ na ich cele efektywności operacyjnej. Bieżące szczegóły cennika dla wszystkich modeli są dostępne w cenniku usługi Microsoft Foundry.

Metryki wydajności mierzą szybkość odpowiedzi i środowisko użytkownika. Czas odpowiedzi od początku do końca mierzy, jak długo klienci oczekują na pełne odpowiedzi — co jest kluczowe dla interakcji w czasie rzeczywistym, gdzie firma Adventure Works zakłada średni czas odpowiedzi wynoszący 30 sekund. W przypadku aplikacji korzystających z przesyłania strumieniowego, miara czasu do pierwszego tokenu określa postrzeganą szybkość reakcji: jak szybko użytkownicy zauważają, że agent zaczyna generować odpowiedź. Krótszy czas do pierwszego tokenu zapewnia lepsze doświadczenie użytkownika nawet wtedy, gdy łączny czas odpowiedzi pozostaje taki sam. Wybór modelu znacząco wpływa na te metryki — mini GPT-4 zwykle reaguje szybciej niż GPT-4, a długość monitu i rozmiar generowania (kontrolowany przez max_tokens) bezpośrednio wpływają na czas odpowiedzi.

Wybieranie wariantów do przetestowania

Eksperymenty optymalizacji porównują wersję punktu odniesienia z co najmniej jednym wariantem, aby określić, która konfiguracja działa najlepiej. Punkt odniesienia reprezentuje bieżącego agenta produkcyjnego lub punkt początkowy, podczas gdy warianty wprowadzają konkretne zmiany, które chcesz ocenić.

Warianty poleceń modyfikują instrukcje systemowe, które kierują zachowaniem agenta. Możesz przetestować zwięzły monit pod kątem szczegółowego monitu lub porównać różne podejścia do obsługi przypadków brzegowych. Dzięki agentowi Adventure Works Trail Guide jeden wariant może podkreślić rekomendacje dotyczące sprzedaży sprzętu, podczas gdy inny równoważy sugestie dotyczące sprzętu z rozważaniami dotyczącymi bezpieczeństwa. Długość monitu wpływa również na wydajność: krótsze monity zmniejszają opóźnienie, podczas gdy bardziej szczegółowe monity mogą poprawić jakość odpowiedzi. Testowanie obu skrajności ujawnia optymalną równowagę dla twojego przypadku użycia.

Alternatywy modelu porównują różne warstwy modelu, aby zrównoważyć możliwości, koszty i wydajność. GPT-4 oferuje zaawansowane rozumowanie, które wyróżnia się w złożonych scenariuszach planowania podróży, ale kosztuje więcej i reaguje wolniej. GPT-4 mini zapewnia silną wydajność przy niższych kosztach dzięki krótszym czasom odpowiedzi, co czyni go idealnym rozwiązaniem dla aplikacji wrażliwych na opóźnienia i dużą przepustowość. Testowanie obu pokazuje, czy prostszy model utrzymuje akceptowalną jakość dla celu firmy Adventure Works wynoszącego 85% rozwiązywania zapytań bez eskalacji ludzkiej, jednocześnie spełniając ich 30-sekundowy średni czas odpowiedzi.

Zmiany konfiguracji agenta dostosowują parametry techniczne wpływające na jakość, koszt i środowisko użytkownika:

• max_tokens parametr: Ogranicza długość generowania — niższe wartości zmniejszają zarówno koszty, jak i opóźnienia, ale mogą obcinać przydatne informacje.
• Przesyłanie strumieniowe (stream: true): nie zmienia całkowitego czasu odpowiedzi, ale poprawia postrzegany czas odpowiedzi, pokazując generowane tokeny, tworząc lepsze doświadczenie użytkownika dla interfejsów konwersacyjnych.
• Ustawienia temperatury: Niższe temperatury generują bardziej przewidywalne i spójne odpowiedzi, podczas gdy wyższe temperatury umożliwiają bardziej kreatywne zmiany.
• Strategie pobierania: Dostosowane konfiguracje pobierania mogą zawierać bardziej istotne informacje na podstawie kontekstu, zbliżenia lub innych kryteriów.

Optymalizacja agenta obejmuje równoważenie trzech konkurencyjnych priorytetów: jakość (jak dobrze odpowiedzi obsługują potrzeby użytkowników), koszt (koszty operacyjne na dużą skalę) i wydajność (szybkość odpowiedzi i środowisko użytkownika). Wariant, który zmniejsza koszty o 75%, nie pomaga, jeśli obniża jakość poniżej akceptowalnych progów lub wprowadza niedopuszczalne opóźnienie dla interakcji klientów w czasie rzeczywistym. Eksperymenty muszą mierzyć wszystkie trzy wymiary, aby podejmować świadome decyzje dotyczące kompromisu.

Kluczową zasadą jest kontrolowane porównanie. Podczas testowania wielu zmian jednocześnie nie można określić, która zmiana spowodowała zaobserwowane różnice. Testowanie nowego monitu przy użyciu nowego modelu powoduje niejednoznaczność: czy zadowolenie klientów poprawiło się z powodu monitu, modelu lub interakcji? Zmień jedną zmienną naraz, aby odizolować wpływ każdej modyfikacji. Po zweryfikowaniu poszczególnych zmian można przetestować kombinacje udanych wariantów.

Projektowanie podejścia do testowania

Systematyczne podejście do testowania przekształca niejasne cele poprawy w wiarygodne wyniki eksperymentalne za pomocą starannego projektowania monitów testowych, jasnego kryterium sukcesu i udokumentowanej metodologii.

Reprezentatywne przykłady testowe obejmują spektrum rzeczywistego użycia. Jeśli chodzi o agenta Przewodnika po szlaku firmy Adventure Works, pytania testowe obejmują zapytania z różnych segmentów klientów poszukujących rekomendacji dotyczących sprzętu.

• Digital koczownicy planują weekendowe wędrówki: "Wędruję w Scottish Highlands w marcu, jakiego wodoodpornego sprzętu potrzebuję z Adventure Works?"
• Rodziny przygotowujące się do swojej pierwszej przygody na świeżym powietrzu: "Bierzemy naszych nastolatków na łatwych szlakach w pobliżu Londynu w przyszłym miesiącu, jaki podstawowy sprzęt powinniśmy kupić lub wynająć?"
• Doświadczeni turyści planujący rozszerzone wycieczki: "Potrzebuję pełnej listy sprzętu do pięciodniowej podróży z plecakiem w umiarkowanym terenie ze zmienną pogodą."

Przypadki brzegowe testują, jak agent radzi sobie z trudnymi sytuacjami.

• Niejednoznaczne prośby: "Co należy spakować do wędrówki?"
• Niekompletne szczegóły podróży: "Potrzebuję sprzętu dla Szkocji."
• W ostatniej chwili zmiany sprzętu: "Czy mogę zamienić mój sprzęt kempingowy na inny rozmiar?"

W tym pięć do 10 różnych promptów testowych zapewnia wystarczające pokrycie do testowania ręcznego i testów dymnych, a jednocześnie pozostaje praktyczne dla oceny przez ludzi. Każdy monit testowy przechwytuje zapytanie użytkownika, oczekiwane wymagania dotyczące informacji i idealne cechy odpowiedzi.

Kryteria sukcesu określają, co stanowi akceptowalną wydajność przed uruchomieniem eksperymentów. Ustawienie progów z wyprzedzeniem zapobiega racjonalizacji rozczarowujących wyników. Firma Adventure Works definiuje progi sukcesu we wszystkich trzech wymiarach optymalizacji:

• Jakość: Średnia 4,2+ (skala pięciopunktowa), minimalna 3,5 na odpowiedź, aby dopasować się do celów zadowolenia klientów i zapobiec erozji zaufania.
• Koszt: 60% redukcji wydatków w celu osiągnięcia celów wydajności operacyjnej przy zachowaniu 85% współczynnika rozwiązywania problemów.
• Wydajność: Średni czas <odpowiedzi 30 sekund, czas do pierwszego tokenu <2 sekundy (przesyłanie strumieniowe) w celu zapewnienia akceptowalnego środowiska użytkownika w przypadku interakcji w czasie rzeczywistym.

Wymagania biznesowe wpływają na te progi: agenci mający kontakt z klientami obsługujący planowanie podróży potrzebują wyższych standardów jakości i krótszych czasów odpowiedzi niż narzędzia wewnętrzne.

Metodologia porównania uruchamia każdy wariant pod kątem tych samych monitów testowych, rejestrowania wyników jakości, użycia tokenu i czasów odpowiedzi. Organizowanie wyników ujawnia wzorce. Na przykład GPT-4 mini może wyróżniać się prostymi zapytaniami, ale zmagać się ze złożonym planowaniem. Udokumentuj projekt eksperymentu, aby zapewnić powtarzalność: monity testowe, kryteria oceniania, konfiguracje wariantów i uzasadnienie.

Po zakończeniu kompleksowego projektowania eksperymentu możesz zaimplementować te eksperymenty przy użyciu przepływów pracy kontroli wersji, które umożliwiają bezpieczne testowanie i współpracę zespołową.