Ocena wydajności modelu

Ocena wdrożonego modelu gwarantuje, że spełnia standardy jakości, zapewnia dokładne odpowiedzi i stale poprawia się w miarę upływu czasu. Portal Microsoft Foundry oferuje wiele podejść do oceny— od testowania ręcznego do zautomatyzowanych metryk i kompleksowych przepływów oceny.

Dlaczego oceniać modele

Ocena służy do kilku krytycznych celów podczas generowania aplikacji sztucznej inteligencji:

Kontrola jakości identyfikuje problemy i zapewnia, że model zapewnia dokładne, odpowiednie odpowiedzi. Odnajdywanie problemów podczas oceny zamiast produkcji chroni użytkowników i reputację organizacji.

Zadowolenie użytkowników poprawia się, gdy modele stale dostarczają przydatne, odpowiednie odpowiedzi. Ocena pomaga zrozumieć, jak użytkownicy korzystają z aplikacji i gdzie ulepszenia mają największy wpływ.

Ciągłe ulepszanie pochodzi z analizowania wyników oceny w celu zidentyfikowania możliwości ulepszenia. Regularna ocena podczas aktualizowania monitów, dodawania funkcji lub ponownego trenowania modeli zapewnia ciągłą jakość.

Weryfikacja zgodności i bezpieczeństwa potwierdza, że model jest zgodny z zasadami, unika generowania szkodliwej zawartości i przestrzega wymagań dotyczących prywatności i ochrony danych użytkowników.

Metody oceny ręcznej

Ręczna ocena obejmuje osoby oceniające, które analizują odpowiedzi generowane przez model. Chociaż czasochłonne, ocena ręczna zapewnia szczegółowe informacje, których zautomatyzowane metryki nie mogą przechwytywać.

Interaktywne testowanie na placu zabaw umożliwia eksplorowanie jakościowego zachowania modelu. Wprowadzasz różne monity, obserwujesz odpowiedzi i zanotujesz problemy, takie jak nieprawidłowe informacje, nieodpowiedni ton lub niezastosowanie się do instrukcji. To testowanie eksploracyjne pomaga zrozumieć mocne i ograniczenia modelu.

Aby ułatwić optymalizację projektu aplikacji, można testować modele obok siebie w środowisku testowym, synchronizując instrukcje systemowe i monity, aby porównać ich odpowiedzi.

Przegląd ustrukturyzowany obejmuje utworzenie zestawu przypadków testowych reprezentujących przypadki użycia aplikacji. Osoby ewaluacyjne oceniają odpowiedzi na podstawie kryteriów, takich jak:

• Istotność: Czy odpowiedź odpowiada na pytanie lub żądanie?
• Informatywność: Czy dostarcza wystarczające szczegóły i przydatne informacje?
• Zaangażowanie: Czy odpowiedź jest interesująca i odpowiednio konwersacyjna?
• Dokładność: Czy fakty i oświadczenia są poprawne?
• Bezpieczeństwo: Czy odpowiedź pozwala uniknąć szkodliwych, stronniczych lub nieodpowiednich treści?

Ewaluatorzy zazwyczaj używają skali klasyfikacji (takich jak 1–5) dla każdego kryterium. Zagregowane oceny w wielu przypadkach testowych zapewniają ilościowe miary ogólnej jakości.

Badania użytkowników zbierają opinie od rzeczywistych lub reprezentatywnych użytkowników korzystających z aplikacji. Opinie użytkowników ujawniają rzeczywiste problemy, które można przegapić w kontrolowanym testowaniu, takie jak mylące frazy, brak kontekstu lub niezaspokojonych oczekiwań.

Ocena ręczna uzupełnia zautomatyzowane podejścia, przechwytując subiektywne aspekty jakości, takie jak zadowolenie użytkowników, kontekstowa odpowiedniość i dopasowanie marki, których sama metryka nie może zmierzyć.

Metryki zautomatyzowanej oceny

Automatyczna ocena używa standardowych metryk do automatycznego oceniania danych wyjściowych modelu. Te oceny są skalowane wydajnie i zapewniają spójne, obiektywne pomiary.

Portal Microsoft Foundry obsługuje kilka kategorii metryk oceny, w tym:

Metryki jakości generowania oceniają ogólną jakość odpowiedzi:

• Osadzenie w kontekście: określa, czy odpowiedzi są oparte na podanym kontekście, a nie na spekulacjach. Groundedness Pro oferuje ocenę binarną (uzasadnioną lub nieuzasadnioną) przydatną dla wymagań dotyczących faktualnej dokładności.
• Istotność: mierzy, czy odpowiedzi odpowiednio odnoszą się do pytania lub żądania użytkownika.
• Spójność: ocenia, czy odpowiedzi przepływają logicznie i utrzymują spójne pomysły.
• Płynność: ocenia poprawność językową i jakość języka naturalnego.

Metryki ryzyka i bezpieczeństwa identyfikują potencjalną szkodliwą zawartość:

• Zawartość dotycząca samookaleczeń: Wykrywa odpowiedzi omawiające lub zachęcające do samookaleczenia
• Nienawistne i niesprawiedliwe treści: zawiera stronniczość, dyskryminację lub nienawistne oświadczenia
• Brutalne treści: flaguje odpowiedzi zawierające lub promujące przemoc
• Zawartość seksualna: Wykrywa nieodpowiednią zawartość seksualną
• Materiał chroniony: identyfikuje potencjalne prawa autorskie lub zastrzeżone odtwarzanie zawartości
• Atak pośredni (jailbreak): ocenia podatność na próby manipulacji.

W przypadku metryk szkody zawartości wyniki są agregowane jako współczynnik wad — wartość procentowa odpowiedzi przekraczająca próg ważności (zazwyczaj średni). W przypadku chronionego materiału i ataku pośredniego współczynnik wad jest obliczany jako (true instances / total instances) × 100.

W przypadku korzystania z oceny wspomaganej przez sztuczną inteligencję należy określić model GPT do przeprowadzenia oceny. Ten model ewaluatora analizuje odpowiedzi wdrożonego modelu i przypisuje wyniki na podstawie wybranych kryteriów.

Metryki przetwarzania języka naturalnego

Metryki NLP zapewniają ocenę matematyczną bez konieczności używania modelu ewaluatora. Te współczynniki często wymagają danych referencyjnych — oczekiwanych lub poprawnych odpowiedzi na potrzeby porównania.

Wynik F1 mierzy stosunek wspólnych słów między odpowiedziami wygenerowanymi a odpowiedziami rzeczywistymi, równoważąc precyzję (unikanie nieprawidłowych słów) i czułość (zawieranie ważnych słów). Ocena F1 jest cenna w przypadku zadań, takich jak klasyfikacja tekstu i pobieranie informacji.

BLEU (Bilingual Evaluation Understudy) porównuje n-gramy (sekwencje słów) między wygenerowanymi a tekstami referencyjnymi, często używanymi do oceny tłumaczenia maszynowego.

Meteor (Metric for Evaluation of Translation with Explicit Ordering) rozszerza BLEU, uwzględniając synonimy, stemming i parafrasing, zapewniając bardziej elastyczne porównanie.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) podkreśla przypominanie nad precyzją, czyniąc go szczególnie przydatnym w przypadku zadań podsumowania, w których pokrycie kluczowych punktów ma większe znaczenie niż unikać zbędnych słów.

GLEU (Google-BLEU) to wariant BLEU przeznaczony do oceny na poziomie zdania.

Metryki NLP działają dobrze, gdy masz ostateczne poprawne odpowiedzi lub teksty referencyjne. Są one mniej odpowiednie do generowania otwartych zakończeń, w których istnieje wiele poprawnych odpowiedzi.

Tworzenie kompleksowych ocen

Funkcja oceny portalu Microsoft Foundry umożliwia uruchamianie systematycznej oceny przy użyciu zestawów danych testowych i wielu metryk jednocześnie.

Ocenę można oprzeć na jednym z następujących elementów:

• Model: Oceń wdrożony model z określonymi monitami. System generuje dane wyjściowe podczas oceny.
• Agent: oceń odpowiedzi agenta za pomocą monitów zdefiniowanych przez użytkownika.
• Zestaw danych: Oceń wstępnie wygenerowane dane wyjściowe już obecne w zestawie danych testowych.

Podczas oceniania modelu lub agenta potrzebny jest zestaw danych do dostarczenia danych wejściowych do oceny. Dostępne są trzy opcje:

• Załaduj nowy zestaw danych: Podaj plik CSV lub JSONL zawierający przypadki testowe z lokalnej pamięci.
• Użyj istniejącego zestawu danych: Wybierz z zestawów danych, które zostały wcześniej przekazane do projektu.
• Generowanie syntetycznego zestawu danych: jeśli brakuje danych testowych, system może wygenerować przykładowe dane na podstawie podanego opisu tematu. Należy określić zasób do generowania danych, liczbę wierszy i monit opisujący żądane dane. Możesz również przesłać pliki, aby zwiększyć relewantność do twojego zadania.

W przypadku oceny zestawu danych, w której dane wyjściowe są wstępnie generowane, wybierz lub przekaż zestaw danych zawierający zarówno dane wejściowe, jak i odpowiedzi wygenerowane przez model.

Po skonfigurowaniu metryk, które chcesz obliczyć, mapowania pól dla danych oceny oraz przygotowaniu monitu systemowego do modelu, możesz uruchomić zadanie oceny — proces ten może zająć trochę czasu, ponieważ działa asynchronicznie, przetwarzając każdy wiersz w zestawie danych testowych zgodnie z wybranymi metrykami.

Przeglądanie wyników oceny

Po zakończeniu oceny wyniki pokazują zagregowane wyniki dla wybranych metryk i szczegóły każdego monitu testu.

Eksplorowanie biblioteki ewaluatorów

Biblioteka ewaluatora udostępnia scentralizowaną lokalizację do wyświetlania wszystkich dostępnych ewaluatorów i zarządzania nimi. Uzyskaj dostęp ze strony Evaluation projektu, wybierając kartę biblioteka oceniająca.

W bibliotece ewaluatorów można wykonywać następujące czynności:

• Wyświetlanie ewaluatorów wyselekcjonowanych przez firmę Microsoft pod kątem jakości, bezpieczeństwa i wydajności
• Sprawdzanie szczegółów ewaluatora, w tym nazwy, opisu, parametrów i skojarzonych plików
• Przejrzyj instrukcje oznaczania dla oceniających jakość, aby dowiedzieć się, jak są obliczane metryki
• Sprawdź definicje i poziomy surowości dla ewaluatorów bezpieczeństwa
• Zarządzanie niestandardowymi ewaluatorami utworzonymi dla określonych scenariuszy

Biblioteka obsługuje zarządzanie wersjami, umożliwiając porównywanie różnych wersji, przywracanie poprzednich wersji w razie potrzeby i współpracę z innymi osobami w ramach niestandardowych ewaluatorów.

Iterowanie na podstawie oceny

Wyniki oceny informują o kolejnych krokach:

Jeśli wyniki są niższe niż wymagane, rozważ następujące kwestie:

• Inżynieria monitu: Udoskonalanie instrukcji i komunikatów systemowych
• Różne modele: wypróbowanie modeli zoptymalizowanych pod kątem przypadku użycia
• Integracja RAG: dodawanie możliwości wyszukiwania w celu umocowania odpowiedzi w danych
• Dostrajanie precyzyjne: trenowanie modelu w określonej domenie (jeśli jest obsługiwane)

Każdy z tych kroków może zwiększać złożoność (a czasami koszt), dlatego należy wziąć pod uwagę podczas planowania ulepszeń.

Gdy metryki bezpieczeństwa pokazują obawy:

• Filtry treści: Implementowanie usług Bezpieczeństwo zawartości platformy Azure AI
• Uodpornienie komunikatów: dodawanie instrukcji dotyczących bezpieczeństwa do komunikatów systemowych
• Weryfikacja danych wyjściowych: Sprawdzanie odpowiedzi przed wyświetleniem użytkownikom

Regularna ocena podczas wprowadzania zmian śledzi ulepszenia i zapewnia, że jakość nie ulega pogorszeniu. Ustanów testy porównawcze na wczesnym etapie opracowywania, a następnie ponownie uruchom oceny po modyfikacjach w celu obiektywnego mierzenia wpływu.

Łącząc testy ręczne, zautomatyzowane metryki i kompleksowe przepływy ewaluacyjne, możesz mieć pewność, że model działa dobrze, bezpiecznie obsługuje użytkowników i spełnia wymagania dotyczące jakości aplikacji.