Podsumowanie

W tym module poznano kompletny przepływ pracy dotyczący wybierania, wdrażania i oceniania modeli Foundry. Przedstawiono sposób podejmowania świadomych decyzji dotyczących wyboru modelu przy użyciu testów porównawczych, wdrażania modeli w punktach końcowych oraz oceniania ich wydajności przy użyciu różnych metod oceny.

Kluczowe wnioski

Katalog modeli w portalu Microsoft Foundry zapewnia dostęp do ponad 1900 modeli od dostawców, takich jak Microsoft, OpenAI, Meta, Mistral i Hugging Face. Efektywne filtrowanie według kolekcji, możliwości, opcji wdrażania i innych atrybutów ułatwia zawężenie wykazu do modeli spełniających wymagania.

Testy porównawcze modelu oferują porównania celów w wymiarach jakości, bezpieczeństwa, kosztów i wydajności. Metryki jakości, takie jak dokładność, spójność i płynność, oceniają, jak dobrze modele generują odpowiednie odpowiedzi. Metryki bezpieczeństwa identyfikują zagrożenia dotyczące szkodliwej zawartości. Testy porównawcze kosztów pomagają zrównoważyć jakość z ograniczeniami budżetowymi. Metryki wydajności, takie jak opóźnienie i przepływność, wskazują czas odpowiedzi aplikacji w czasie rzeczywistym.

Opcje wdrażania obejmują bezserwerowy interfejs API dla elastyczności płatności za wywołanie, aprowizowane wdrożenia dla spójnych obciążeń o dużej ilości, zarządzane zasoby obliczeniowe na potrzeby hostingu opartego na maszynach wirtualnych i przetwarzanie wsadowe dla nieinterakcyjnych zadań zoptymalizowanych pod kątem kosztów. Każda opcja oferuje różne cechy skalowania, rozliczeń i kontroli.

Testowanie na placu zabaw zapewnia natychmiastowe opinie na temat zachowania modelu bez pisania kodu. Możesz eksperymentować z monitami, dostosowywać parametry i obserwować odpowiedzi, aby zrozumieć możliwości modelu przed integracją z aplikacjami.

Metody oceny wahają się od testowania ręcznego do zautomatyzowanych metryk. Ocena ręczna przechwytuje subiektywne aspekty jakości, takie jak satysfakcja użytkownika i kontekstowa odpowiedniość. Metryki wspomagane przez sztuczną inteligencję automatycznie oceniają jakość generowania i zagrożenia bezpieczeństwa. Metryki NLP, takie jak F1-score i ROUGE, zapewniają porównanie matematyczne względem danych podstawowych prawdy.

Kompleksowe przepływy oceny w portalu Microsoft Foundry umożliwiają uruchamianie systematycznych ocen przy użyciu zestawów danych testowych i wielu metryk. Wyniki identyfikują mocne, słabe strony i obszary wymagające poprawy, prowadząc iteracyjne opracowywanie aplikacji generacyjnych sztucznej inteligencji.

Dalsze kroki

Po wdrożeniu i ocenie modeli należy wziąć pod uwagę następujące następne kroki:

Integrowanie modeli z aplikacjami przy użyciu zestawów SDK, interfejsów API REST i przykładów kodu dostępnych w portalu Microsoft Foundry. Aplikacje mogą teraz korzystać z wdrożonych modeli za pośrednictwem uwierzytelnionych wywołań interfejsu API.

Zaimplementuj Generację Wspomaganą Wyszukiwaniem (RAG) w celu ugruntowania odpowiedzi modelu w danych Twojej organizacji. RAG łączy modele z funkcjami wyszukiwania, aby zapewnić dokładne, kontekstowe odpowiedzi na podstawie dokumentów i baz wiedzy.

Stosowanie usług Bezpieczeństwo zawartości platformy Azure AI w celu dodania dodatkowej warstwy ochrony przed szkodliwą zawartością. Filtry zawartości mogą blokować niewłaściwe dane wejściowe i wyjściowe, uzupełniając funkcje bezpieczeństwa na poziomie modelu.

Dostrój modele (jeśli są obsługiwane) dla określonej domeny lub przypadku użycia, aby zwiększyć wydajność w wyspecjalizowanych scenariuszach. Dostrajanie dopasowuje modele ogólnego przeznaczenia do unikatowych wymagań.

Monitoruj wydajność produkcji za pomocą Azure Monitor i Application Insights, aby śledzić użycie, opóźnienia, koszty i błędy. Ciągłe monitorowanie gwarantuje, że aplikacje pozostaną w dobrej kondycji i będą działać.

Iteruj na podstawie opinii użytkowników , zbierając rzeczywiste dane użycia i przeprowadzając okresowe ponowne oceny. Ciągłe ulepszanie zapewnia, że generowane aplikacje sztucznej inteligencji są zgodne z potrzebami użytkowników.

Umiejętności opracowane w tym module — wybieranie odpowiednich modeli, efektywne wdrażanie ich i ocenianie ich wydajności — stanowią podstawę do tworzenia niezawodnych, wysokiej jakości aplikacji generujących sztuczną inteligencję przy użyciu rozwiązania Microsoft Foundry.