Wdrażanie modeli w punktach końcowych

Po wybraniu modelu z wykazu wdrożysz go, aby był dostępny za pośrednictwem punktów końcowych, których mogą używać aplikacje. Portal Foundry Microsoft prowadzi cię przez proces wdrażania i umożliwia natychmiastowe testowanie wdrożonego modelu.

Omówienie typów wdrożeń

Rozwiązanie Microsoft Foundry obsługuje kilka typów wdrożeń, z których każda oferuje różne cechy rezydencji danych, skalowania i rozliczeń:

• Wdrożenia modelu Global Standard mogą używać dowolnego regionu platformy Azure na podstawie płatności za token. Są one najlepsze dla ogólnych obciążeń i zapewniają najwyższy limit przydziału.
• Globalne wdrożenia z aprowizacją mogą korzystać z dowolnego regionu platformy Azure, a ich użycie opiera się na zarezerwowanych jednostkach przepływu aprowizacji (PTU), aby zapewnić przewidywalnie wysoką przepływność.
• Globalne wdrożenia usługi Batch mogą korzystać z dowolnego regionu platformy Azure z rabatem 50% dla dużych zadań asynchronicznych w ciągu 24 godzin.
• Wdrożenia Standard strefy danych zapewniają, że dane pozostają w określonej strefie danych na podstawie płatności za token. Najlepiej sprawdza się w scenariuszach, w których wymagana jest zgodność strefy danych UE/USA.
• Wdrożenia stref danych z zapewnionym dostępem zapewniają przewidywalną przepływność w oparciu o zarezerwowane jednostki PTU w danej strefie.
• Wdrożenia Data Zone Batch są przeznaczone dla dużych asynchronicznych zadań wsadowych.
• Wdrożenia Standard są wdrażane w jednym regionie, na zasadzie płatności za token. Są one doskonałe, gdy potrzebujesz zgodności z regionalnym miejscem przechowywania danych lub w scenariuszach o małym woluminie.
• Regionalnie aprowizowane wdrożenia zapewniają zarezerwowane jednostki PTU w jednym regionie.
• Deweloper Wdrożenia deweloperskie używają dowolnego regionu platformy Azure na zasadzie płatności za każdy użyty token i są przeznaczone tylko do dokładnej oceny dostrojonych modeli.

Każdy model w wykazie wskazuje typy wdrożeń, które obsługuje. Portal automatycznie wybiera najlepszą opcję wdrożenia na podstawie wymagań środowiska i modelu. Globalne wdrożenia Standard w zasobach Foundry powinny być używane zawsze, gdy jest to możliwe, dla maksymalnych możliwości.

Wdrażanie modelu

Aby wdrożyć model z portalu Microsoft Foundry:

Najpierw przejdź do modelu wybranego w katalogu modeli. Na stronie głównej portalu Foundry wybierz pozycję Odnajdź w nawigacji, a następnie pozycję Modele w okienku po lewej stronie. Otwórz kartę modelu, aby przejrzeć jego specyfikacje i obsługiwane typy wdrożeń.

Wybierz pozycję Wdróż , aby rozpocząć proces wdrażania. Możesz wybrać:

• Domyślne ustawienia umożliwiające szybkie wdrażanie przy użyciu zalecanych konfiguracji
• Ustawienia niestandardowe umożliwiające dostosowanie opcji wdrażania

Jeśli model wymaga subskrypcji Azure Marketplace (typowe dla modeli od partnerów i społeczności), zobaczysz warunki użytkowania. Przejrzyj te warunki i wybierz pozycję Zgadzam się i Kontynuuj , aby je zaakceptować. Modele sprzedawane bezpośrednio przez Azure, takie jak modele Azure OpenAI, takie jak GPT-4o-mini, nie wymagają subskrypcji platformy handlowej.

Skonfiguruj ustawienia wdrożenia:

• Nazwa wdrożenia: domyślnie system używa nazwy modelu. Można to zmodyfikować, aby utworzyć znaczące nazwy dla wielu wdrożeń tego samego modelu. Podczas wnioskowania kod używa tej nazwy wdrożenia w parametrze model do kierowania żądań.
• Typ wdrożenia: portal automatycznie wybiera odpowiedni typ wdrożenia na podstawie modelu i środowiska. Każdy model obsługuje różne typy wdrożeń, zapewniając różne gwarancje dotyczące rezydencji danych lub przepływności.

W przypadku wdrożeń zarządzanych zasobów obliczeniowych można również skonfigurować:

• SKU maszyny wirtualnej: Wybierz spośród obsługiwanych typów maszyn wirtualnych. Potrzebujesz limitu przydziału zasobów obliczeniowych Azure Machine Learning dla wybranych zasobów SKU w ramach subskrypcji.
• Liczba wystąpień: określ liczbę wystąpień do wdrożenia na potrzeby dystrybucji obciążenia i nadmiarowości.

Po skonfigurowaniu wszystkich ustawień wybierz pozycję Wdróż. Po zakończeniu wdrażania trafisz na plac zabaw Foundry, gdzie można interaktywnie przetestować model. Sprawdź, czy na liście wdrożeń jest wyświetlany stan Powodzenie .

Zarządzanie wdrożonymi modelami

Po wdrożeniu można zarządzać modelami z sekcji Kompilacja w portalu Microsoft Foundry. Wybierz pozycję Kompiluj w nawigacji, a następnie pozycję Modele w okienku po lewej stronie, aby wyświetlić listę wdrożeń w zasobie.

Z listy wdrożenia wybierz konkretny model, aby wyświetlić jego szczegóły:

• Konfiguracja i stan wdrożenia
• Adres URL punktu końcowego dla dostępu do interfejsu API
• Klucze uwierzytelniania lub tokeny
• Monitorowanie i metryki użycia
• Opcja dostosowywania ustawień wdrożenia lub usuwania wdrożenia

Strona szczegółów wdrożenia zawiera informacje potrzebne aplikacjom do nawiązania połączenia z modelem i korzystania z niego.

Testowanie na placu zabaw

Portal Microsoft Foundry zawiera interaktywne place zabaw, w których testowane modele są natychmiast testowane bez konieczności pisania kodu. Po zakończeniu wdrażania trafisz automatycznie na plac zabaw lub możesz wybrać wdrożenie z listy modeli, aby otworzyć plac zabaw.

Plac zabaw wstępnie wybiera wdrożenie, aby można było natychmiast rozpocząć testowanie. W interfejsie czatu:

Wprowadź monity w polu komunikatu i obserwuj odpowiedzi. Plac zabaw wyświetla dane wejściowe i wygenerowane przez model dane wyjściowe, pomagając zrozumieć zachowanie i jakość.

Poeksperymentuj z różnymi typami monitów, aby przetestować różne możliwości:

• Proste pytania umożliwiające zweryfikowanie podstawowej wiedzy
• Złożone problemy z rozumowaniem wieloetapowym
• Żądania dotyczące określonych formatów lub stylów
• Przypadki brzegowe, które mogą ujawnić ograniczenia

Dostosuj komunikaty systemowe, aby kierować zachowaniem modelu. Komunikaty systemowe określają kontekst, ton i instrukcje mające zastosowanie do wszystkich danych wejściowych użytkownika. Możesz na przykład poinstruować model, aby "odpowiedział jako przedstawiciel customer service" lub "podaj zwięzłe wyjaśnienia techniczne".

Zmodyfikuj parametry, takie jak temperatura (kreatywność a spójność), maksymalne tokeny (limity długości odpowiedzi) i top-p (próbkowanie jądra) w celu dostosowania zachowania generowania.

Wybierz kartę Kod , aby zobaczyć przykłady programowego wywoływania wdrożonego modelu. Przykłady kodu pokazują uwierzytelnianie, konfigurację punktu końcowego i formatowanie żądań w językach takich jak Python, C# i JavaScript. Te przykłady można skopiować bezpośrednio do aplikacji.

Plac zabaw służy jako środowisko deweloperskie do monitowania inżynierii i testowania przed zintegrowaniem modelu z aplikacją.

Uzyskaj dostęp do modeli programowo

Gdy wszystko będzie gotowe do zintegrowania modelu z aplikacją, potrzebne są trzy kluczowe informacje ze szczegółów wdrożenia:

Adres URL punktu końcowego: punkt końcowy interfejsu API, w którym aplikacja wysyła żądania. Platforma Microsoft Foundry obsługuje punkty końcowe projektu dla funkcji specyficznych dla rozwiązania Foundry oraz punkty końcowe openAI w wersji 1 w celu zapewnienia szerokiej zgodności z interfejsami API modelu OpenAI.

Klucz uwierzytelniania: klucz tajny lub token prezentowany przez aplikację do uwierzytelniania żądań. Alternatywnie możesz użyć uwierzytelniania Microsoft Entra ID i sprawić, aby aplikacja przedstawiła token uwierzytelniania na podstawie swojej tożsamości. Uwierzytelnianie Entra ID jest zalecane w scenariuszach produkcyjnych.

Nazwa wdrożenia: nazwa określona podczas wdrażania używana w parametrze model żądań interfejsu API do kierowania do określonego wdrożenia.

Aplikacja używa tych szczegółów do konstruowania żądań interfejsu API. Portal Microsoft Foundry udostępnia zestawy SDK i dokumentację interfejsu API REST dla różnych języków programowania oraz przykłady kodu przedstawiające formatowanie żądań, uwierzytelnianie i obsługę odpowiedzi.

Po wdrożeniu i przetestowanie modelu możesz zintegrować go z aplikacjami lub przejść do bardziej kompleksowej oceny przy użyciu zautomatyzowanych metryk i zestawów danych testowych.