Często zadawane pytania dotyczące używania sztucznej inteligencji w aplikacjach Windows

Zależy to od docelowego sprzętu i przypadku użycia. Interfejsy API SI systemu Windows zapewniają najprostszą drogę dla komputerów Copilot+ PC — pojedyncze wywołania API dla OCR, opisu obrazu, podsumowywania tekstu i czatu Phi Silica, bez konieczności zarządzania modelami. Usługa Foundry Local jest właściwym wyborem, jeśli potrzebujesz szerszego katalogu modeli, obsługi sprzętu bez Copilot+ PC lub dostępu do interfejsu API zgodnego z platformą OpenAI. Windows ML daje największą kontrolę — możesz użyć dowolnego modelu ONNX i bezpośrednio zarządzać dostawcami wykonywania. Zobacz Wybierz rozwiązanie SI dla systemu Windows, aby zapoznać się z porównaniem obok siebie.

Zależy to od używanej funkcji. Interfejsy API SI systemu Windows wymagają komputera Copilot+ PC z układem NPU. Funkcja Foundry Lokalna działa na dowolnym urządzeniu Windows z procesorem GPU obsługującym technologię DirectX 12, w tym urządzeniami bez jednostki NPU. usługa Windows ML obsługuje szeroką gamę procesorów CPU, procesorów GPU i jednostek NPU. Aby uzyskać szczegółowe informacje , zobacz listę obsługiwanych sprzętów .

Tak. Usługa Foundry Local uwidacznia interfejs API REST zgodny z interfejsem OpenAI. Uruchom usługę lokalną poleceniem foundry service start, a następnie skieruj klienta OpenAI na lokalny punkt końcowy — nazwa modelu, wiadomości i wywołania strumieniowe działają bez zmian. Aby uzyskać informacje na temat formatu punktu końcowego, zobacz Wprowadzenie do rozwiązania Foundry Local .

Natywne zestawy SDK (C#, Python, JavaScript, Rust) są obecnie w wersji alfa/wstępnej. Bazowa infrastruktura środowiska uruchomieniowego ONNX oraz infrastruktura udostępniania modeli są gotowe do wdrożeń produkcyjnych. W przypadku aplikacji wdrażanych obecnie należy traktować interfejs API zestawu SDK jako mogący ulec zmianie i przypiąć wersje pakietów. Zobacz What is Foundry Local (Co to jest lokalna platforma Foundry ), aby uzyskać najnowszy stan stabilności.

Tak, gdy model zostanie pobrany i zapisany w pamięci podręcznej na urządzeniu, funkcja Foundry Local wykonuje wnioskowanie w całości na urządzeniu bez zależności od chmury. Pobieranie początkowego modelu wymaga dostępu do Internetu. Podczas uruchamiania program Foundry Local może podjąć próbę odświeżenia wykazu modeli, ale nie jest to wymagane — jeśli urządzenie jest w trybie offline, wraca do buforowanego wykazu i wnioskowanie jest kontynuowane normalnie. Metoda zestawu SDK IsCachedAsync (C#) / is_cached (Python) umożliwia sprawdzenie dostępności modelu przed próbą wnioskowania, dzięki czemu można bezpiecznie obsłużyć przypadek offline.

Foundry Local podczas uruchamiania wykrywa dostępny sprzęt i wybiera najlepsze środowisko wykonawcze — Qualcomm NPU (QNN), dowolny układ GPU zgodny z DirectX 12 za pośrednictwem WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), układ GPU NVIDIA za pośrednictwem CUDA lub awaryjnie CPU. Żądasz modelu za pomocą aliasu (na przykład phi-3.5-mini), a Foundry Local automatycznie udostępnia wariant zoptymalizowany sprzętowo dla danego urządzenia. Kod aplikacji jest taki sam we wszystkich konfiguracjach sprzętu.

Nie. Program Foundry Local działa w całości na urządzeniu. Dane wejściowe i wyjściowe wnioskowania nigdy nie opuszczają maszyny. Jedynym ruchem sieciowym jest początkowe pobieranie modelu i opcjonalne odświeżanie metadanych katalogu. Podczas uruchamiania program Foundry Local może podjąć próbę odświeżenia wykazu modeli, ale nie jest to wymagane — jeśli urządzenie jest w trybie offline, wraca do buforowanego wykazu i wnioskowanie jest kontynuowane normalnie.

Interfejsy API AI w systemie Windows przetwarzają dane lokalnie na urządzeniu za pomocą jednostki NPU. Dane wejściowe nie są wysyłane do serwerów Microsoft. Aby uzyskać wskazówki dotyczące odpowiedzialnych praktyk w zakresie sztucznej inteligencji, zgody i przejrzystości, zobacz Tworzenie odpowiedzialnych aplikacji i funkcji generatywnej sztucznej inteligencji w systemie Windows.

Windows ML umożliwia aplikacji korzystanie ze współdzielonego, dostępnego w całym systemie środowiska uruchomieniowego ONNX Runtime oraz dynamiczne pobieranie specyficznych dla dostawcy dostawców wykonania (EP), dzięki czemu inferencja modelu jest zoptymalizowana pod kątem procesora CPU, procesora graficznego GPU lub jednostki NPU urządzenia — bez konieczności dołączania przez aplikację dużego środowiska uruchomieniowego ani plików binarnych EP. Użyj go, gdy chcesz użyć własnego modelu ONNX lub mieć pełną kontrolę nad wyborem EP. Zobacz omówienie usługi Windows ML.

DirectML to niskopoziomowy interfejs API akceleracji GPU do uczenia maszynowego, zbudowany na bazie Direct3D 12. Obsługuje wszystkie procesory GPU z obsługą technologii DirectX 12 z procesorów AMD, Intel, NVIDIA i Qualcomm. Środowisko uruchomieniowe ONNX używa języka DirectML jako dostawcy wykonywania w Windows, gdy funkcja CUDA jest niedostępna.

foundry-local-sdk-winmljest pakietem specyficznym dla Windows — obejmuje przyspieszanie sprzętowe za pośrednictwem Windows ML i jest zalecane w Windows. foundry-local-sdkto pakiet międzyplatformowy dla systemów macOS, Linux lub Windows bez przyspieszania sprzętowego. Zainstaluj tylko jeden z nich: oba pakiety przypinają różne wersje onnxruntime-core i będą ze sobą kolidować, jeśli oba zostaną zainstalowane. Należy pamiętać, że foundry-local w PyPI (bez -sdk) to niezwiązany pakiet strony trzeciej — zainstaluj foundry-local-sdk lub foundry-local-sdk-winml.

Otwórz Menedżera zadań (Ctrl+Shift+Esc), wybierz kartę Wydajność i poszukaj wpisów procesorów GPU i NPU w panelu po lewej stronie. Można również uruchomić foundry model list z poziomu wiersza polecenia — narzędzie Foundry Local wyświetli, którzy dostawcy wykonywania są aktywni dla sprzętu podczas uruchamiania usługi.