Nejčastější dotazy k používání AI v aplikacích Windows

Závisí na vašem cílovém hardwaru a případu použití. Windows rozhraní API umělé inteligence poskytují nejjednodušší cestu pro Copilot+ PCs – jedno volání rozhraní API pro OCR, popis obrázků, shrnutí textu a chat Phi Silica bez nutnosti správy modelů. Foundry Local je správná volba, pokud potřebujete širší katalog modelů, podporu hardwaru bez Copilot+ PC nebo přístup rozhraní API kompatibilní s OpenAI. Windows ML vám dává největší kontrolu – přineste libovolný model ONNX a spravujte poskytovatele spouštění přímo. Viz Výběr řešení Windows AI, kde najdete srovnání jednotlivých možností vedle sebe.

Závisí na tom, kterou funkci používáte. Rozhraní API Windows AI vyžadují Copilot+ PC s NPU. Foundry Local běží na jakémkoli Windows zařízení s GPU s podporou DirectX 12 , včetně zařízení bez NPU. Windows ML podporuje širokou škálu procesorů, GPU a NPU. Podrobnosti najdete v seznamu podporovaných hardwaru .

Yes. Foundry Local zveřejňuje rozhraní REST API kompatibilní s OpenAI. Spusťte místní službu pomocí foundry service start a poté nasměrujte klienta OpenAI na místní koncový bod — název modelu, zprávy i streamovací volání fungují beze změny. Viz Začínáme s Foundry Local pro formát koncového bodu.

Nativní sady SDK (C#, Python, JavaScript, Rust) jsou aktuálně v alfa/předběžné verzi. Podkladový ONNX Runtime a infrastruktura pro obsluhu modelů jsou připraveny pro produkční nasazení. U aplikací, které dnes vydáváte, počítejte s tím, že se rozhraní API sady SDK může měnit, a fixujte verze svých balíčků. Nejnovější stav stability najdete v tématu Co je Foundry Local .

Ano, jakmile je model stažen a uložen do mezipaměti v zařízení, Foundry Local provádí inferenci zcela v zařízení bez závislosti na cloudu. Počáteční stažení modelu vyžaduje přístup k internetu. Při spuštění se Foundry Local může pokusit aktualizovat katalog modelů, ale není to nutné – pokud je zařízení offline, vrátí se zpět do katalogu v mezipaměti a odvozování pokračuje normálně. Metoda sady SDK IsCachedAsync (C#) / is_cached (Python) umožňuje zkontrolovat dostupnost modelu před pokusem o odvozování, abyste mohli řádně zpracovat offline případ.

Foundry Local při spuštění detekuje dostupný hardware a vybere nejlepšího poskytovatele provádění — Qualcomm NPU (QNN), libovolný grafický procesor s podporou DirectX 12 přes WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), grafický procesor NVIDIA přes CUDA nebo záložní CPU. Požádáte o model podle aliasu (například phi-3.5-mini) a Foundry Local automaticky obsluhuje variantu optimalizovanou pro zařízení. Kód vaší aplikace je stejný ve všech konfiguracích hardwaru.

No. Foundry Local běží zcela na zařízení. Inferenční vstupy a výstupy nikdy neopustí zařízení. Jediným síťovým provozem je počáteční stažení modelu a aktualizace volitelných metadat katalogu. Při spuštění se Foundry Local může pokusit aktualizovat katalog modelů, ale není to nutné – pokud je zařízení offline, vrátí se zpět do katalogu v mezipaměti a odvozování pokračuje normálně.

Windows rozhraní API AI zpracovávají data místně na zařízení pomocí NPU. Vstupní data se neodesílají na Microsoft servery. Pokyny k zodpovědným postupům umělé inteligence, souhlasu a transparentnosti najdete v tématu Vývoj zodpovědných aplikací a funkcí umělé inteligence na Windows.

Windows ML umožňuje vaší aplikaci používat sdílený systémový modul RUNTIME ONNX a dynamicky stahovat poskytovatele spouštění specifické pro dodavatele, aby odvozování modelů bylo optimalizované pro procesor, GPU nebo NPU zařízení – bez toho, aby vaše aplikace přenášela velké moduly runtime nebo binární soubory EP. Použijte ho, když potřebujete použít vlastní model ONNX nebo chcete mít plnou kontrolu nad výběrem EP. Viz přehled Windows ML.

DirectML je rozhraní API pro akceleraci GPU nízké úrovně pro strojové učení založené na Direct3D 12. Podporuje všechny GPU kompatibilní s DirectX 12 od společností AMD, Intel, NVIDIA a Qualcomm. Modul runtime ONNX používá DirectML jako zprostředkovatele spouštění na Windows, pokud CUDA není k dispozici.

foundry-local-sdk-winmlje balíček specifický pro Windows – zahrnuje hardwarovou akceleraci prostřednictvím Windows ML a doporučuje se Windows. foundry-local-sdkje multiplatformní balíček pro macOS, Linux nebo Windows bez hardwarové akcelerace. Nainstalujte pouze jeden: oba balíčky připínají různé verze onnxruntime-core a budou v konfliktu, pokud jsou nainstalovány oba. Všimněte si, že foundry-local v PyPI (bez -sdk) je nesouvisející balíček třetí strany – instalace foundry-local-sdk nebo foundry-local-sdk-winml.

Otevřete Správce úloh (Ctrl+Shift+Esc), vyberte kartu Výkon a na levém panelu vyhledejte položky GPU a NPU. Můžete také spustit foundry model list z příkazového řádku – Foundry Local zobrazí, kteří poskytovatelé spouštění jsou aktivní pro váš hardware při spuštění služby.