Domande frequenti sull'uso dell'intelligenza artificiale nelle app Windows

Dipende dall'hardware di destinazione e dal caso d'uso. Windows API di intelligenza artificiale forniscono il percorso più semplice per Copilot+ PCs: chiamate API singole per OCR, descrizione dell'immagine, riepilogo del testo e chat Phi Silica, senza alcuna gestione dei modelli necessaria. Foundry Local è la scelta giusta quando è necessario un catalogo di modelli più ampio, un supporto hardware non Copilot+ PC o l'accesso all'API compatibile con OpenAI. Windows ML offre il massimo controllo: è possibile usare qualsiasi modello ONNX e gestire direttamente i provider di esecuzione. Per un confronto affiancato, vedere Scegliere la soluzione di intelligenza artificiale Windows.

Dipende dalla funzionalità in uso. Windows API di intelligenza artificiale richiedono un Copilot+ PC con una NPU. Foundry Local viene eseguito in qualsiasi dispositivo Windows con una GPU con supporto per DirectX 12, inclusi i dispositivi senza una NPU. Windows ML supporta un'ampia gamma di CPU, GPU e NPU. Per informazioni dettagliate, vedere l'elenco di hardware supportato .

Yes. Foundry Local espone un'API REST compatibile con OpenAI. Avviare il servizio locale con foundry service start, quindi puntare il client OpenAI all'endpoint locale, ovvero il nome del modello, i messaggi e le chiamate di streaming funzionano senza modifiche. Vedere Introduzione a Foundry Local per il formato dell'endpoint.

Gli SDK nativi (C#, Python, JavaScript, Rust) sono attualmente in versione alfa/non definitive. Il runtime ONNX sottostante e l'infrastruttura di gestione del modello sono di livello di produzione. Se rilasci app oggi, considera la superficie API dell'SDK come soggetta a modifiche e blocca le versioni dei pacchetti. Vedere Che cos'è Foundry Local per lo stato di stabilità più recente.

Sì, dopo che un modello viene scaricato e memorizzato nella cache nel dispositivo, Foundry Local esegue l'inferenza interamente sul dispositivo senza dipendenze cloud. Il download iniziale del modello richiede l'accesso a Internet. All'avvio, Foundry Local può tentare di aggiornare il catalogo dei modelli, ma questo non è obbligatorio. Se il dispositivo è offline, viene eseguito il fallback al catalogo memorizzato nella cache e l'inferenza continua normalmente. Il metodo (C#) / IsCachedAsync (Python) dell'SDK consente di controllare la disponibilità del is_cached modello prima di tentare l'inferenza in modo da poter gestire normalmente il caso offline.

Foundry Local rileva l'hardware disponibile all'avvio e seleziona il provider di esecuzione migliore : Qualcomm NPU (QNN), qualsiasi GPU con supporto per DirectX 12 tramite WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), GPU NVIDIA tramite CUDA o fallback della CPU. Si richiede un modello per alias (ad esempio, phi-3.5-mini) e Foundry Local gestisce automaticamente la variante ottimizzata per l'hardware per il dispositivo. Il codice dell'app è lo stesso in tutte le configurazioni hardware.

No. Foundry Local funziona interamente sul dispositivo. L'input e l'output di inferenza non lasciano mai il computer. L'unico traffico di rete è il download iniziale del modello e gli aggiornamenti facoltativi dei metadati del catalogo. All'avvio, Foundry Local può tentare di aggiornare il catalogo dei modelli, ma questo non è obbligatorio. Se il dispositivo è offline, viene eseguito il fallback al catalogo memorizzato nella cache e l'inferenza continua normalmente.

Windows LE API di intelligenza artificiale elaborano i dati in locale nel dispositivo usando la NPU. I dati di input non vengono inviati ai server Microsoft. Per indicazioni sulle procedure di IA responsabili, il consenso e la trasparenza, vedere Sviluppo di applicazioni e funzionalità di intelligenza artificiale generative responsabili in Windows.

Windows ML consente all'app di usare un runtime ONNX condiviso e scaricare dinamicamente provider di esecuzione specifici del fornitore in modo che l'inferenza del modello sia ottimizzata per la CPU, la GPU o la NPU del dispositivo, senza che l'app trasporta file binari di runtime o EP di grandi dimensioni. Usalo quando devi usare il tuo modello ONNX o vuoi avere il pieno controllo della selezione di EP. Vedere panoramica di Windows ML.

DirectML è un'API di accelerazione GPU di basso livello per l'apprendimento automatico, basata su Direct3D 12. Supporta tutte le GPU con supporto per DirectX 12 da AMD, Intel, NVIDIA e Qualcomm. OnNX Runtime usa DirectML come provider di esecuzione in Windows quando CUDA non è disponibile.

foundry-local-sdk-winmlè il pacchetto specifico del Windows, che include l'accelerazione hardware tramite Windows ML ed è consigliato in Windows. foundry-local-sdkè il pacchetto multipiattaforma per macOS, Linux o Windows senza accelerazione hardware. Installa solo uno: i due pacchetti aggiungono versioni diverse di onnxruntime-core e saranno in conflitto se entrambi sono installati. Si noti che foundry-local in PyPI (senza -sdk) è un pacchetto di terze parti non correlato, ovvero installare foundry-local-sdk o foundry-local-sdk-winml.

Aprire Gestione attività (Ctrl+Shift+Esc), selezionare la scheda Prestazioni e cercare le voci GPU e NPU nel pannello sinistro. È anche possibile eseguire foundry model list dalla riga di comando: Foundry Local visualizzerà i provider di esecuzione attivi per l'hardware all'avvio del servizio.