選擇合適的選項
我應該使用哪個 Windows AI 選項?
這取決於你的目標硬體和使用情境。 Windows AI API 為 Copilot+ PCs 提供最簡單的路徑——單一 API 呼叫即可完成 OCR、圖片描述、文字摘要及 Phi Silica 聊天,無需模型管理。 當你需要更廣泛的型號目錄、非 Copilot+ PC 硬體支援,或是 OpenAI 相容的 API 存取時,Foundry Local 是合適的選擇。 Windows ML 給你最多的控制權——帶任何 ONNX 模型,直接管理執行提供者。 請參閱「選擇你的 Windows AI 解決方案」以取得並排比較。
我需要 Copilot+ PC 還是 NPU 才能使用 Windows AI 功能?
這取決於你用的是哪個功能。 Windows AI API 需要一台帶有 NPU 的 Copilot+ PC。 Foundry Local 可在任何具備 DirectX 12 GPU 的 Windows 裝置上運行——包括沒有 NPU 的裝置。 Windows ML 支援廣泛的 CPU、GPU 與 NPU。 詳情請參閱 支援硬體清單 。
我可以將 Foundry Local 與我現有的 OpenAI SDK 程式碼一起使用嗎?
是的。 Foundry Local 提供一個與 OpenAI 相容的 REST API。 先使用 foundry service start 啟動本機服務,然後將你的 OpenAI 用戶端指向本機端點——你的模型名稱、訊息和串流呼叫都無須變更即可正常運作。 請參閱 「開始使用 Foundry Local 」了解端點格式。
Foundry Local 適合用於生產應用程式嗎?還是還在實驗階段?
原生 SDK(C#、Python、JavaScript、Rust)目前處於 alpha 或預發布階段。 底層的 ONNX 執行環境與模型服務基礎設施為生產級。 對於目前已發布的應用程式,請將 SDK 的 API 介面視為可能會變動,並固定套件版本。 請參閱 What is Foundry Local 以了解最新的穩定性狀態。
Foundry Local 可以離線使用嗎?
是的,一旦模型下載並快取到裝置上,Foundry Local 會完全在裝置上進行推論,無需依賴雲端。 初始模型下載需上網。 啟動時,Foundry Local 可能會嘗試刷新模型目錄,但這並非必須——若裝置離線,會回退至快取目錄,推論會正常進行。 SDK IsCachedAsync (C#) / is_cached (Python) 方法允許你在嘗試推論前先檢查模型可用性,讓你能優雅地處理離線案例。
Foundry Local 如何處理不同裝置間的硬體差異?
Foundry Local 在啟動時偵測可用硬體,並選擇最佳執行提供者——Qualcomm NPU(QNN)、任何支援 DirectX 12 的 WinML/DirectML GPU(如 AMD、Intel、NVIDIA、Qualcomm)、NVIDIA GPU 透過 CUDA 或 CPU 備援。 你透過別名(例如 phi-3.5-mini)請求模型,Foundry Local 會自動提供該裝置的硬體優化版本。 你的應用程式程式碼在所有硬體配置中都是一樣的。
資料隱私與安全
Foundry Local 會把使用者資料傳送到雲端嗎?
No. Foundry Local 完全在裝置上執行。 推論輸入與輸出永遠不會離開機器。 唯一的網路流量是初始模型下載及可選的目錄元資料刷新。 啟動時,Foundry Local 可能會嘗試刷新模型目錄,但這並非必須——若裝置離線,會回退至快取目錄,推論會正常進行。
使用 Windows AI API 時,我該如何處理資料隱私?
Windows AI API 會在使用 NPU 的裝置上本地處理資料。 輸入資料不會傳送到 Microsoft 伺服器。 關於負責任 AI 實務、同意與透明度的指引,請參閱《在 Windows 上開發負責任的生成式 AI 應用與功能》。
平台與執行階段
什麼是 Windows ML?
Windows ML 讓您的應用程式能使用系統範圍的共用 ONNX 執行時,並動態下載廠商專屬的執行提供者(EP),使模型推論針對裝置的 CPU、GPU 或 NPU 進行優化——而應用程式不必攜帶龐大的執行時或 EP 二進位檔。 當你需要帶自己的 ONNX 模型或想完全掌控 EP 選擇時,會用它。 請參閱 Windows ML 概覽。
什麼是 DirectML?
DirectML 是一個基於 Direct3D 12 建構的低階 GPU 加速機器學習 API。 它支援所有支援 DirectX 12 的 GPU,來自 AMD、Intel、NVIDIA 和 Qualcomm。 當 CUDA 不可使用時,ONNX 執行時會在 Windows 上使用 DirectML 作為執行提供者。
在 PyPI 上,Foundry-local-sdk 和 foundry-local-sdk-winml 有什麼不同?
foundry-local-sdk-winml是 Windows 專用套件——包含透過 Windows ML 進行硬體加速,且建議在 Windows 上使用。
foundry-local-sdk是跨平台的 macOS、Linux 或 Windows 套件,無需硬體加速。 只安裝其中一個:這兩個套件會固定不同版本的 onnxruntime-core,如果同時安裝兩者,會發生衝突。 請注意,PyPI 上的 foundry-local(不含 -sdk)是一個不相關的第三方套件——請安裝 foundry-local-sdk 或 foundry-local-sdk-winml。
我該如何檢查我的裝置裝的是哪款 GPU 或 NPU?
打開工作管理員(),Ctrl+Shift+Esc選擇 「效能 」分頁,然後在左側面板尋找 GPU 和 NPU 的條目。 你也可以從命令列執行 foundry model list ——Foundry Local 會在啟動服務時顯示你的硬體哪些執行提供者是活躍的。