Tanya Jawab Umum tentang menggunakan AI di aplikasi Windows

Ini tergantung pada perangkat keras target dan kasus penggunaan Anda. Windows API AI menyediakan jalur paling sederhana untuk Copilot+ PCs — panggilan API tunggal untuk OCR, deskripsi gambar, ringkasan teks, dan obrolan Phi Silica, tanpa diperlukan manajemen model. Foundry Local adalah pilihan yang tepat ketika Anda memerlukan katalog model yang lebih luas, dukungan perangkat keras non-Copilot+ PC, atau akses API yang kompatibel dengan OpenAI. Windows ML memberi Anda kontrol paling besar - membawa model ONNX apa pun dan mengelola penyedia eksekusi secara langsung. Lihat Memilih solusi AI Windows Anda untuk perbandingan berdampingan.

Ini tergantung pada fitur mana yang Anda gunakan. Windows AI APIs memerlukan sebuah PC Copilot+ dengan NPU. Foundry Local berjalan pada perangkat Windows apa pun dengan GPU berkemampuan DirectX 12 — termasuk perangkat tanpa NPU. Windows ML mendukung berbagai CPU, GPU, dan NPU. Lihat daftar perangkat keras yang didukung untuk detailnya.

Yes. Foundry Local mengekspos REST API yang kompatibel dengan OpenAI. Mulai layanan lokal dengan foundry service start, lalu arahkan klien OpenAI Anda di titik akhir lokal — nama model, pesan, dan panggilan streaming Anda berfungsi tanpa perubahan. Lihat Mulai menggunakan Foundry Local untuk format titik akhir.

SDK asli (C#, Python, JavaScript, Rust) saat ini dalam alfa/pra-rilis. ONNX Runtime yang mendasarinya dan infrastruktur penyajian model bersifat siap produksi. Untuk aplikasi pengiriman saat ini, perlakukan permukaan API SDK sebagai dapat mengubah dan menyematkan versi paket Anda. Lihat Apa itu Foundry Local untuk status stabilitas terbaru.

Ya, setelah model diunduh dan di-cache pada perangkat, Foundry Local melakukan inferensi sepenuhnya di perangkat tanpa dependensi cloud. Unduhan model awal memerlukan akses internet. Saat startup, Foundry Local mungkin mencoba memperbarui katalog model, tetapi ini tidak wajib — jika perangkat sedang offline, sistem akan menggunakan katalog yang di-cache dan inferensi tetap berjalan normal. Metode SDK IsCachedAsync (C#) / is_cached (Python) memungkinkan Anda memeriksa ketersediaan model sebelum mencoba inferensi sehingga Anda dapat menangani kasus offline dengan anggun.

Foundry Local mendeteksi perangkat keras yang tersedia saat startup dan memilih penyedia eksekusi terbaik - Qualcomm NPU (QNN), GPU berkemampuan DirectX 12 melalui WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), GPU NVIDIA melalui CUDA, atau fallback CPU. Anda meminta model menggunakan alias (misalnya, phi-3.5-mini) dan Foundry Local secara otomatis menyajikan varian yang dioptimalkan untuk perangkat keras pada perangkat tersebut. Kode aplikasi Anda sama di semua konfigurasi perangkat keras.

No. Foundry Local berjalan sepenuhnya di perangkat. Input dan output inferensi tidak pernah meninggalkan komputer. Satu-satunya lalu lintas jaringan adalah unduhan model awal dan refresh metadata katalog opsional. Saat startup, Foundry Local mungkin mencoba memperbarui katalog model, tetapi hal ini tidak wajib — jika perangkat tidak terhubung ke internet, Foundry Local akan menggunakan katalog yang tersimpan di cache, dan inferensi tetap berjalan normal.

Windows API AI memproses data secara lokal di perangkat menggunakan NPU. Data input tidak dikirim ke server Microsoft. Untuk panduan tentang praktik, persetujuan, dan transparansi AI yang bertanggung jawab, lihat Mengembangkan Aplikasi dan Fitur AI Generatif yang Bertanggung Jawab di Windows.

Windows ML memungkinkan aplikasi Anda menggunakan ONNX Runtime bersama yang berlaku di seluruh sistem dan mengunduh penyedia eksekusi vendor-spesifik (EP) secara dinamis agar inferensi model dioptimalkan untuk CPU, GPU, atau NPU perangkat — tanpa aplikasi Anda perlu menyertakan biner runtime atau EP berukuran besar. Gunakan saat Anda perlu membawa model ONNX Anda sendiri atau ingin kontrol penuh atas pemilihan EP. Lihat gambaran umum Windows ML.

DirectML adalah API akselerasi GPU tingkat rendah untuk pembelajaran mesin, dibangun di Direct3D 12. Ini mendukung semua GPU berkemampuan DirectX 12 dari AMD, Intel, NVIDIA, dan Qualcomm. ONNX Runtime menggunakan DirectML sebagai penyedia eksekusi pada Windows ketika CUDA tidak tersedia.

foundry-local-sdk-winmladalah paket khusus Windows - ini termasuk akselerasi perangkat keras melalui Windows ML dan direkomendasikan pada Windows. foundry-local-sdkadalah paket lintas platform untuk macOS, Linux, atau Windows tanpa akselerasi perangkat keras. Instal hanya satu: kedua paket mengunci versi onnxruntime-core yang berbeda dan akan saling bertentangan jika keduanya diinstal. Perhatikan bahwa foundry-local pada PyPI (tanpa -sdk) adalah paket pihak ketiga yang tidak terkait — instal foundry-local-sdk atau foundry-local-sdk-winml.

Buka Task Manager (Ctrl+Shift+Esc), pilih tab Performa , dan cari entri GPU dan NPU di panel kiri. Anda juga dapat menjalankan foundry model list dari baris perintah — Foundry Local akan menampilkan penyedia eksekusi mana yang aktif untuk perangkat keras Anda saat memulai layanan.