適切なオプションの選択
どのWindows AI オプションを使用する必要がありますか?
ターゲット ハードウェアとユース ケースによって異なります。 Windows AI API は、モデル管理を必要とせず、Copilot+ PCsの最も簡単なパス (OCR、画像の説明、テキストの要約、Phi Silica チャットの 1 つの API 呼び出し) を提供します。 Foundry Local は、より広範なモデル カタログ、Copilot+ PC以外のハードウェア サポート、または OpenAI と互換性のある API アクセスが必要な場合に適しています。 Windows ML では、あらゆる ONNX モデルを使用して実行プロバイダーを直接管理する、最も制御が容易になります。 サイド バイ サイドの比較については、「Windows AI ソリューションを選択する」を参照してください。
Windows AI 機能を使用するには、Copilot+ PCまたは NPU が必要ですか?
使用している機能によって異なります。 Windows AI API には、NPU を使用したCopilot+ PCが必要です。 Foundry Local は、DirectX 12 対応 GPU を備えた任意のWindows デバイス (NPU のないデバイスを含む) で実行されます。 Windows ML では、幅広い CPU、GPU、および NPU がサポートされています。 詳細については、 サポートされているハードウェアの一覧 を参照してください。
既存の OpenAI SDK コードで Foundry Local を使用できますか?
Yes. Foundry Local は、OpenAI と互換性のある REST API を公開します。
foundry service startを使用してローカル サービスを開始し、OpenAI クライアントをローカル エンドポイント (モデル名、メッセージ、ストリーミング呼び出し) に変更なしで接続します。 エンドポイント形式については、「 Foundry Local の概要 」を参照してください。
Foundry Local は運用アプリに適していますか、それともまだ試験段階ですか?
ネイティブ SDK (C#、Python、JavaScript、Rust) は現在アルファ/プレリリースです。 基になる ONNX ランタイムとモデル サービス インフラストラクチャは、運用グレードです。 現在のアプリを出荷する場合は、SDK API サーフェスを変更の対象として扱い、パッケージのバージョンをピン留めします。 最新の安定性の状態については、「 Foundry Local とは」 を参照してください。
Foundry Local はオフラインで動作しますか?
はい。モデルがダウンロードされてデバイスにキャッシュされると、Foundry Local は、クラウドに依存せず、デバイス上で推論を完全に実行します。 初期モデルのダウンロードにはインターネット アクセスが必要です。 Foundry Local は起動時にモデル カタログの更新を試みる可能性がありますが、これは必須ではありません。デバイスがオフラインの場合は、キャッシュされたカタログにフォールバックし、推論は正常に続行されます。 SDK の IsCachedAsync (C#) / is_cached (Python) メソッドを使用すると、推論を試みる前にモデルの可用性を確認できるため、オフラインケースを適切に処理できます。
Foundry Local では、デバイス間のハードウェアの違いをどのように処理しますか?
Foundry Local は起動時に使用可能なハードウェアを検出し、最適な実行プロバイダー (Qualcomm NPU (QNN)、WinML/DirectML (AMD、Intel、NVIDIA、Qualcomm) 経由の DirectX 12 対応 GPU、CUDA 経由の NVIDIA GPU、または CPU フォールバックを選択します。 エイリアス ( phi-3.5-mini など) でモデルを要求すると、Foundry Local によってデバイスのハードウェア最適化バリアントが自動的に提供されます。 アプリ コードは、すべてのハードウェア構成で同じです。
データのプライバシーとセキュリティ
Foundry Local はユーザー データをクラウドに送信しますか?
No. Foundry Local は、デバイス上で完全に実行されます。 推論の入力と出力がコンピューターから離れることはありません。 ネットワーク トラフィックは、初期モデルのダウンロードとオプションのカタログ メタデータの更新のみです。 Foundry Local は起動時にモデル カタログの更新を試みる可能性がありますが、これは必須ではありません。デバイスがオフラインの場合は、キャッシュされたカタログにフォールバックし、推論は正常に続行されます。
Windows AI API を使用する場合、データプライバシーをどのように処理すればよいですか?
Windows AI API は、NPU を使用してデバイス上のデータをローカルで処理します。 入力データは、Microsoft サーバーに送信されません。 責任ある AI プラクティス、同意、透明性に関するガイダンスについては、Windowsでの責任ある生成型 AI アプリケーションと機能の開発に関するページを参照してください。
プラットフォームとランタイム
Windows ML とは
Windows ML を使用すると、アプリは共有システム全体の ONNX ランタイムを使用し、ベンダー固有の実行プロバイダー (EP) を動的にダウンロードできるため、アプリは大規模なランタイムまたは EP バイナリを搭載することなく、デバイスの CPU、GPU、または NPU に合わせてモデル推論が最適化されます。 独自の ONNX モデルを使用する必要がある場合や、EP の選択を完全に制御する必要がある場合に使用します。 Windows ML の概要を参照してください。
DirectML とは
DirectML は、Direct3D 12 上に構築された機械学習用の低レベル GPU アクセラレーション API です。 AMD、Intel、NVIDIA、Qualcomm のすべての DirectX 12 対応 GPU をサポートしています。 ONNX ランタイムは、CUDA が使用できない場合に、Windowsの実行プロバイダーとして DirectML を使用します。
PyPI 上の foundry-local-sdk と foundry-local-sdk-winml の違いは何ですか?
foundry-local-sdk-winmlはWindows固有のパッケージであり、Windows ML 経由のハードウェア アクセラレーションが含まれており、Windowsで推奨されます。
foundry-local-sdkは、ハードウェア アクセラレーションのない macOS、Linux、またはWindows用のクロスプラットフォーム パッケージです。 1 つだけをインストールします。2 つのパッケージは異なるバージョンの onnxruntime-core をピン留めし、両方がインストールされている場合は競合します。 PyPI での foundry-local ( -sdkなし) は関係のないサード パーティ製パッケージであり、 foundry-local-sdk または foundry-local-sdk-winmlをインストールします。
デバイスの GPU または NPU を確認するにはどうすればよいですか?
タスク マネージャー (Ctrl+Shift+Esc) を開き、[ パフォーマンス ] タブを選択し、左側のパネルで GPU と NPU のエントリを探します。 コマンド ラインから foundry model list を実行することもできます。Foundry Local では、サービスの開始時にハードウェアでアクティブになっている実行プロバイダーが表示されます。