Часто задаваемые вопросы об использовании ИИ в приложениях Windows

Это зависит от целевого оборудования и варианта использования. API ИИ Windows обеспечивают самый простой способ для ПК Copilot+ — одиночные вызовы API для OCR, описания изображений, суммирования текста и чата Phi Silica без необходимости управлять моделями. Foundry Local — оптимальный выбор, если вам нужен более широкий каталог моделей, поддержка оборудования не только Copilot+ PC или доступ к API, совместимому с OpenAI. Windows ML дает вам максимальный контроль: можно использовать любую модель ONNX и напрямую управлять провайдерами выполнения. См. «Выбор решения ИИ для Windows» для наглядного сравнения.

Это зависит от используемой функции. API ИИ Windows требуют ПК Copilot+ с NPU. Foundry Local выполняется на любом устройстве Windows с gpu с поддержкой DirectX 12, включая устройства без NPU. Windows ML поддерживает широкий спектр ЦП, GPU и NP. Дополнительные сведения см. в поддерживаемом списке оборудования .

Yes. Foundry Local предоставляет REST API, совместимый с OpenAI. Запустите локальный сервис с помощью foundry service start, затем направьте клиент OpenAI на локальный эндпоинт — имя модели, сообщения и вызовы потоковой передачи будут работать без изменений. См. статью "Начало работы с Foundry Local" для формата конечной точки.

Собственные пакеты SDK (C#, Python, JavaScript, Rust) в настоящее время находятся в альфа-версии или предварительной версии. Базовые среда выполнения ONNX Runtime и инфраструктура развертывания моделей готовы к промышленной эксплуатации. При выпуске приложений сегодня считайте, что API SDK может измениться, и зафиксируйте версии пакетов. См. Что такое Foundry Local, чтобы узнать актуальный статус стабильности.

Да, после скачивания и кэширования модели на устройстве Foundry Local выполняет вывод полностью на устройстве без зависимостей облака. Начальная загрузка модели требует доступа к Интернету. При запуске Foundry Local может попытаться обновить каталог моделей, но это не обязательно, если устройство находится в автономном режиме, оно возвращается в кэшированный каталог и вывод продолжается нормально. Метод IsCachedAsync (C#) / is_cached (Python) в SDK позволяет проверить доступность модели перед запуском инференса, чтобы можно было корректно обработать ситуацию, когда модель недоступна.

Foundry Local обнаруживает доступное оборудование при запуске и выбирает лучший поставщик выполнения: Qualcomm NPU (QNN), любой графический процессор с поддержкой DirectX 12 через WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), графический процессор NVIDIA через CUDA либо ЦП в качестве резервного варианта. Вы запрашиваете модель по псевдониму (например, phi-3.5-mini) и Foundry Local автоматически обслуживает оптимизированный для оборудования вариант для устройства. Код приложения совпадает со всеми конфигурациями оборудования.

No. Foundry Local выполняется полностью на устройстве. Входные и выходные данные инференса никогда не покидают компьютер. Единственным сетевым трафиком является начальная загрузка модели и обновление дополнительных метаданных каталога. При запуске Foundry Local может попытаться обновить каталог моделей, но это не обязательно, если устройство находится в автономном режиме, оно возвращается в кэшированный каталог и вывод продолжается нормально.

Windows API ИИ обрабатывают данные локально на устройстве с помощью NPU. Входные данные не отправляются на серверы Microsoft. Рекомендации по ответственному использованию ИИ, согласию и прозрачности см. в статье "Разработка приложений и функций ответственного создания ИИ" на Windows.

Windows ML позволяет вашему приложению использовать общую общесистемную среду выполнения ONNX Runtime и динамически загружать зависящие от поставщика поставщики выполнения (EP), чтобы инференс модели был оптимизирован для ЦП, GPU или NPU устройства — без необходимости включать в приложение крупные двоичные файлы среды выполнения или EP. Используйте это, если вам нужно использовать собственную модель ONNX или полностью контролировать выбор EP. См. обзор Windows ML.

DirectML — это низкоуровневый API ускорения GPU для машинного обучения, основанный на Direct3D 12. Она поддерживает все графические процессоры с поддержкой DirectX 12 из AMD, Intel, NVIDIA и Qualcomm. Среда выполнения ONNX использует DirectML в качестве поставщика выполнения в Windows, если CUDA недоступна.

foundry-local-sdk-winml — это пакет для Windows: он включает аппаратное ускорение через Windows ML и рекомендуется для Windows. foundry-local-sdk— это кроссплатформенный пакет для macOS, Linux или Windows без аппаратного ускорения. Установите только один: два пакета фиксируют разные версии onnxruntime-core и будут конфликтовать, если установлены оба пакета. Обратите внимание, что foundry-local на PyPI (без -sdk) — это сторонний пакет, не имеющий отношения к делу; установите foundry-local-sdk или foundry-local-sdk-winml.

Откройте диспетчер задач (Ctrl+Shift+Esc), перейдите на вкладку "Производительность " и найдите записи GPU и NPU на левой панели. Вы также можете запустить foundry model list из командной строки— Foundry Local отобразит, какие поставщики выполнения активны для вашего оборудования при запуске службы.