Машинное обучение на Azure Databricks

Создание, развертывание и управление приложениями машинного обучения на Azure Databricks. Интегрированная платформа объединяет весь жизненный цикл машинного обучения от подготовки данных к рабочему мониторингу.

Ищете генеративный ИИ и ИИ-агентов? См. Создание ИИ-агентов в Azure Databricks.

Get started

Попробуйте краткое руководство, создайте модель с помощью вайб-кодинга и используйте блокноты.

Guide Description
Начало работы. Создание первой модели машинного обучения в Databricks Создание и развертывание простой модели классификации с помощью scikit-learn.
Использование кода Genie для обработки и анализа данных Используйте агент ИИ для изучения данных, построения моделей и итерации.
Записные книжки Databricks Среда совместной разработки с поддержкой Python, R, Scala и SQL.
Основные понятия: наука о данных и машинное обучение в Azure Databricks Ознакомьтесь с основными понятиями, лежащими в основе обработки и анализа данных, и машинного обучения на Azure Databricks.

Обучайте классические модели машинного обучения

Функции инженера, создание моделей машинного обучения и отслеживание экспериментов.

Feature Description
Хранилище компонентов Проектирование функций, управление функциями в каталоге Unity и обслуживание функций в рабочей среде.
Примеры обучения модели Ознакомьтесь с комплексными примерами обучения классических моделей машинного обучения с популярными библиотеками.
Среда выполнения Databricks для ML Предварительно настроенные кластеры с Scikit-learn, XGBoost, MLflow и другими библиотеками машинного обучения, а также поддержка платформ глубокого обучения.
Трекер MLflow Отслеживайте эксперименты, сравнивайте производительность модели и управляйте полным жизненным циклом разработки моделей.

Обучить модели глубокого обучения

Используйте управляемые вычислительные ресурсы и встроенные платформы для разработки моделей глубокого обучения.

Feature Description
Среда выполнения ИИ Используйте бессерверные GPU-вычисления для пользовательских задач обучения моделей глубокого обучения и инференса.
Примеры распределенного обучения Изучите примеры распределенного глубокого обучения с помощью Ray, TorchDistributor и DeepSpeed.
Рекомендации по DL Узнайте о выборе платформы, загрузке данных, распределенной масштабировании и управлении жизненным циклом модели глубокого обучения.
Рэй на Databricks Масштабируйте рабочие нагрузки машинного обучения с использованием распределенных вычислений для обучения и инференции крупномасштабных моделей.

Развертывание и обслуживание моделей

Развертывайте модели в промышленной среде с помощью масштабируемых эндпоинтов для инференса в реальном времени, потокового или пакетного инференса.

Feature Description
Обслуживание моделей Развертывание пользовательских моделей и LLM в качестве конечных точек REST с поддержкой автоматического масштабирования и GPU.
Шлюз искусственного интеллекта Управление и мониторинг доступа к моделям, обслуживаемых на Azure Databricks с отслеживанием использования, ведением журнала полезных данных и элементами управления безопасностью.
Пакетный вывод Развертывайте модели для пакетного и потокового инференса и прогнозирования на больших наборах данных.
API-интерфейсы фундаментальной модели Получайте доступ и выполняйте запросы к передовым моделям GenAI, размещённым на платформе Databricks.

Мониторинг систем машинного обучения и управление ими

Обеспечение качества модели, целостности данных и соответствия комплексным средствам мониторинга и управления.

Feature Description
Каталог Unity Управляйте данными, характеристиками, моделями и функциями с помощью единого контроля доступа, отслеживания происхождения и обнаружения.
MLflow для моделей Управление полным жизненным циклом машинного обучения от экспериментов и моделей до оценки и развертывания.
Обнаружение аномалий Отслеживайте актуальность и полноту данных на уровне каталога.
Профилирование данных Отслеживайте качество данных, производительность модели и прогнозирование с помощью автоматизированных оповещений и анализа первопричин.

Внедрение рабочих процессов машинного обучения в производственную среду

Масштабируйте операции машинного обучения с помощью автоматизированных рабочих процессов, интеграции CI/CD и готовых к производству конвейеров.

Feature Description
Модели в каталоге Unity Используйте реестр моделей в каталоге Unity для централизованного управления и управления жизненным циклом модели, включая развертывания.
Задания Lakeflow Создавайте автоматизированные рабочие процессы для конвейеров машинного обучения.
Декларативные пакеты автоматизации Управляйте инфраструктурой Azure Databricks как кодом для CI/CD, включая обучение и развертывание моделей машинного обучения.
Рабочие процессы MLOps Узнайте о полном цикле MLOps с автоматизированными конвейерами обучения, тестирования и развертывания.
  • Last updated on