Aprendizaje automático en Azure Databricks

Compile, implemente y administre aplicaciones de aprendizaje automático en Azure Databricks. La plataforma integrada unifica todo el ciclo de vida del aprendizaje automático, desde la preparación de datos hasta la supervisión en producción.

¿Buscas IA generativa y agentes de IA? Consulte Build AI agents on Azure Databricks.

Comenzar

Pruebe un inicio rápido, código de vibe de un modelo y use cuadernos.

Guía Description
Introducción: Compilación del primer modelo de aprendizaje automático en Databricks Compile e implemente un modelo de clasificación simple con scikit-learn.
Uso de Genie Code para la ciencia de datos Use un agente de IA para explorar datos, crear modelos e iterar.
Cuadernos de Databricks Entorno de desarrollo colaborativo con compatibilidad con Python, R, Scala y SQL.
Conceptos: Ciencia de datos y aprendizaje automático en Azure Databricks Conozca los conceptos básicos detrás de la ciencia de datos y el aprendizaje automático en Azure Databricks.

Entrenamiento de modelos clásicos de Machine Learning

Diseña variables, crea modelos de aprendizaje automático y realiza el seguimiento de experimentos.

Feature Description
Repositorio de Características Realice la ingeniería de características, administre características en el catálogo de Unity y proporcione características en producción.
Ejemplos de entrenamiento de modelos Explore ejemplos de un extremo a otro para entrenar modelos de ML clásicos con bibliotecas populares.
Databricks Runtime para aprendizaje automático Clústeres preconfigurados con scikit-learn, XGBoost, MLflow y otras bibliotecas de ML, además de compatibilidad con marcos de aprendizaje profundo.
Seguimiento de MLflow Realice un seguimiento de los experimentos, compare el rendimiento del modelo y administre el ciclo de vida de desarrollo completo del modelo.

Entrenamiento de modelos de aprendizaje profundo

Use marcos de proceso administrados e integrados para desarrollar modelos de aprendizaje profundo.

Feature Description
Entorno de ejecución de IA Use el proceso de GPU sin servidor para cargas de trabajo personalizadas de aprendizaje profundo e inferencia.
Ejemplos de entrenamiento distribuido Explore ejemplos de aprendizaje profundo distribuido mediante Ray, TorchDistributor y DeepSpeed.
Procedimientos recomendados de DL Obtenga información sobre la elección del marco, la carga de datos, el escalado distribuido y la administración del ciclo de vida del modelo de aprendizaje profundo.
Ray en Databricks Escale las cargas de trabajo de ML con computación distribuida para el entrenamiento y la inferencia de modelos a gran escala.

Implementación y entrega de modelos

Implemente modelos en producción con puntos de conexión escalables para la inferencia por lotes, streaming o en tiempo real.

Feature Description
Servicio de modelos Implemente modelos personalizados y LLM como endpoints REST con escalado automático y compatibilidad con GPU.
Puerta de enlace de IA Controlar y supervisar el acceso a los modelos servidos en Azure Databricks con el seguimiento de uso, el registro de cargas y los controles de seguridad.
Inferencia por lotes Implemente modelos para la inferencia y la predicción por lotes y streaming en conjuntos de datos grandes.
API del modelo foundation Obtenga acceso y consulte modelos genAI de última generación hospedados por Databricks.

Supervisión y control de sistemas de aprendizaje automático

Garantizar la calidad del modelo, la integridad de los datos y el cumplimiento de las herramientas completas de supervisión y gobernanza.

Feature Description
Catálogo de Unity Controlar datos, características, modelos y funciones con control de acceso unificado, seguimiento de linaje y detección.
MLflow para modelos Administre el ciclo de vida completo de ML, desde experimentos y modelos hasta evaluación e implementación.
Detección de anomalías Supervise la actualización e integridad de los datos en el nivel de catálogo.
Generación de perfiles de datos Supervise la calidad de los datos, el rendimiento del modelo y el desfase de predicción con alertas automatizadas y análisis de causa principal.

Poner en producción flujos de trabajo de aprendizaje automático

Escale las operaciones de aprendizaje automático con flujos de trabajo automatizados, integración de CI/CD y canalizaciones listas para producción.

Feature Description
Modelos en el catálogo de Unity Use el registro de modelos en el catálogo de Unity para la gobernanza centralizada y para administrar el ciclo de vida del modelo, incluidas las implementaciones.
Trabajos de Lakeflow Cree flujos de trabajo automatizados para canalizaciones de ML.
Agrupaciones de automatización declarativa Administrar la infraestructura de Azure Databricks como código para CI/CD, incluidos el entrenamiento y el despliegue de ML.
Flujos de trabajo de MLOps Obtenga información sobre MLOps de un extremo a otro con canalizaciones de entrenamiento, pruebas e implementación automatizadas.
  • Last updated on