Aprendizagem automática no Azure Databricks

Construa, implemente e gere aplicações de aprendizagem automática no Azure Databricks. A plataforma integrada unifica todo o ciclo de vida do ML, desde a preparação de dados até à monitorização de produção.

Procura IA generativa e agentes de IA? Veja Construir agentes de IA em Azure Databricks.

Introdução

Experimenta um quickstart, faz vibe code num modelo e usa cadernos.

Guide Description
Comece: Construa o seu primeiro modelo de aprendizagem automática em Databricks Constrói e implementa um modelo simples de classificação com o scikit-learn.
Use o Código Genie para ciência de dados Utilize um agente de IA para explorar dados, criar modelos e fazer iterações.
Notebooks Databricks Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL.
Conceitos: Ciência de dados e aprendizagem automática no Azure Databricks Aprenda os conceitos fundamentais por detrás da ciência de dados e do machine learning no Azure Databricks.

Treinar modelos clássicos de aprendizado de máquina

Criar funcionalidades, criar modelos de aprendizagem automática e acompanhar experiências.

Feature Description
Loja de recursos Fazer engenharia de funcionalidades, gerir funcionalidades no Unity Catalog e servir funcionalidades em produção.
Exemplos de treino de modelos Explore exemplos de ponta a ponta para treinar modelos clássicos de ML com bibliotecas populares.
Tempo de execução do Databricks para ML Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de ML, além de suporte para frameworks de deep learning.
Rastreamento de MLflow Acompanhe experimentos, compare o desempenho do modelo e gerencie todo o ciclo de vida de desenvolvimento do modelo.

Treinar modelos de aprendizagem profunda

Utilize computação gerida e frameworks incorporados para desenvolver modelos de aprendizagem profunda.

Feature Description
Runtime de IA Use computação com GPU serverless para treino personalizado de deep learning e cargas de inferência.
Exemplos de treino distribuído Explore exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
Boas práticas de DL Aprenda sobre escolha de frameworks, carregamento de dados, escalabilidade distribuída e gestão do ciclo de vida do modelo de aprendizagem profunda.
Ray em Databricks Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelos em larga escala.

Implantar e servir modelos

Implementar modelos em produção com endpoints escaláveis para tempo real, streaming ou inferência em lote.

Feature Description
Serviço de Modelos Implementar modelos personalizados e LLMs como endpoints REST com escalonamento automático e suporte a GPU.
Gateway de IA Governar e monitorizar o acesso a modelos servidos no Azure Databricks com rastreamento de utilização, registo de payload e controlos de segurança.
Inferência em lote Implementar modelos para inferência em lote e em fluxo, bem como para previsão em grandes conjuntos de dados.
APIs de modelo de base Aceda e consulta a modelos GenAI de última geração alojados pela Databricks.

Monitorar e controlar sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Feature Description
Catálogo Unity Controle dados, recursos, modelos e funções com controle de acesso unificado, rastreamento de linhagem e descoberta.
MLflow para modelos Gerir todo o ciclo de vida do ML, desde experiências e modelos até à avaliação e implementação.
Deteção de anomalias Monitore a atualização e integridade dos dados no nível do catálogo.
Definição de perfis de dados Monitore a qualidade dos dados, o desempenho do modelo e o desvio de previsão com alertas automatizados e análise de causa raiz.

Produzir fluxos de trabalho de ML

Dimensione operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Feature Description
Modelos no Unity Catalog Use o registro do modelo no Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implantações.
Empregos em Lakeflow Construir fluxos de trabalho automatizados para pipelines de ML.
Pacotes de Automação Declarativa Gerir a infraestrutura do Azure Databricks como código para CI/CD, incluindo treino e implementação de ML.
Fluxos de trabalho MLOps Saiba mais sobre MLOps de ponta a ponta com pipelines automatizados de treino, testes e implementação.
  • Last updated on