Azure Databricks 기계 학습 애플리케이션을 빌드, 배포 및 관리합니다. 통합 플랫폼은 데이터 준비에서 프로덕션 모니터링에 이르는 전체 ML 수명 주기를 통합합니다.
생성형 AI 및 AI 에이전트를 찾고 계신가요? Azure Databricks에서 AI 에이전트 구축을 참조하세요.
Get started
퀵스타트를 시도하고, 바이브 코딩으로 모델을 만들고, 노트북을 사용하세요.
| 가이드 | Description |
|---|---|
| 시작: Databricks에서 첫 번째 기계 학습 모델 빌드 | scikit-learn을 사용하여 간단한 분류 모델을 빌드하고 배포합니다. |
| 데이터 과학에 지니 코드 사용 | AI 에이전트를 사용하여 데이터를 탐색하고, 모델을 빌드하고, 반복합니다. |
| Databricks 노트북들 | Python, R, Scala 및 SQL을 지원하는 공동 개발 환경입니다. |
| 개념: Azure Databricks의 데이터 과학 및 기계 학습 | Azure Databricks 데이터 과학 및 기계 학습의 핵심 개념을 알아봅니다. |
클래식 기계 학습 모델 학습
기능을 엔지니어링하고, 기계 학습 모델을 만들고, 실험을 추적합니다.
| Feature | Description |
|---|---|
| 기능 저장소 | 기능 엔지니어링을 수행하고, Unity 카탈로그의 기능을 관리하고, 프로덕션 환경에서 기능을 제공합니다. |
| 모델 학습 예제 | 인기 있는 라이브러리를 사용하여 클래식 ML 모델을 학습시키기 위한 엔드 투 엔드 예제를 살펴봅니다. |
| Databricks Runtime for ML | scikit-learn, XGBoost, MLflow 및 기타 ML 라이브러리를 사용하여 미리 구성된 클러스터와 딥 러닝 프레임워크에 대한 지원. |
| MLflow 추적 | 실험을 추적하고, 모델 성능을 비교하고, 전체 모델 개발 수명 주기를 관리합니다. |
딥 러닝 모델 학습
관리형 컴퓨팅 및 기본 제공 프레임워크를 사용하여 딥 러닝 모델을 개발합니다.
| Feature | Description |
|---|---|
| AI 런타임 | 사용자 지정 딥 러닝 학습 및 유추 워크로드에 서버리스 GPU 컴퓨팅을 사용합니다. |
| 분산 학습 예제 | Ray, TorchDistributor 및 DeepSpeed를 사용하여 분산된 딥 러닝의 예를 살펴봅니다. |
| DL 모범 사례 | 프레임워크 선택, 데이터 로드, 분산 크기 조정 및 딥 러닝 모델 수명 주기 관리에 대해 알아봅니다. |
| Databricks의 Ray | 대규모 모델 학습 및 유추를 위해 분산 컴퓨팅을 사용하여 ML 워크로드 크기를 조정합니다. |
모델 배포 및 제공
실시간, 스트리밍 또는 일괄 처리 유추를 위해 확장 가능한 엔드포인트를 사용하여 프로덕션에 모델을 배포합니다.
| Feature | Description |
|---|---|
| 모델 서빙 | 자동 크기 조정 및 GPU 지원을 사용하여 사용자 지정 모델 및 LLM을 REST 엔드포인트로 배포합니다. |
| AI 게이트웨이 | 사용량 추적, 페이로드 로깅 및 보안 제어를 사용하여 Azure Databricks 제공되는 모델에 대한 액세스를 제어하고 모니터링합니다. |
| 일괄 처리 유추 | 대규모 데이터 세트에 일괄 처리 및 스트리밍 유추 및 예측을 위한 모델을 배포합니다. |
| 파운데이션 모델 API | Databricks에서 호스트하는 최신 GenAI 모델에 액세스하고 쿼리합니다. |
ML 시스템 모니터링 및 관리
포괄적인 모니터링 및 거버넌스 도구를 사용하여 모델 품질, 데이터 무결성 및 규정 준수를 보장합니다.
| Feature | Description |
|---|---|
| Unity 카탈로그 | 통합 액세스 제어, 계보 추적 및 검색을 사용하여 데이터, 기능, 모델 및 함수를 제어합니다. |
| 모델용 MLflow | 실험 및 모델에서 평가 및 배포에 이르는 전체 ML 수명 주기를 관리합니다. |
| 이상 탐지 | 카탈로그 수준에서 데이터 새로 고침 및 완전성을 모니터링합니다. |
| 데이터 프로파일링 | 자동화된 경고 및 근본 원인 분석을 사용하여 데이터 품질, 모델 성능 및 예측 드리프트를 모니터링합니다. |
ML 워크플로 프로덕션화
자동화된 워크플로, CI/CD 통합 및 프로덕션 준비 파이프라인을 사용하여 기계 학습 작업의 크기를 조정합니다.
| Feature | Description |
|---|---|
| Unity 카탈로그의 모델 | 중앙 집중식 거버넌스를 위해 Unity 카탈로그의 모델 레지스트리를 사용하고 배포를 포함하여 모델 수명 주기를 관리합니다. |
| Lakeflow 직무 | ML 파이프라인에 대한 자동화된 워크플로를 빌드합니다. |
| 선언적 자동화 번들 | ML 학습 및 배포를 포함하여 CI/CD에 대한 코드로 Azure Databricks 인프라를 관리합니다. |
| MLOps 워크플로우 | 자동화된 학습, 테스트 및 배포 파이프라인을 사용하는 엔드 투 엔드 MLOps에 대해 알아봅니다. |