Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Dieses Feature befindet sich in der Public Preview.
Die folgenden Beispiele sind vollständige End-to-End-Workloads, die Sie über die air-CLI mit air run -f train.yaml übermitteln. Jedes davon zeigt eine echte Multi-GPU-Konfiguration mit H100-GPUs, einschließlich Workload-YAML, Bootstrap-Befehlen und Code. Beginnen Sie mit dem Schnellstart, wenn Sie noch keine Ausführung übermittelt haben.
| Example | Description |
|---|---|
| LLM-Feinabstimmung mit Mehrknoten-FSDP | Überwachte Feinabstimmung von Llama-3.1-8B über 16 H100-GPUs (2 Knoten) mithilfe von torchrun und PyTorch Fully Sharded Data Parallel (FSDP). Protokolliert in MLflow und erstellt Prüfpunkte in einem Unity Catalog-Volume. |
| Verteiltes Training mit Ray Train | Verteilte datenparallele Feinabstimmung mit TorchTrainer von Ray Train über 8 H100-GPUs auf einem einzelnen Knoten, mit einem Worker pro GPU. |
| Batch-Inferenz mit Ray Data und vLLM | Offline-LLM-Batch-Inferenz mit Ray Data und vLLM über 8 H100-GPUs auf einem einzelnen Knoten, wobei ein vLLM-Replikat pro GPU ausgeführt wird und die Ergebnisse als Parquet in ein Unity Catalog-Volume geschrieben werden. |