Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ez a cikk röviden bemutatja a PyTorch, a Tensorflow és az elosztott betanítás használatát az Azure Databricks mélytanulási modelljeinek fejlesztéséhez és finomhangolásához. Olyan oldalakra mutató hivatkozásokat is tartalmaz, amelyek példajegyzetfüzetekkel szemléltetik az eszközök használatát.
- Az Azure Databricks mélytanulási munkafolyamatainak optimalizálásával kapcsolatos általános irányelvekért tekintse meg az Azure Databricks mély tanulásának ajánlott eljárásait.
- A nagy nyelvi modellek és a generatív AI Azure Databricksen való használatával kapcsolatos információkért lásd:
- A kiszolgáló nélküli GPU és az AI-futtatókörnyezet egy- és többcsomópontos mélytanulási számítási feladatokhoz való használatával kapcsolatos információkért és útmutatásért tekintse meg az AI-futtatókörnyezetet.
PyTorch
A PyTorch része a Databricks Runtime ML-nek, és GPU-gyorsított tenzoros számítást és magas szintű funkciókat biztosít a mélytanulási hálózatok létrehozásához. Egycsomópontos betanítást vagy elosztott betanítást végezhet a PyTorch on Databricks használatával. Lásd: PyTorch. A PyTorchot és az MLflow-t használó átfogó bemutató jegyzetfüzetért lásd: MLflow 3 mélytanulási munkafolyamat.
TensorFlow
A Databricks Runtime ML tartalmazza a TensorFlow-t és a TensorBoardot, így ezeket a kódtárakat csomagok telepítése nélkül is használhatja. A TensorFlow támogatja a processzorok, GPU-k és GPU-fürtök mélytanulási és általános numerikus számításait. A TensorBoard vizualizációs eszközöket biztosít a gépi tanulási és mélytanulási munkafolyamatok hibakereséséhez és optimalizálásához. Az egycsomópontos és elosztott betanítási példákat a TensorFlowban találhatja meg.
Elosztott betanítás
Mivel a mélytanulási modellek adat- és számításigényesek, fontos lehet az elosztott betanítás. A Ray, a TorchDistributor és a DeepSpeed integrációját használó elosztott mély tanulás példáiért lásd az Elosztott betanítást.
Mélytanulási modell fejlesztésének nyomon követése
A nyomon követés továbbra is az MLflow-ökoszisztéma sarokköve, és különösen létfontosságú a mély tanulás iteratív jellegéhez. A Databricks MLflow használatával követi nyomon a mélytanulási betanítási futtatásokat és a modellfejlesztést. Lásd: MLflow használatával történő modellfejlesztés követése.