Azure Databricks összetevők

Ez a cikk a Azure Databricks hatékony használatához szükséges alapvető összetevőket ismerteti.

Fiókok és munkaterületek

A Azure Databricks munkatér egy Azure Databricks üzembe helyezés a felhőben, amely környezetként működik a csapat számára a Databricks-objektumok eléréséhez. A szervezet az igényeitől függően több munkaterületet vagy csak egyet is választhat.

A Azure Databricks account egyetlen entitást jelöl, amely több munkaterületet is tartalmazhat. A Unity Catalogban engedélyezett fiókok a felhasználók és az adatokhoz való hozzáférés központi kezelésére használhatók a fiók összes munkaterületén.

Számlázás: Databricks-egységek (DBU-k)

A számlázás az Azure Databricks esetében a Databricks-egységek (DBU-k) alapján történik, amelyek a VM-példány típusa szerinti óránkénti feldolgozási kapacitást jelentenek.

Tekintse meg a Azure Databricks díjszabási oldalát.

Hitelesítés és engedélyezés

Ez a szakasz azokat a fogalmakat ismerteti, amelyeket tudnia kell az Azure Databricks identitások kezelésekor, valamint az Azure Databricks eszközökhöz való hozzáférésükről.

Felhasználó

Egy egyedi személy, aki hozzáféréssel rendelkezik a rendszerhez. A felhasználói identitásokat e-mail-címek jelölik. Lásd: Felhasználók kezelése.

Szolgáltatási főelem

Szolgáltatásidentitás feladatokhoz, automatizált eszközökhöz és rendszerekhez, például szkriptekhez, alkalmazásokhoz és CI/CD-platformokhoz. A szolgáltatásnevek egy alkalmazásazonosítóval vannak jelölve. Lásd Szolgáltatásazonosítók.

Csoport

Identitások gyűjteménye. A csoportok egyszerűbbé teszik az identitáskezelést, így egyszerűbben rendelhetők hozzá a munkaterületekhez, adatokhoz és más biztonságos objektumokhoz való hozzáféréshez. Minden Databricks-identitás csoporttagként rendelhető hozzá. Lásd Csoportok.

Hozzáférés-vezérlési lista (ACL)

A munkaterülethez, klaszterhez, feladathoz, táblához vagy kísérlethez csatolt engedélyek listája. Az ACL meghatározza, hogy mely felhasználók vagy rendszerfolyamatok férhetnek hozzá az objektumokhoz, valamint hogy milyen műveletek engedélyezettek az objektumokon. Egy tipikus ACL minden bejegyzése egy tárgyat és egy műveletet határoz meg. Lásd : Hozzáférés-vezérlési listák.

Személyes hozzáférési jogkivonat (PAT)

A személyes hozzáférési token a REST API-hívások, a technológiai partnerek összeköttetései és más eszközök hitelesítésére használt karakterlánc. Lásd: Az Azure Databricks személyes jogkivonataival történő hitelesítés (örökölt).

A Microsoft Entra ID azonosító tokenek a REST API-ra történő hitelesítésre is használhatók.

Azure Databricks felületek

Ez a szakasz a Azure Databricks eszközeinek elérésére szolgáló felületeket ismerteti.

UI

A Azure Databricks felhasználói felület egy grafikus felület, amellyel olyan funkciókkal kommunikálhat, mint például a munkaterületi mappák és azok tartalmazott objektumai, adatobjektumai és számítási erőforrásai.

Genie One

A Genie One egy egyszerűsített Azure Databricks felület, amelyet üzleti felhasználók számára terveztek. Egyetlen belépési pontot biztosít az AI/BI-irányítópultok megtekintéséhez, az adatokkal kapcsolatos kérdések feltevéséhez és a Databricks Apps használatához a technikai munkaterület fogalmainak navigálása nélkül. Lásd: Genie One használata.

REST API

A Databricks REST API végpontokat biztosít Azure Databricks fiók- és munkaterület-objektumok módosításához vagy információkéréséhez. Lásd a fiókreferenciát és a munkaterület referenciát.

SQL REST API

Az SQL REST API lehetővé teszi a feladatok automatizálását SQL-objektumokon. Lásd az SQL API-t.

parancssori felület

A Databricks parancssori felületGitHub található. A CLI a Databricks REST API-ra épül.

Adatkezelés

Ez a szakasz a Azure Databricks adatainak rendszerezéséhez és szabályozásához használt eszközöket és logikai objektumokat ismerteti. Lásd az Azure Databricks adatbázis-objektumait.

Egységkatalógus

A Unity Catalog egy egységes szabályozási megoldás a Azure Databricks lévő adatokhoz és AI-eszközökhöz, amely központosított hozzáférés-vezérlési, naplózási, adatfeltárási és adatfelderítési képességeket biztosít a Databricks-munkaterületeken. Lásd : Mi az a Unity Katalógus?.

Katalógus

A katalógusok a legmagasabb szintű tárolók az adatok Azure Databricks való rendszerezéséhez és elkülönítéséhez. Katalógusokat oszthat meg ugyanazon régión és fiókon belüli munkaterületeken. Lásd: Az Azure Databricks katalógusai.

Séma

A sémák, más néven adatbázisok a katalógusokban találhatók, és részletesebb szervezeti szintet biztosítanak. Adatbázis-objektumokat és AI-objektumokat tartalmaznak, például köteteket, táblákat, függvényeket és modelleket. Lásd: Az Azure Databricks sémái?.

Tábla

A táblák rendszerezik és szabályozzák a strukturált adatokhoz való hozzáférést. Táblákat kérdez le Apache Spark SQL-sel és Apache Spark API-kkal. Lásd: Azure Databricks táblák.

Megtekintés

A nézet egy csak olvasható objektum, amely egy vagy több táblából és nézetből származik. A nézetek olyan lekérdezéseket tárolnak, amelyeket táblákhoz készítettek. Lásd Mi az a nézet?.

Térfogat

A kötetek egy felhőalapú objektumtárhelyen lévő logikai tárterületet jelölnek, és rendszerezik és szabályozzák a nem táblázatos adatokhoz való hozzáférést. A Databricks kötetek használatát javasolja a nem táblázatos adatokhoz való hozzáférés kezeléséhez a felhőobjektum-tárolóban. Lásd : Mik azok a Unity Catalog-kötetek?.

Delta-táblák

Alapértelmezés szerint az Azure Databricks létrehozott összes tábla Delta-táblák. A deltatáblák a Delta Lake nyílt forráskód projekten alapulnak, amely a felhőalapú objektumtárolókon keresztüli nagy teljesítményű ACID-táblatárolás keretrendszere. A Delta-táblák fájlkönyvtárként tárolják az adatokat a felhőobjektum-tárolóban, és regisztrálják a tábla metaadatait a katalógusban és a sémában lévő metaadattárba.

Metatároló

A Unity Catalog egy fiókszintű metaadattárat biztosít, amely metaadatokat regisztrál az adatokról, az AI-ről és a katalógusokra, sémákra és táblákra vonatkozó engedélyekről. Lásd : Metastore.

Azure Databricks egy régi Hive-metaadattárat biztosít azoknak az ügyfeleknek, akik nem fogadták el a Unity Katalógust. Lásd: Hive metaadattár tábla hozzáférés-vezérlése (örökölt).

Katalóguskezelő

A Catalog Explorer lehetővé teszi az adatok és az AI-eszközök, köztük sémák (adatbázisok), táblák, modellek, kötetek (nem táblázatos adatok), függvények és regisztrált ML-modellek feltárására és kezelésére. Segítségével megkeresheti az adatobjektumokat és -tulajdonosokat, megismerheti a táblák közötti adatkapcsolatokat, valamint kezelheti az engedélyeket és a megosztást. Lásd : Mi az a Katalóguskezelő?.

a DBFS gyökere

Fontos

Az adatok DBFS-gyökeret vagy DBFS-csatlakozásokat használva történő tárolása és elérése elavult minta, amelyet a Databricks nem ajánlja. Ehelyett a Databricks azt javasolja, hogy a Unity Catalog használatával kezelje az összes adathoz való hozzáférést. Lásd : Mi az a Unity Katalógus?.

A DBFS-gyökér egy tárolóhely, amely alapértelmezés szerint minden felhasználó számára elérhető. Lásd : Mi az a DBFS?.

Számításkezelés

Ez a szakasz azokat a fogalmakat ismerteti, amelyeket ismernie kell a számítások Azure Databricks való futtatásához.

Klaszter

Számítási erőforrások és konfigurációk készlete, amelyen jegyzetfüzeteket és feladatokat futtat. A fürtöknek két típusa van: általános célú és feladat-specifikus. Lásd : Compute.

  • Egy teljes körű fürtöt a felhasználói felület, a parancssori felület vagy a REST API használatával hozhat létre. Az univerzális fürtök manuálisan leállíthatók és újraindíthatók. Több felhasználó is megoszthat ilyen klasztereket a közös interaktív elemzés elvégzéséhez.
  • Az Azure Databricks feladatütemező egy új feladatfürtöt hoz létre, amikor egy feladatot új feladatfürtön futtat, és leállítja a fürtöt, amikor a feladat befejeződött. Feladatfürt nem indítható újra.

Készlet

Készenléti állapotban lévő, használatra kész példányok készlete, amelyek csökkentik a fürtindítási és az automatikus skálázási időket. Amikor egy készlethez csatolunk egy fürtöt, a fürt elallocatedja az illesztőprogram- és feldolgozó csomópontokat a készletből. Lásd Medence konfigurációs referenciát.

Ha az erőforráskészlet nem rendelkezik elegendő kihasználatlan erőforrással a fürt kérésének kielégítéséhez, az erőforráskészlet új példányokat oszt ki a példányszolgáltatótól. Ha egy csatolt fürtöt leállítanak, a használt példányok visszakerülnek a készletbe, és egy másik fürt újra felhasználhatja azokat.

Databricks futtatókörnyezet

Az Azure Databricks által felügyelt fürtökön futó alapvető összetevők halmaza. Lásd : Compute. Azure Databricks a következő futtatókörnyezetekkel rendelkezik:

  • A Databricks Runtime tartalmazza az Apache Sparkot, de számos olyan összetevőt és frissítést is hozzáad, amelyek jelentősen javítják a big data-elemzések használhatóságát, teljesítményét és biztonságát.
  • Databricks Runtime for Machine Learning a Databricks Runtime-ra épül, és előre összeállított machine learning infrastruktúrát biztosít, amely integrálva van a Azure Databricks munkaterület összes funkciójával. Több népszerű kódtárat tartalmaz, köztük a TensorFlow, a Keras, a PyTorch és az XGBoost.

Feladatok > Folyamatok felhasználói felülete

A Feladatok és folyamatok munkaterület felhasználói felülete belépési lehetőséget biztosít a Feladatok, a Lakeflow-folyamatok és a Lakeflow Connect felhasználói felületeihez, amelyek lehetővé teszik a munkafolyamatok vezénylésére és ütemezésére szolgáló eszközöket.

Feladatok

A jegyzetfüzetek, tárak és egyéb feladatok vezénylését és ütemezését szolgáló nem interaktív mechanizmus. A Lakeflow-feladatok megtekintése

Csővezetékek

A Lakeflow-folyamatok apache Spark™ Deklaratív folyamatokra (SDP) épülnek, amely deklaratív keretrendszer a megbízható, karbantartható és tesztelhető adatfeldolgozási folyamatok létrehozásához. Lásd: Spark deklaratív adatfeldolgozási folyamatok.

Munkaterhelés

A terhelés egy tevékenység vagy tevékenységcsoport végrehajtásához szükséges feldolgozási képesség mennyisége. Azure Databricks kétféle számítási feladatot azonosít: adatelemzést (feladat) és adatelemzést (teljes körű).

  • Adat-tervezés Egy (automatizált) számítási feladat a feladatfürtön fut, amelyet a Azure Databricks feladatütemező hoz létre az egyes számítási feladatokhoz.
  • Adatelemzés Egy (interaktív) számítási feladat egy teljes célú fürtön fut. Az interaktív számítási feladatok általában parancsokat futtatnak egy Azure Databricks notebookban. A feladat futtatása azonban egy meglévő teljes célú fürtön interaktív számítási feladatként is működik.

Végrehajtás környezete

A read-eval–print loop (REPL) környezet állapota minden támogatott programozási nyelvhez. A támogatott nyelvek a Python, az R, a Scala és az SQL.

Adatfeldolgozás

Az adatmérnöki eszközök az adattudósok, adatmérnökök, adatelemzők és gépi tanulási mérnökök együttműködését segítik.

Munkaterület

A munkatér az összes Azure Databricks eszköz eléréséhez használható környezet. A munkaterület mappákba rendezi az objektumokat (jegyzetfüzeteket, tárakat, irányítópultokat és kísérleteket), és hozzáférést biztosít az adatobjektumokhoz és számítási erőforrásokhoz.

Jegyzetfüzet

Webalapú felület adatelemzési és gépi tanulási munkafolyamatok létrehozásához, amelyek futtatható parancsokat, vizualizációkat és elbeszélő szöveget tartalmazhatnak. Lásd a Databricks-jegyzetfüzeteket.

Könyvtár

A fürtön futó jegyzetfüzet vagy feladat számára elérhető kódcsomag. A Databricks-futtatókörnyezetek számos kódtárat tartalmaznak, és sajátot is feltölthet. Lásd: Kódtárak telepítése.

Git mappa (korábban Repos)

Egy mappa, amelynek tartalma közösen van szinkronizálva egy távoli Git-adattárral. A Databricks Git-mappák a Gittel integrálva biztosítják a projektek forrás- és verziókövetését.

MI és gépi tanulás

A Databricks integrált, végpontok közötti környezetet biztosít felügyelt szolgáltatásokkal AI- és gépi tanulási alkalmazások fejlesztéséhez és üzembe helyezéséhez.

Gépi tanulási futtatókörnyezet

Az ML- és AI-modellek fejlesztésének elősegítése érdekében a Databricks egy Databricks-futtatókörnyezetet biztosít a Machine Learning számára, amely automatizálja a számításlétrehozást előre összeállított machine learning és mélytanulási infrastruktúrával, beleértve a leggyakoribb ML- és DL-kódtárakat. Beépített, előre konfigurált GPU-támogatással is rendelkezik, beleértve az illesztőprogramokat és a támogató kódtárakat. A Databricks Runtime kiadási jegyzeteinek verzióiról és kompatibilitásáról további információt talál.

Kísérlet

Az MLflow-gyűjtemény ügynökök, LLM-alkalmazások és ML-modellek fejlesztéséhez fut. Lásd: Betanítási futtatások rendszerezése MLflow-kísérletekkel.

Funkciók

A funkciók az ML-modellek fontos összetevői. A szolgáltatástárolók lehetővé teszik a szolgáltatások megosztását és felderítését a szervezeten belül, és azt is biztosítja, hogy ugyanazt a funkciószámítási kódot használja a modell betanításához és következtetéséhez. Lásd a Databricks szolgáltatástárolóját.

Generatív AI-modellek

A Databricks támogatja a generatív AI-modellek feltárását, fejlesztését és üzembe helyezését, beleértve a következőket:

Modellregisztrációs adatbázis

A Databricks az MLflow modellregisztrációs adatbázis egy üzemeltetett verzióját biztosítja a Unity Catalogban. A Unity Katalógusban regisztrált modellek a központosított hozzáférés-vezérlést, a vonalvezetést, valamint a munkaterületek közötti felderítést és hozzáférést öröklik. Lásd: Modell életciklusának kezelése a Unity Katalógusban.

Modell szolgáltatás

A Modellkiszolgáló egységes felületet biztosít az AI-modellek üzembe helyezéséhez, szabályozásához és lekérdezéséhez. Minden kiszolgált modell REST API-ként érhető el, amelyet integrálhat a web- vagy ügyfélalkalmazásba. A Modellkiszolgálóval saját modelleket, alapmodelleket vagy harmadik féltől származó modelleket helyezhet üzembe a Databricksen kívül. Lásd: Modellek üzembe helyezése a modellkiszolgáló használatával.

Adatraktározás

Az adatraktározás több forrásból származó adatok gyűjtésére és tárolására utal, így azok gyorsan elérhetők az üzleti elemzésekhez és jelentésekhez. A Databricks SQL olyan szolgáltatások gyűjteménye, amelyek adatraktározási képességeket és teljesítményt biztosítanak a meglévő adattavakhoz. Lásd az adatraktározási architektúrát.

Lekérdezés

A lekérdezés egy érvényes SQL-utasítás, amely lehetővé teszi az adatokkal való interakciót. Lekérdezéseket készíthet a platformon belüli SQL-szerkesztővel, vagy sql-összekötővel, illesztőprogrammal vagy API-val csatlakozhat. A lekérdezések kezelésével kapcsolatos további információkért tekintse meg az Accesst és a mentett lekérdezések kezelését .

SQL Warehouse

Számítási erőforrás, amelyen SQL-lekérdezéseket futtat. Az SQL-raktáraknak három típusa van: Klasszikus, Pro és Kiszolgáló nélküli. Azure Databricks kiszolgáló nélküli raktárak használatát javasolja, ahol elérhető. Az egyes raktártípusokhoz elérhető funkciók összehasonlításához tekintse meg az SQL Warehouse-típusokat .

Lekérdezések előzményei

A végrehajtott lekérdezések listája és azok teljesítményjellemzői. A lekérdezési előzmények lehetővé teszik a lekérdezési teljesítmény monitorozását, így azonosíthatja a szűk keresztmetszeteket, és optimalizálhatja a lekérdezési futtatókörnyezeteket. Lásd a lekérdezési előzményeket.

Megjelenítés

Egy lekérdezés futtatásának eredményének grafikus bemutatója. Lásd : Vizualizációk a Databricks-jegyzetfüzetekben és az SQL-szerkesztőben.

Irányítópult

Adatvizualizációk és kommentárok bemutatója. Irányítópultokkal automatikusan jelentéseket küldhet a Azure Databricks fiókjában lévő bárkinek. A Genie Code használatával természetes nyelvi kérések alapján hozhat létre vizualizációkat. Lásd Irányítópultok. Irányítópultot jegyzetfüzetből is létrehozhat. Lásd: Irányítópultok a Databricks-jegyzetfüzetekben.

  • Last updated on