Python használata az Apache Sparkhoz

A Microsoft Fabric beépített Python-támogatást biztosít az Apache Sparkhoz. A támogatás tartalmazza a PySparkot, amely lehetővé teszi a felhasználók számára, hogy ismerős Spark- vagy Python-felületek használatával kommunikáljanak a Sparkkal.

Az adatokat a Python használatával sparkos kötegelt feladatdefiníciókkal vagy interaktív Háló-jegyzetfüzetekkel elemezheti. Ez a cikk áttekintést nyújt a Spark-alkalmazások Synapse-ban a Python nyelv használatával történő fejlesztéséről.

Jegyzetfüzet-munkamenetek létrehozása és futtatása

A Microsoft Fabric-jegyzetfüzet egy webes felület, amellyel élő kódot, vizualizációkat és kísérőszövegeket tartalmazó fájlokat hozhat létre. A notebookok kitűnően alkalmasak az ötletek kipróbálására és gyors kísérletek elvégzésére, amelyekkel megállapításokat tehet az adatokról. A jegyzetfüzeteket széles körben használják az adatok előkészítésében, az adatvizualizációban, a gépi tanulásban és más big data-forgatókönyvekben is.

A Python Microsoft Fabric-jegyzetfüzetekben való használatának megkezdéséhez módosítsa a jegyzetfüzet tetején található elsődleges nyelvet a PySpark (Python) nyelvre állításával.

%%pyspark
# Enter your Python code here

Egy jegyzetfüzetben több nyelvet is használhat a cella elején található nyelvvarázsló parancs megadásával.

A Microsoft Fabric Analytics jegyzetfüzeteiről további információt a Jegyzetfüzetek használata című témakörben talál.

Csomagok telepítése

A kódtárak olyan újrafelhasználható kódot biztosítanak, amelyet belefoglalhat a programokba vagy projektekbe. Ha elérhetővé szeretné tenni a partnerkódot vagy a helyileg létrehozott kódot az alkalmazások számára, telepítsen egy kódtárat a jegyzetfüzet munkamenetébe. Másik lehetőségként a munkaterület rendszergazdája létrehozhat egy környezetet, telepítheti benne a tárat, és a munkaterület-beállítás alapértelmezett munkaterületeként csatolhatja a környezetet.

Az Apache Spark-kódtárak kezelésével kapcsolatos további információkért lásd: Apache Spark-kódtárak kezelése.

Jegyzetfüzet-segédprogramok

A Microsoft Spark Utilities (MSSparkUtils) egy beépített csomag, amely megkönnyíti a gyakori feladatok elvégzését. Az MSSparkUtils használatával fájlrendszerekkel dolgozhat, környezeti változókat kérhet le, jegyzetfüzeteket láncba rendezhet és titkos kódokkal dolgozhat. Az MSSparkUtils támogatott PySpark-jegyzetfüzetekhez.

Első lépésként futtassa a következő parancsokat:

from notebookutils import mssparkutils
mssparkutils.notebook.help()

A támogatott MSSparkUtils parancsokkal kapcsolatos további információkért lásd a Microsoft Spark segédprogramok használatát ismertető témakört.

Pandas használata a Sparkban

A Sparkon futó Pandas API lehetővé teszi, hogy a Pandas számítási feladatait bármilyen méretre skálázza úgy, hogy több csomóponton futtatja. Ha már ismeri a pandast, és szeretné használni a Sparkot big data-adatokhoz, a Sparkon található Pandas API azonnal hatékonyabbá teszi.

Az alkalmazásokat a kód módosítása nélkül migrálhatja. Egyetlen kódbázissal rendelkezhet, amely a pandassal, a tesztekkel és a kisebb adatkészletekkel, valamint a Sparkkal is működik éles és elosztott adathalmazokhoz. A Sparkon egyszerűen és terhelés nélkül válthat a pandas API és a Pandas API között.

Python-futtatókörnyezet

A Microsoft Fabric Runtime egy válogatott környezet, amely adatelemzésre és gépi tanulásra van optimalizálva. A Microsoft Fabric futtatókörnyezet számos népszerű, nyílt forráskódú Python-kódtárat kínál, köztük olyan kódtárakat, mint a Pandas, a PyTorch, a scikit-learn és az XGBoost.

Python-vizualizáció

A Python-ökoszisztéma több gráftárat is kínál, amelyek számos különböző funkcióval rendelkeznek. Alapértelmezés szerint a Microsoft Fabric összes Spark-példánya válogatott és népszerű nyílt forráskódú kódtárakat tartalmaz. Más kódtárakat vagy verziókat is hozzáadhat vagy kezelhet. A könyvtárkezeléssel kapcsolatos további információkért tekintse meg a könyvtárkezelési ajánlott eljárások összefoglalását.

Ha többet szeretne megtudni a Python-vizualizációk létrehozásáról, tekintse meg a Python-vizualizációkat.

Kapcsolódó tartalom

  • Last updated on