Oktatóanyag: Python futtatása fürtön és feladatként a Visual Studio Code-hoz tartozó Databricks bővítmény használatával.

Ez az oktatóanyag végigvezeti a Databricks-bővítmény beállításán a Visual Studio Code-ban, majd a Python futtatásán egy Azure Databricks-fürtön és Azure Databricks feladatként a távoli munkaterületen. Lásd a Databricks bővítmény a Visual Studio Code.

Követelmények

Ehhez az oktatóanyaghoz a következőket kell megkövetelni:

• Telepítette a Databricks bővítményt a Visual Studio Code-hoz. Lásd: A Databricks bővítmény telepítése a Visual Studio Code-hoz.
• Egy távoli Azure Databricks fürtöt kell használnia. Jegyezze fel a fürt nevét. Az elérhető fürtök megtekintéséhez az Azure Databricks munkaterületének oldalsávjában kattintson a Compute elemre. Lásd: Compute.

1. lépés: Új Databricks-projekt létrehozása

Ebben a lépésben létrehoz egy új Databricks-projektet, és konfigurálja a kapcsolatot a távoli Azure Databricks-munkaterülettel.

1. Indítsa el a Visual Studio Code, majd kattintson a File > Mappa megnyitása elemre, és nyisson meg egy üres mappát a helyi fejlesztőgépen.
2. Az oldalsávon kattintson a Databricks embléma ikonra. Ekkor megnyílik a Databricks bővítmény.
3. A Konfiguráció nézetben kattintson a Konfiguráció létrehozásaelemre.
4. Megnyílik a Databricks-munkaterület konfigurálásához használandó parancskatalógus. A Databricks-gazdagép esetében adja meg, vagy válassza ki a munkaterület URL-jét, például https://adb-1234567890123456.7.azuredatabricks.net.
5. Válasszon egy hitelesítési profilt a projekthez. Lásd: Az Visual Studio Code Databricks-bővítmény engedélyezésének beállítása.

2. lépés: Fürtinformációk hozzáadása a Databricks-bővítményhez, majd a fürt indítása

1. Amikor a Konfiguráció nézet már meg van nyitva, válassza ki a klasztert, vagy kattintson a fogaskerék (klaszter konfigurálása) ikonra.

   

2. A Parancs palettán válassza ki a korábban létrehozott fürt nevét.

3. Ha a "Cluster" még nem indult el, kattintson a lejátszás ikonra (Cluster indítása).

3. lépés: Python kód létrehozása és futtatása

1. Hozzon létre egy helyi Python kódfájlt: az oldalsávon kattintson a mappára (Explorer) ikonra.

2. A főmenüben kattintson a File > New File elemre, és válasszon egy Python fájlt. Nevezze el a fájlt demo.py , és mentse a projekt gyökérmappájába.

3. Adja hozzá a következő kódot a fájlhoz, majd mentse. Ez a kód egy alapszintű PySpark DataFrame tartalmát hozza létre és jeleníti meg:

   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   
   spark = SparkSession.builder.getOrCreate()
   
   schema = StructType([
      StructField('CustomerID', IntegerType(), False),
      StructField('FirstName',  StringType(),  False),
      StructField('LastName',   StringType(),  False)
   ])
   
   data = [
      [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
      [ 1001, 'Joost',   'van Brunswijk' ],
      [ 1002, 'Stan',    'Bokenkamp' ]
   ]
   
   customers = spark.createDataFrame(data, schema)
   customers.show()
   

   # +----------+---------+-------------------+
   # |CustomerID|FirstName|           LastName|
   # +----------+---------+-------------------+
   # |      1000|  Mathijs|Oosterhout-Rijntjes|
   # |      1001|    Joost|      van Brunswijk|
   # |      1002|     Stan|          Bokenkamp|
   # +----------+---------+-------------------+
   

4. Kattintson a Szerkesztőfülek listája melletti Futtatás a Databricksen ikonra, majd a Fájl feltöltése és futtatása parancsra. A kimenet a Hibakeresési konzol nézetben jelenik meg.

   

   Alternatívaként az Explorer nézetben kattintson a jobb gombbal a demo.py fájlra, majd kattintson a Run on Databricks>Fájl feltöltése és futtatása lehetőségre.

   

4. lépés: A kód futtatása feladatként

Feladatként való futtatáshoz demo.py kattintson a Szerkesztőfülek listája melletti Futtatás a Databricksen ikonra, majd a Fájl futtatása munkafolyamatként parancsra. A kimenet egy külön szerkesztőlapon jelenik meg a demo.py fájlszerkesztő mellett.

Másik lehetőségként kattintson a jobb gombbal a demo.py fájlra az Explorer panelen, majd válassza a következő lehetőségek közül: Futtatás Databricks-en, vagy Fájl futtatása munkafolyamatként>.

Következő lépések

Most, hogy sikeresen használta a Databricks bővítményt Visual Studio Code egy helyi Python fájl feltöltéséhez és távoli futtatásához, a következőket is megteheti:

• Fedezze fel a deklaratív automatizálási csomagok erőforrásait és változóit az bővítmény felhasználói felületének segítségével. Lásd a Deklaratív Automation Bundles bővítmény funkcióit.
• Futtasson vagy hibakeressen Python kódot a Databricks Connect használatával. Lásd: A Databricks Connect használatával történő kódhibakeresés a Databricks-kiterjesztéshez a Visual Studio Code szoftverhez.
• Fájl vagy jegyzetfüzet futtatása Azure Databricks feladatként. Lásd: Fájl futtatása egy fürtön, vagy fájlként vagy jegyzetfüzetként mint feladat az Azure Databricksben a Visual Studio Code Databricks-bővítményének használatával.
• Teszteket futtass a következővel: pytest. Lásd: Python tesztek futtatása a Databricks bővítmény használatával Visual Studio Code.