Spark-végrehajtói naplók lekérése Spark monitorozási API-kkal

Ez a cikk a Spark-végrehajtói naplók lekérését ismerteti.

Engedélyek

A hívónak olvasási engedéllyel kell rendelkeznie az elemen.

Szükséges delegált hatókörök

Item.Read.All vagy Item.ReadWrite.All vagy a következő három csoport egyike (a Spark-alkalmazást aktiváló elem szerint).

  • Notebook.Read.All vagy Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All vagy SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All vagy Lakehouse.ReadWrite.All

Microsoft Entra által támogatott identitások

Ez az API támogatja az ebben a szakaszban felsorolt Microsoft identitásokat.

Személyazonosság Támogatás
Felhasználó Igen
szolgáltatásfelelős és felügyelt identitások Igen

Illesztőprogram-napló metaadatainak lekérése

Egy Spark-alkalmazás illesztőprogramjának naplófájljának metaadatainak lekérése.

Interfész

attemptId azonosítóval

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Megkísérlésazonosító nélkül

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Választható paraméterekkel:

attemptId azonosítóval

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Megkísérlésazonosító nélkül

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

URI-paraméterek

Név In Kötelező Típus szerint Leírás
munkaterület-azonosító útvonal Igaz string uuid A munkaterület azonosítója.
itemId útvonal Igaz string uuid A jegyzetfüzet, a Spark-feladatdefiníció vagy a Lakehouse azonosítója.
livyId útvonal Igaz string uuid A Livy-munkamenet azonosítója.
alkalmazásazonosító útvonal Igaz szál A Spark-alkalmazás azonosítója, például application_1704417105000_0001.
attemptId útvonal Téves Int Az adott alkalmazásazonosító próbálkozásazonosítója. Ha nincs megadva, a rendszer az utolsó kísérlet azonosítóját használja.
konténerAzonosító Lekérdezés Téves szál A szűrni kívánt tárolóazonosító. Ha nincs megadva, a rendszer nem alkalmaz szűrőt a tárolóazonosítóra.
fájlnév előtag Lekérdezés Téves szál A szűrni kívánt naplófájlnevek előtagja. Ha nincs megadva, a rendszer nem alkalmaz szűrőt a fájlnevekre.
eltolás, maxEredmények Lekérdezés Téves Int A lekérendő kezdőindex és naplófájlok száma:
- Az eltolás minimális értéke 0. Az alapértelmezett érték 0.
- MaxResults esetén az érvényes tartomány 1–3000. Az alapértelmezett érték 3000

Válaszok

Név Típus szerint Leírás
200 OK ContainerLogMeta lista A kérelem sikeresen befejeződött

Példák

Mintakérés

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Mintaválasz

Állapotkód: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Végrehajtói napló tartalmának lekérése

Egy Spark-alkalmazás végrehajtójának naplófájl-tartalmának lekérése.

Interfész

Megkísérlésazonosító nélkül

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Választható paraméterekkel:

Megkísérlésazonosító nélkül

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

URI-paraméterek

Név In Kötelező Típus szerint Leírás
munkaterület-azonosító útvonal Igaz string uuid A munkaterület azonosítója.
itemId útvonal Igaz string uuid A jegyzetfüzet, a Spark-feladatdefiníció vagy a Lakehouse azonosítója.
livyId útvonal Igaz string uuid A Livy-munkamenet azonosítója.
alkalmazásazonosító útvonal Igaz szál A Spark-alkalmazás azonosítója, például application_1704417105000_0001.
konténerAzonosító Lekérdezés Igaz szál Az a tárolóazonosító, ahol a végrehajtó üzemel.
fájlnév Lekérdezés Igaz szál A fájl tartalmának lekéréséhez megadott fájlnév
méret Lekérdezés Téves hosszú A fájltartalom elejétől beolvasandó méret (bájtban). Az alapértelmezett érték 1 M (1024*1024) bájt

Példák

Mintakérés

GET https://api.fabric.microsoft.com/v1/workspaces/6e335e92-a2a2-4b5a-970a-bd6a89fbb765/notebooks/cfafbeb1-8037-4d0c-896e-a46fb27ff229/livySessions/431e8d7b-4a95-4c02-8ccd-6faef5ba1bd7/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout

Következő lépések

  • Last updated on