Ottenere i log degli Executor di Spark usando le API di monitoraggio di Spark

Questo articolo illustra come ottenere i log degli Executor di Spark.

Autorizzazioni

Il chiamante deve disporre dell'autorizzazione di "lettura" per l'elemento.

Ambiti delegati obbligatori

Item.Read.All o Item.ReadWrite.All o uno dei tre gruppi seguenti (in base all'elemento che ha attivato l'applicazione Spark).

  • Notebook.Read.All o Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All o SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All o Lakehouse.ReadWrite.All

Identità supportate da Microsoft Entra

Questa API supporta le identità di Microsoft elencate in questa sezione.

Identità Assistenza
Utente Sì
Entità servizio e Identità gestite Sì

Recuperare i metadati del log dell'executor

Ottenere i metadati dei file di log degli executor di un'applicazione Spark.

Interfaccia

Con l'identificativo attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Senza ID di tentativo

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Parametri facoltativi:

Con l'identificativo attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Senza ID di tentativo

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Parametri URI

Nome In Obbligatorio TIPO Descrizione
ID dello spazio di lavoro sentiero Vero string uuid ID dell'area di lavoro.
ID articolo sentiero Vero string uuid ID dell'elemento del notebook, della definizione del processo Spark o di Lakehouse.
livyId sentiero Vero string uuid ID della sessione di Livy.
ID dell'app sentiero Vero corda ID dell'applicazione Spark, ad esempio application_1704417105000_0001.
ID di tentativo sentiero Falso Int L'ID del tentativo di quell'ID applicazione. Se non è specificato, viene utilizzato l'ID dell'ultimo tentativo.
ID del contenitore quesito Falso corda L'ID contenitore specifico da filtrare. Se non specificato, non viene applicato alcun filtro all'ID contenitore.
filenamePrefix quesito Falso corda Prefisso dei nomi di file di log da filtrare. Se non specificato, non viene applicato alcun filtro ai nomi di file.
offset, risultatiMassimi quesito Falso Int Indice iniziale e numero dei file di log da ottenere:
- Per offset, il valore minimo è 0. Il valore predefinito è 0.
- Per maxResults, l'intervallo valido è compreso tra 1 e 3.000. Il valore predefinito è 3,000

Risposte

Nome TIPO Descrizione
200 OK Elenco di ContainerLogMeta Richiesta completata correttamente

Esempi

Esempio di richiesta

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Risposta di esempio

Codice di stato: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Ottenere il contenuto del log degli esecutori

Ottenere il contenuto del file di log di un Executor di un'applicazione Spark.

Interfaccia

Senza ID di tentativo

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Parametri facoltativi:

Senza ID di tentativo

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

Parametri URI

Nome In Obbligatorio TIPO Descrizione
ID dello spazio di lavoro sentiero Vero string uuid ID dell'area di lavoro.
ID articolo sentiero Vero string uuid ID dell'elemento del notebook, della definizione del processo Spark o di Lakehouse.
livyId sentiero Vero string uuid ID della sessione di Livy.
appId sentiero Vero corda ID dell'applicazione Spark, ad esempio application_1704417105000_0001.
ID del contenitore quesito Vero corda ID contenitore specifico in cui è ospitato l'Executor.
nome del file quesito Vero corda Nome file specifico di cui ottenere il contenuto
dimensione / taglia quesito Falso lungo La dimensione (in byte) da leggere dall'inizio del contenuto del file. Il valore predefinito è 1 M (1024*1024) byte

Esempi

Esempio di richiesta

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on