Obtenha logs do executor do Spark usando as APIs de monitoramento do Spark

Este artigo explica como obter logs do Spark Executor.

Permissões

O chamador precisa ter permissão de “leitura” no item.

Escopos delegados obrigatórios

Item.Read.All ou Item.ReadWrite.All ou um dos três grupos a seguir (de acordo com o item que disparou o aplicativo Spark).

  • Notebook.Read.All ou Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All ou SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All ou Lakehouse.ReadWrite.All

Identidades com suporte do Microsoft Entra

Esta API dá suporte às identidades do Microsoft listadas nesta seção.

Identidade Apoio
Utilizador Sim
Entidade de serviço e identidades gerenciadas Sim

Obter metadados de log do executor

Obtenha metadados de arquivos de log de executores de um aplicativo Spark.

Interface

Com attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Sem attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Com parâmetros opcionais:

Com attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Sem attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Parâmetros de URI

Nome Em Obrigatório Tipo Descrição
workspaceId path Verdade string uuid O identificador do espaço de trabalho.
itemId path Verdade string uuid A ID do item do notebook, a definição de tarefa do Spark, ou o Lakehouse.
livyId path Verdade string uuid A ID da sessão do Livy.
ID do aplicativo path Verdade string O ID do aplicativo Spark, como application_1704417105000_0001.
attemptId path Falso int A ID de tentativa dessa ID do aplicativo. Se não for especificado, o ID da última tentativa será usado.
ID do contêiner query Falso string A ID de contêiner específica a ser filtrada. Se não for especificado, nenhum filtro será aplicado à ID do contêiner.
filenamePrefix query Falso string O prefixo de nomes do arquivo de log a serem filtrados. Se não for especificado, nenhum filtro será aplicado a nomes de arquivo.
offset, maxResults query Falso Int O índice inicial e o número de arquivos de log a serem obtidos:
- Para deslocamento, o mínimo é 0. O valor padrão é 0.
- Para maxResults, o intervalo válido é de 1 a 3.000. O valor padrão é 3.000

Respostas

Nome Tipo Descrição
200 OK Uma lista de ContainerLogMeta Solicitação concluída com sucesso

Exemplos

Solicitação de exemplo

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Resposta de exemplo

Código de status: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Obter conteúdo de log do executor

Obtenha o conteúdo do arquivo de log de um executor de um aplicativo Spark.

Interface

Sem attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Com parâmetros opcionais:

Sem attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

Parâmetros de URI

Nome Em Obrigatório Tipo Descrição
workspaceId path Verdade string uuid O identificador do espaço de trabalho.
itemId path Verdade string uuid A ID do item do notebook, a definição de tarefa do Spark, ou o Lakehouse.
livyId path Verdade string uuid A ID da sessão do Livy.
ID do aplicativo path Verdade string O ID do aplicativo Spark, como application_1704417105000_0001.
ID de contêiner consulta Verdade cadeia de caracteres A ID de contêiner específica em que o executor está hospedado.
nome do arquivo consulta Verdade cadeia de caracteres O nome do arquivo específico do qual obter o conteúdo
tamanho consulta Falso long O tamanho (em byte) a ser lido desde o início do conteúdo do arquivo. O valor padrão é 1 M (1024*1024) bytes

Exemplos

Solicitação de exemplo

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on