Obtención de registros de ejecutor de Spark mediante las API de supervisión de Spark

En este artículo se explica cómo obtener registros de ejecutor de Spark.

Permisos

El autor de la llamada debe tener permiso de "lectura" en el elemento.

Ámbitos delegados necesarios

Item.Read.All o Item.ReadWrite.All, o uno de los tres grupos siguientes (según el elemento que ha desencadenado la aplicación Spark).

  • Notebook.Read.All o Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All o SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All o Lakehouse.ReadWrite.All

Identidades admitidas de Microsoft Entra

Esta API admite las identidades de Microsoft enumeradas en esta sección.

identidad Apoyo
Usuario Sí
Entidad de servicio e Identidades administradas Sí

Obtención de metadatos de registro del ejecutor

Obtiene los metadatos de los archivos de registro de los ejecutores de una aplicación spark.

Interfaz

Con attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Sin attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Con parámetros opcionales:

Con attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Sin attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Parámetros del identificador URI

Nombre En Obligatorio Tipo Descripción
workspaceId camino Cierto cadena UUID Identificador del área de trabajo.
itemId camino Cierto cadena UUID Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse.
livyId camino Cierto cadena UUID ID de sesión de Livy.
ID de la aplicación camino Cierto cuerda / cadena Identificador de aplicación de Spark, como application_1704417105000_0001.
attemptId camino Falso int Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento.
ID de contenedor consulta Falso cuerda / cadena Identificador de contenedor específico que se va a filtrar. Si no se especifica, no se aplica ningún filtro al identificador de contenedor.
filenamePrefix consulta Falso cuerda / cadena Prefijo de los nombres de archivo de registro por el que se va a filtrar. Si no se especifica, no se aplica ningún filtro a los nombres de archivo.
offset, maxResults consulta Falso int Índice inicial y número de archivos de registro que se van a obtener:
- Para offset, el mínimo es 0. El valor predeterminado es 0.
- Para maxResults, el intervalo válido es de 1 a 3000. El valor predeterminado es 3000

Respuestas

Nombre Tipo Descripción
200 Ok Lista de ContainerLogMeta Solicitud completada correctamente

Ejemplos

Solicitud de ejemplo

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Respuesta de ejemplo

Código de estado: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Obtención del contenido del registro del ejecutor

Obtenga el contenido de un archivo de registro del ejecutor de una aplicación Spark.

Interfaz

Sin attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Con parámetros opcionales:

Sin attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

Parámetros del identificador URI

Nombre En Obligatorio Tipo Descripción
workspaceId camino Cierto cadena UUID Identificador del área de trabajo.
itemId camino Cierto cadena UUID Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse.
livyId camino Cierto cadena UUID ID de sesión de Livy.
ID de la aplicación camino Cierto cuerda / cadena Identificador de aplicación de Spark, como application_1704417105000_0001.
ID de contenedor consulta Cierto cuerda / cadena Identificador de contenedor específico donde se hospeda el ejecutor.
Nombre del archivo consulta Cierto cuerda / cadena Nombre de archivo específico del que se va a obtener el contenido
tamaño consulta Falso long Tamaño (en bytes) que se va a leer desde el principio del contenido del archivo. El valor predeterminado es 1M (1024*1024) bytes

Ejemplos

Solicitud de ejemplo

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on