Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En este artículo se explica cómo obtener registros de controladores de Spark.
Permisos
El autor de la llamada debe tener permiso de "lectura" en el elemento.
Ámbitos delegados necesarios
Item.Read.All o Item.ReadWrite.All, o uno de los tres grupos siguientes (según el elemento que ha desencadenado la aplicación Spark).
- Notebook.Read.All o Notebook.ReadWrite.All
- SparkJobDefinition.Read.All o SparkJobDefinition.ReadWrite.All
- Lakehouse.Read.All o Lakehouse.ReadWrite.All
Identidades admitidas de Microsoft Entra
Esta API admite las identidades de Microsoft enumeradas en esta sección.
| identidad | Apoyo |
|---|---|
| Usuario | Sí |
| Entidad de servicio e Identidades administradas | Sí |
Obtención de metadatos de registro de controladores
Obtención de los metadatos de un archivo de registro del controlador de una aplicación Spark.
Interfaz
Con attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName}
Sin attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName}
Parámetros del identificador URI
| Nombre | En | Obligatorio | Tipo | Descripción |
|---|---|---|---|---|
| Id del espacio de trabajo | camino | Cierto | cadena UUID | Identificador del área de trabajo. |
| idDeArtículo | camino | Cierto | cadena UUID | Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse. |
| livyId | camino | Cierto | cadena UUID | Identificador de sesión de Livy. |
| ID de la aplicación | camino | Cierto | cuerda / cadena | Identificador de aplicación de Spark, como application_1704417105000_0001. |
| attemptId | camino | Falso | Int | Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento. |
| Nombre del archivo | Query | Cierto | cuerda / cadena | Nombre de archivo específico del que se van a obtener los metadatos. |
Cuerpo de la solicitud
Ninguno
Respuestas
| Nombre | Tipo | Descripción |
|---|---|---|
| 200 Ok | ContainerLogMeta | Solicitud completada correctamente |
Ejemplos
Solicitud de ejemplo
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr
Respuesta de ejemplo
Código de estado: 200
{
"containerId": "container_1741176604085_0001_01_000001",
"nodeId": "vm-76895939:44851"
"containerLogMeta": {
"fileName": "stderr",
"length": 99067,
"lastModified": "2025-03-05T12:31:31.000GMT",
"creationTime": "2025-03-05T10:30:30.000GMT",
"metaData": {}
}
}
Obtención de metadatos de registro de controladores graduales
Obtención de los metadatos de archivos de registro graduales del controlador de una aplicación Spark.
Interfaz
Con attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true
Sin attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true
Con parámetros opcionales:
Con attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}
Sin attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}
Parámetros del identificador URI
| Nombre | En | Obligatorio | Tipo | Descripción |
|---|---|---|---|---|
| Id del espacio de trabajo | camino | Cierto | cadena UUID | Identificador del área de trabajo. |
| idDeArtículo | camino | Cierto | cadena UUID | Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse. |
| livyId | camino | Cierto | cadena UUID | Identificador de sesión de Livy. |
| ID de la aplicación | camino | Cierto | cuerda / cadena | Identificador de aplicación de Spark, como application_1704417105000_0001. |
| attemptId | camino | Falso | Int | Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento. |
| filenamePrefix | Query | Falso | cuerda / cadena | Prefijo de los nombres de archivo de registro por el que filtrar, podría ser "stdout" o "stderr". |
| desplazamiento, máximo de resultados | Query | Falso | Int | Índice inicial y número de archivos de registro que se van a obtener: - Para offset, comienza desde 0. El intervalo válido es de 0 a 20 000. El valor predeterminado es 0. - Para maxResults, el intervalo válido es de 1 a 3000. El valor predeterminado es 3000. |
Cuerpo de la solicitud
Ninguno
Respuestas
| Nombre | Tipo | Descripción |
|---|---|---|
| 200 Ok | ContainerLogMeta | Solicitud completada correctamente |
Ejemplos
Solicitud de ejemplo
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr
Respuesta de ejemplo
Código de estado: 200
{
"containerId": "container_1725346176782_0001_01_000001",
"nodeId": "vm-fe289417:42885",
"containerLogMeta": [
{
"fileName": "stderr",
"length": 205541,
"lastModified": "2024-09-03T07:10:31.000GMT",
"metaData": {}
},
{
"fileName": "stderr-2024-09-03-06",
"length": 100030,
"lastModified": "2024-09-03T06:50:45.000GMT",
"metaData": {}
},
{
"fileName": "stderr-active",
"length": 105511,
"lastModified": "2024-09-03T07:10:31.000GMT",
"metaData": {}
}
]
}
Obtención de contenido de registro de controladores
Obtención del contenido de un archivo de registro del controlador de una aplicación Spark.
Interfaz
Con attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}
Sin attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}
Con parámetros opcionales:
Con attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}
Sin attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}
Parámetros del identificador URI
| Nombre | En | Obligatorio | Tipo | Descripción |
|---|---|---|---|---|
| Id del espacio de trabajo | camino | Cierto | cadena UUID | Identificador del área de trabajo. |
| idDeArtículo | camino | Cierto | cadena UUID | Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse. |
| livyId | camino | Cierto | cadena UUID | Identificador de sesión de Livy. |
| ID de la aplicación | camino | Cierto | cuerda / cadena | Identificador de aplicación de Spark, como application_1704417105000_0001. |
| attemptId | camino | Falso | Int | Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento. |
| Nombre del archivo | Query | Cierto | cuerda / cadena | Nombre de archivo específico del que se va a obtener el contenido |
| ID de contenedor | Query | Falso | cuerda / cadena | Identificador de contenedor del controlador específico. No lo especifique si duda de cuál es el identificador de contenedor del controlador. |
| isDownload | Query | Falso | booleano | True para descargar el archivo de registro como una secuencia. El valor predeterminado es false. |
| esParcial | Query | Falso | booleano | Solo surte efecto cuando isDownload es true. True para descargar una parte del contenido del archivo según el desplazamiento y el tamaño especificados. El valor predeterminado es false para descargar todo el archivo. |
| desplazamiento, tamaño | Query | Falso | largo | Desplazamiento inicial (en bytes) y tamaño (en bytes) para leer el contenido del archivo. Solo surte efecto cuando isDownload = true e isPartial = true - Para offset, comienza desde 0. El intervalo válido es de 0 a 20 000. El valor predeterminado es 0. - Para size, el valor predeterminado es 1M (1024*1024) bytes. Tenga en cuenta que el parámetro "offset" solo es válido mientras la aplicación Spark todavía se está ejecutando. Una vez que la aplicación deja de ejecutarse, el parámetro no tendrá ningún efecto. Considere la posibilidad de usar registros de controladores continuos en su lugar. |
Cuerpo de la solicitud
Ninguno
Respuestas
| Nombre | Tipo | Descripción |
|---|---|---|
| 200 Ok | Solicitud completada correctamente |
Ejemplos
Solicitud de ejemplo
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000
Definiciones
ContainerLogMeta
Objeto
Metadatos de los archivos de registro con la información del contenedor y del nodo correspondientes
| Nombre | Tipo | Descripción |
|---|---|---|
| ID de contenedor | cuerda / cadena | Identificador de contenedor en el que se hospeda el controlador o el ejecutor |
| nodeId | cuerda / cadena | Id. del nodo donde se encuentra el contenedor |
| containerLogMeta | Una sola FileMeta o una lista de FileMeta | Metadatos de un archivo o una lista de archivos |