Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo articolo spiega come ottenere i log dei driver Spark.
Autorizzazioni
Il chiamante deve avere l'autorizzazione "lettura" sull'elemento.
Ambiti delegati obbligatori
Item.Read.All o Item.ReadWrite.All o uno dei tre gruppi seguenti (in base all'elemento che ha attivato l'applicazione Spark).
- Notebook.Read.All o Notebook.ReadWrite.All
- SparkJobDefinition.Leggi.Tutti o SparkJobDefinition.LeggiScrivi.Tutti
- Lakehouse.Read.All o Lakehouse.ReadWrite.All
Identità supportate da Microsoft Entra
Questa API supporta le identità di Microsoft elencate in questa sezione.
| Identità | Assistenza |
|---|---|
| Utente | Sì |
| Principale del servizio e Identità gestite | Sì |
Ottieni i metadati dei registri del driver
Ottenere i metadati di un file di log del driver di un'applicazione Spark.
Interfaccia
Con l'identificativo attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName}
Senza attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName}
Parametri URI
| Nome | In | Obbligatorio | TIPO | Descrizione |
|---|---|---|---|---|
| ID dello spazio di lavoro | sentiero | Vero | string uuid | ID dell'area di lavoro. |
| ID articolo | sentiero | Vero | string uuid | ID dell'elemento del notebook, della definizione del processo Spark o di Lakehouse. |
| livyId | sentiero | Vero | string uuid | L'ID della sessione di Livy. |
| ID dell'app | sentiero | Vero | string | ID dell'applicazione Spark, ad esempio application_1704417105000_0001. |
| ID di tentativo | sentiero | Falso | Int | L'ID del tentativo di quell'ID applicazione. Se non è specificato, viene utilizzato l'ID dell'ultimo tentativo. |
| nome del file | quesito | Vero | string | Nome file specifico di cui ottenere i metadati. |
Corpo della richiesta
Nessuno
Risposte
| Nome | TIPO | Descrizione |
|---|---|---|
| 200 Va bene | ContainerLogMeta | Richiesta completata correttamente |
Esempi
Esempio di richiesta
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr
Risposta di esempio
Codice di stato: 200
{
"containerId": "container_1741176604085_0001_01_000001",
"nodeId": "vm-76895939:44851"
"containerLogMeta": {
"fileName": "stderr",
"length": 99067,
"lastModified": "2025-03-05T12:31:31.000GMT",
"creationTime": "2025-03-05T10:30:30.000GMT",
"metaData": {}
}
}
Ottenere i metadati del log rotativo dei driver
Ottenere i metadati dei file di log a rotazione del driver di un'applicazione Spark.
Interfaccia
Con l'identificativo attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true
Senza attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true
Parametri facoltativi:
Con l'identificativo attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}
Senza attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}
Parametri URI
| Nome | In | Obbligatorio | TIPO | Descrizione |
|---|---|---|---|---|
| ID dello spazio di lavoro | sentiero | Vero | string uuid | ID dell'area di lavoro. |
| ID articolo | sentiero | Vero | string uuid | ID dell'elemento del notebook, della definizione del processo Spark o di Lakehouse. |
| livyId | sentiero | Vero | string uuid | L'ID della sessione di Livy. |
| ID dell'app | sentiero | Vero | string | ID dell'applicazione Spark, ad esempio application_1704417105000_0001. |
| ID di tentativo | sentiero | Falso | Int | L'ID del tentativo di quell'ID applicazione. Se non è specificato, viene utilizzato l'ID dell'ultimo tentativo. |
| Prefisso del nome del file | quesito | Falso | string | Il prefisso dei nomi del file di log da filtrare può essere "stdout" o "stderr". |
| offset, risultatiMassimi | quesito | Falso | Int | Indice iniziale e numero dei file di log da ottenere: - Per l’offset, inizia da 0. L'intervallo valido è compreso tra 0 e 20.000. Il valore predefinito è 0. - Per maxResults, l'intervallo valido è compreso tra 1 e 3.000. Il valore predefinito è 3.000. |
Corpo della richiesta
Nessuno
Risposte
| Nome | TIPO | Descrizione |
|---|---|---|
| 200 Va bene | ContainerLogMeta | Richiesta completata correttamente |
Esempi
Esempio di richiesta
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr
Risposta di esempio
Codice di stato: 200
{
"containerId": "container_1725346176782_0001_01_000001",
"nodeId": "vm-fe289417:42885",
"containerLogMeta": [
{
"fileName": "stderr",
"length": 205541,
"lastModified": "2024-09-03T07:10:31.000GMT",
"metaData": {}
},
{
"fileName": "stderr-2024-09-03-06",
"length": 100030,
"lastModified": "2024-09-03T06:50:45.000GMT",
"metaData": {}
},
{
"fileName": "stderr-active",
"length": 105511,
"lastModified": "2024-09-03T07:10:31.000GMT",
"metaData": {}
}
]
}
Ottieni il contenuto del registro del driver
Ottenere il contenuto di un file di log dei driver di un'applicazione Spark.
Interfaccia
Con l'identificativo attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}
Senza attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}
Parametri facoltativi:
Con l'identificativo attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}
Senza attemptId
https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}
Parametri URI
| Nome | In | Obbligatorio | TIPO | Descrizione |
|---|---|---|---|---|
| ID dello spazio di lavoro | sentiero | Vero | string uuid | ID dell'area di lavoro. |
| ID articolo | sentiero | Vero | string uuid | ID dell'elemento del notebook, della definizione del processo Spark o di Lakehouse. |
| livyId | sentiero | Vero | string uuid | L'ID della sessione di Livy. |
| ID dell'app | sentiero | Vero | string | ID dell'applicazione Spark, ad esempio application_1704417105000_0001. |
| ID di tentativo | sentiero | Falso | Int | L'ID del tentativo di quell'ID applicazione. Se non è specificato, viene utilizzato l'ID dell'ultimo tentativo. |
| nome del file | quesito | Vero | string | Nome file specifico di cui ottenere il contenuto |
| ID del container | quesito | Falso | string | ID del contenitore driver specifico. Lascia non specificato se non sei sicuro di quale sia l'ID del container del driver. |
| èScaricamento | quesito | Falso | bool | Vero per scaricare il file di log come flusso. Il valore predefinito è false. |
| èParziale | quesito | Falso | bool | Ha effetto solo quando isDownload è impostato su vero. Seleziona true per scaricare una parte del contenuto del file in base all'offset e alle dimensioni specificati. L'impostazione predefinita è "false" per scaricare l'intero file. |
| offset, dimensione | quesito | Falso | lungo | L'offset iniziale (in byte) e la dimensione (in byte) per leggere il contenuto del file. Diventa effettivo solo quando isDownload = true e isPartial = true - Per l’offset, inizia da 0. L'intervallo valido è compreso tra 0 e 20.000. Il valore predefinito è 0. - Per le dimensioni, il valore predefinito è 1M (1024*1024) byte. Si noti che il parametro "offset" è valido solo quando l'applicazione Spark è ancora in esecuzione. Una volta arrestata l'esecuzione dell'applicazione, il parametro non avrà alcun effetto. Prendere invece in considerazione l'uso dei log dei driver in sequenza. |
Corpo della richiesta
Nessuno
Risposte
| Nome | TIPO | Descrizione |
|---|---|---|
| 200 Va bene | Richiesta completata correttamente |
Esempi
Esempio di richiesta
GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000
Definizioni
ContainerLogMeta
Oggetto
Metadati dei file di log con le informazioni sul contenitore e sul nodo corrispondenti
| Nome | TIPO | Descrizione |
|---|---|---|
| ID del container | string | ID del contenitore in cui è ospitato il driver o l'executor |
| nodeId | string | ID del nodo in cui si trova il contenitore |
| containerLogMeta | Un singolo FileMeta o un elenco di FileMeta | Metadati di un file o di un elenco di file |