Spark Executor-Protokolle mit Spark-Überwachungs-APIs abrufen

In diesem Artikel wird erklärt, wie Sie Spark Executor-Protokolle abrufen.

Erlaubnisse

Die aufrufende Person muss über die Berechtigung „Lesen“ für das Element verfügen.

Erforderliche delegierte Bereiche

Item.Read.All oder Item.ReadWrite.All oder eine der folgenden drei Gruppen (entsprechend dem Element, das die Spark-Anwendung ausgelöst hat).

  • Notebook.Read.All oder Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All oder SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All oder Lakehouse.ReadWrite.All

Von Microsoft Entra unterstützte Identitäten

Diese API unterstützt die in diesem Abschnitt aufgeführten Microsoft Identitäten.

Identität Unterstützung
Benutzer Ja
Service Principal und Verwaltete Identitäten Ja

Abrufen von Executor-Protokollmetadaten

Abrufen von Metadaten der Protokolldatei(en) von Executoren einer Spark-Anwendung.

Schnittstelle

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Mit optionalen Parametern:

Mit attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
itemId Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die ID der Livy-Sitzung.
appId Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
attemptId Pfad Falsch INT Die Versuchs-ID dieser Anwendungs-ID. Wenn nicht angegeben, wird die ID des letzten Versuchs verwendet.
containerId Anfrage Falsch Schnur Die spezifische Container-ID, die gefiltert werden soll. Wenn nicht angegeben, wird kein Filter auf die Container-ID angewendet.
Dateiname-Präfix Anfrage Falsch Schnur Das Präfix der zu filternden Protokolldateinamen. Wenn nicht angegeben, wird kein Filter auf Dateinamen angewendet.
offset, maxResults Anfrage Falsch INT Der Startindex und die Anzahl der abzurufenden Protokolldateien:
– Für „offset“ beträgt der Mindestwert 0. Der Standardwert ist 0.
– Für „maxResults“ beträgt der gültige Bereich 1 bis 3.000. Der Standardwert ist 3.000.

Antworten

Name Typ BESCHREIBUNG
200 – OK Eine Liste von ContainerLogMeta Anforderung erfolgreich abgeschlossen

Beispiele

Musteranforderung

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Beispielantwort

Statuscode: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Executor-Protokollinhalt abrufen

Rufen Sie den Protokolldateiinhalt eines Executors einer Spark-Anwendung ab.

Schnittstelle

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Mit optionalen Parametern:

Ohne attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

URI-Parameter

Name Geben Sie in Erforderlich Typ BESCHREIBUNG
Arbeitsbereichs-ID Pfad Richtig string uuid Die Arbeitsbereichs-ID.
itemId Pfad Richtig string uuid Dies ist die Element-ID des Notebooks oder der Spark-Auftragsdefinition oder des Lakehouse.
livyId Pfad Richtig string uuid Die ID der Livy-Sitzung.
appId Pfad Richtig Schnur Die Spark-Anwendungs-ID, z. B. application_1704417105000_0001.
Container-ID Anfrage Richtig Schnur Die spezifische Container-ID, die den Executor hostet.
fileName Anfrage Richtig Schnur Der spezifische Dateiname, um den Inhalt abzurufen
size Anfrage Falsch long Die Größe (in Byte), die vom Anfang des Dateiinhalts gelesen werden soll. Der Standardwert ist 1M (1024*1024) Bytes.

Beispiele

Musteranforderung

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on