用 Spark 監視 API 取得 Spark 執行程式記錄

本文說明如何取得 Spark 執行程式記錄。

權限

呼叫者必須具備項目的「讀取」權限。

必要的委派範圍

Item.Read.All 或 Item.ReadWrite.All 或下列三個群組之一 (需視觸發 Spark 應用程式的項目而定)。

  • Notebook.Read.All 或 Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All 或 SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All 或 Lakehouse.ReadWrite.All

Microsoft Entra 支援的身分識別

此 API 支援本節中列出的Microsoft 身分識別。

身份 支援
使用者 是的
服務主體 和 受控識別 是的

取得執行程序記錄元數據

取得 Spark 應用程式中執行緒記錄檔的元數據。

介面

使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

不使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

使用選擇性參數：

使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

不使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

URI 參數

名稱 在 為必填項目 類型 說明
工作區ID 路徑 對 字串 UUID 工作區標識碼。
項目編號 路徑 對 字串 UUID 筆記本、Spark 工作定義或 Lakehouse 的項目 ID。
livyId 路徑 對 字串 UUID Livy 會話識別碼。
應用程式ID 路徑 對 字串 Spark 應用程式識別碼，例如 application_1704417105000_0001。
attemptId 路徑 否 整數 (int) 該應用程式識別碼的嘗試編號。 若未指定，則會使用最後嘗試的識別碼。
容器識別碼 查詢 否 字串 要篩選的特定容器識別碼。 若未指定，則容器識別碼不會套用任何篩選條件。
檔名前綴 查詢 否 字串 要篩選的記錄檔名稱前置詞。 若未指定，則檔案名稱不會套用任何篩選條件。
偏移、最大結果數 查詢 否 整數 (int) 要取得的記錄檔案數目與起始索引：
- 位移的最小值為 0。 預設值為 0。
- maxResults 的有效範圍為 1 到 3,000。 預設值為 3,000

反應

名稱 類型 說明
200 確定 ContainerLogMeta 的清單 要求成功完成

範例

範例要求

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

範例回應

狀態碼：200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

取得執行程式記錄內容

取得 Spark 應用程式執行程式的記錄檔內容。

介面

不使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

使用選擇性參數：

不使用 attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

URI 參數

名稱 在 為必填項目 類型 說明
工作區ID 路徑 對 字串 UUID 工作區標識碼。
項目編號 路徑 對 字串 UUID 筆記本、Spark 工作定義或 Lakehouse 的項目 ID。
livyId 路徑 對 字符串 UUID Livy 會話識別碼。
應用程式ID 路徑 對 字串 Spark 應用程式識別碼，例如 application_1704417105000_0001。
容器識別碼 查詢 對 字串 託管執行程式的特定容器識別碼。
檔名 查詢 對 字串 要獲取內容的特定檔案名稱
尺寸 查詢 否 長 要從檔案內容起始讀取的大小（以位元組數表示）。 預設值為 1M (1024*1024) 位元組

範例

範例要求

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on