รับบันทึกตัวดําเนินการ Spark โดยใช้ Api การตรวจสอบ Spark

บทความนี้อธิบายวิธีการรับไฟล์บันทึก Spark Executor

สิทธิ์

ผู้เรียกต้องมีสิทธิ์ "อ่าน" บนรายการ

ขอบเขตที่ได้รับมอบสิทธิ์ที่จําเป็น

Item.Read.All หรือ Item.ReadWrite.All หรือหนึ่งในสามกลุ่มต่อไปนี้ (ตามหน่วยข้อมูลที่ทริกเกอร์แอปพลิเคชัน Spark)

  • Notebook.Read.All หรือ Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All หรือ SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All หรือ Lakehouse.ReadWrite.All

ข้อมูลประจําตัวที่สนับสนุนของ Microsoft Entra

API นี้สนับสนุนข้อมูลประจําตัวของ Microsoft แสดงรายการในส่วนนี้

เอกลักษณ์ สนับสนุน
ผู้ใช้ ใช่
บริการหลักและข้อมูลประจําตัว ที่มีการจัดการ ใช่

รับเมตาดาต้าของไฟล์บันทึกตัวดําเนินการ

รับเมตาดาต้าของไฟล์บันทึกของตัวดําเนินการของแอปพลิเคชัน Spark

อิน เทอร์ เฟซ

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

ด้วยพารามิเตอร์ที่เลือกได้:

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

พารามิเตอร์ URI

ชื่อ ใน จำเป็น ขนิด คำอธิบาย
workspaceId ทาง จริง uuid สตริง ID พื้นที่ทํางาน
itemId ทาง จริง uuid สตริง ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId ทาง จริง uuid สตริง รหัสเซสชัน Livy
appId ทาง จริง string ID แอปพลิเคชัน Spark เช่น application_1704417105000_0001
attemptId ทาง False int ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
containerId การสอบถาม False string ID คอนเทนเนอร์เฉพาะที่จะกรอง ถ้าไม่ได้ระบุ จะไม่มีการใช้ตัวกรองกับรหัสคอนเทนเนอร์
filenamePrefix การสอบถาม False string คํานําหน้าของชื่อไฟล์บันทึกที่จะกรอง ถ้าไม่ได้ระบุ จะไม่มีการใช้ตัวกรองกับชื่อไฟล์
offset, maxResults การสอบถาม False int ดัชนีเริ่มต้นและจํานวนไฟล์บันทึกที่จะได้รับ:
- สําหรับออฟเซต ค่าต่ําสุดคือ 0 ค่าเริ่มต้นคือ 0
- สําหรับ maxResults ช่วงที่ถูกต้องคือ 1 ถึง 3,000 ค่าเริ่มต้นคือ 3,000

การตอบสนอง

ชื่อ ขนิด คำอธิบาย
200 ตกลง รายการของ ContainerLogMeta คําขอเสร็จสมบูรณ์

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

การตอบกลับตัวอย่าง

รหัสสถานะ: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

รับเนื้อหาบันทึกของตัวดําเนินการ

รับเนื้อหาไฟล์บันทึกของผู้ดําเนินการของแอปพลิเคชัน Spark

อิน เทอร์ เฟซ

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

ด้วยพารามิเตอร์ที่เลือกได้:

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

พารามิเตอร์ URI

ชื่อ ใน จำเป็น ขนิด คำอธิบาย
workspaceId ทาง จริง uuid สตริง ID พื้นที่ทํางาน
itemId ทาง จริง uuid สตริง ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId ทาง จริง uuid สตริง รหัสเซสชัน Livy
appId ทาง จริง string ID แอปพลิเคชัน Spark เช่น application_1704417105000_0001
containerId การสอบถาม จริง string ID คอนเทนเนอร์เฉพาะที่ตัวดําเนินการถูกโฮสต์
fileName การสอบถาม จริง string ชื่อไฟล์เฉพาะเพื่อรับเนื้อหาของ
ขนาด การสอบถาม False ยาว ขนาด (เป็นไบต์) ที่จะอ่านจากจุดเริ่มต้นของเนื้อหาไฟล์ ค่าเริ่มต้นคือ 1M (1024*1024) ไบต์

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on