รับบันทึกโปรแกรมควบคุม Spark โดยใช้การตรวจสอบ Spark APIs

บทความนี้อธิบายวิธีการรับบันทึกโปรแกรมควบคุม Spark

สิทธิ์

ผู้เรียกต้องมีสิทธิ์ "อ่าน" บนรายการ

ขอบเขตที่ได้รับมอบสิทธิ์ที่จําเป็น

Item.Read.All หรือ Item.ReadWrite.All หรือหนึ่งในสามกลุ่มต่อไปนี้ (ตามหน่วยข้อมูลที่ทริกเกอร์แอปพลิเคชัน Spark)

  • Notebook.Read.All หรือ Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All หรือ SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All หรือ Lakehouse.ReadWrite.All

ข้อมูลประจําตัวที่สนับสนุนของ Microsoft Entra

API นี้สนับสนุนข้อมูลประจําตัวของ Microsoft แสดงรายการในส่วนนี้

เอกลักษณ์ สนับสนุน
ผู้ใช้ ใช่
บริการหลักและข้อมูลประจําตัว ที่มีการจัดการ ใช่

รับเมตาดาต้าของบันทึกโปรแกรมควบคุม

รับเมตาดาต้าของไฟล์บันทึกของโปรแกรมควบคุมของแอปพลิเคชัน Spark

อิน เทอร์ เฟซ

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName}

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName}

พารามิเตอร์ URI

ชื่อ ใน จำเป็น ขนิด คำอธิบาย
workspaceId เส้นทาง จริง uuid สตริง ID พื้นที่ทํางาน
itemId เส้นทาง จริง uuid สตริง ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId เส้นทาง จริง uuid สตริง รหัสเซสชัน Livy
appId เส้นทาง จริง สตริง ID แอปพลิเคชัน Spark เช่น application_1704417105000_0001
attemptId เส้นทาง ปลอม int ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
fileName การสอบถาม จริง สตริง ชื่อไฟล์เฉพาะเพื่อรับเมตาดาต้าของ

เนื้อความคำขอ

ไม่มี

การตอบสนอง

ชื่อ ขนิด คำอธิบาย
200 ตกลง ContainerLogMeta คําขอเสร็จสมบูรณ์

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr

การตอบกลับตัวอย่าง

รหัสสถานะ: 200

{ 
   "containerId": "container_1741176604085_0001_01_000001", 
   "nodeId": "vm-76895939:44851" 
   "containerLogMeta": { 
      "fileName": "stderr", 
      "length": 99067, 
      "lastModified": "2025-03-05T12:31:31.000GMT", 
      "creationTime": "2025-03-05T10:30:30.000GMT", 
      "metaData": {} 
   } 
}

รับเมตาดาต้าของบันทึกโปรแกรมควบคุมที่สะสม

รับเมตาดาต้าของการเลื่อนไฟล์บันทึกของโปรแกรมควบคุมของแอปพลิเคชัน Spark

อิน เทอร์ เฟซ

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true

ด้วยพารามิเตอร์ที่เลือกได้:

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

พารามิเตอร์ URI

ชื่อ ใน จำเป็น ขนิด คำอธิบาย
workspaceId เส้นทาง จริง uuid สตริง ID พื้นที่ทํางาน
itemId เส้นทาง จริง uuid สตริง ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId เส้นทาง จริง uuid สตริง รหัสเซสชัน Livy
appId เส้นทาง จริง สตริง ID แอปพลิเคชัน Spark เช่น application_1704417105000_0001
attemptId เส้นทาง ปลอม int ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
filenamePrefix การสอบถาม ปลอม สตริง คํานําหน้าของชื่อไฟล์บันทึกที่จะกรองอาจเป็น "stdout" หรือ "stderr" ได้
offset, maxResults การสอบถาม ปลอม int ดัชนีเริ่มต้นและจํานวนไฟล์บันทึกที่จะได้รับ:
- สําหรับออฟเซต จะเริ่มต้นจาก 0 ช่วงที่ถูกต้องคือ 0 ถึง 20,000 ค่าเริ่มต้นคือ 0
- สําหรับ maxResults ช่วงที่ถูกต้องคือ 1 ถึง 3,000 ค่าเริ่มต้นคือ 3,000

เนื้อความคำขอ

ไม่มี

การตอบสนอง

ชื่อ ขนิด คำอธิบาย
200 ตกลง ContainerLogMeta คําขอเสร็จสมบูรณ์

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr

การตอบกลับตัวอย่าง

รหัสสถานะ: 200

{
	"containerId": "container_1725346176782_0001_01_000001",
	"nodeId": "vm-fe289417:42885",
	"containerLogMeta": [
		{
			"fileName": "stderr",
			"length": 205541,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-2024-09-03-06",
			"length": 100030,
			"lastModified": "2024-09-03T06:50:45.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-active",
			"length": 105511,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		}
	]
}

รับเนื้อหาบันทึกโปรแกรมควบคุม

รับเนื้อหาไฟล์บันทึกของโปรแกรมควบคุมของแอปพลิเคชัน Spark

อิน เทอร์ เฟซ

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}

ด้วยพารามิเตอร์ที่เลือกได้:

ด้วย attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

ไม่มี attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

พารามิเตอร์ URI

ชื่อ ใน จำเป็น ขนิด คำอธิบาย
workspaceId เส้นทาง จริง uuid สตริง ID พื้นที่ทํางาน
itemId เส้นทาง จริง uuid สตริง ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId เส้นทาง จริง uuid สตริง รหัสเซสชัน Livy
appId เส้นทาง จริง สตริง ID แอปพลิเคชัน Spark เช่น application_1704417105000_0001
attemptId เส้นทาง ปลอม int ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
fileName การสอบถาม จริง สตริง ชื่อไฟล์เฉพาะเพื่อรับเนื้อหาของ
containerId การสอบถาม ปลอม สตริง ID คอนเทนเนอร์ของโปรแกรมควบคุมเฉพาะ ปล่อยไว้ไม่ถูกระบุถ้าคุณไม่แน่ใจว่า ID คอนเทนเนอร์ของโปรแกรมควบคุมคืออะไร
isDownload การสอบถาม ปลอม บูล จริงในการดาวน์โหลดไฟล์บันทึกเป็นสตรีม ค่าเริ่มต้นเป็นเท็จ
คือ Partial การสอบถาม ปลอม บูล จะมีผลเมื่อ isDownload เป็นจริงเท่านั้น จริง ในการดาวน์โหลดส่วนหนึ่งของเนื้อหาไฟล์ตามออฟเซตและขนาดที่กําหนด ค่าเริ่มต้นเป็นเท็จเพื่อดาวน์โหลดไฟล์ทั้งหมด
ออฟเซต, ขนาด การสอบถาม ปลอม ยาว ออฟเซตเริ่มต้น (ในไบต์) และขนาด (เป็นไบต์) เพื่ออ่านเนื้อหาของไฟล์ จะมีผลเฉพาะเมื่อ isDownload = true และ isPartial = true
- สําหรับออฟเซต จะเริ่มต้นจาก 0 ช่วงที่ถูกต้องคือ 0 ถึง 20,000 ค่าเริ่มต้นคือ 0
- สําหรับขนาด ค่าเริ่มต้นคือ 1M (1024*1024) ไบต์
โปรดทราบว่าพารามิเตอร์ "offset" จะใช้ได้เฉพาะเมื่อแอปพลิเคชัน Spark ยังคงทํางานอยู่ เมื่อแอปพลิเคชันหยุดทํางาน พารามิเตอร์จะไม่มีผล ลองใช้บันทึกโปรแกรมควบคุมที่ใช้แทน

เนื้อความคำขอ

ไม่มี

การตอบสนอง

ชื่อ ขนิด คำอธิบาย
200 ตกลง คําขอเสร็จสมบูรณ์

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000

คำจำกัดความ

ContainerLogMeta

ออบเจ็กต์

เมตาดาต้าของไฟล์บันทึกที่มีข้อมูลคอนเทนเนอร์และโหนดที่สอดคล้องกัน

ชื่อ ขนิด คำอธิบาย
containerId สตริง ID คอนเทนเนอร์ที่โฮสต์โปรแกรมควบคุมหรือตัวดําเนินการ
nodeId สตริง ID โหนดที่คอนเทนเนอร์ค้นหา
containerLogMeta FileMeta เดียวหรือรายการของ FileMeta เมตาดาต้าของไฟล์หรือรายการของไฟล์
  • Last updated on