Λήψη αρχείων καταγραφής προγραμμάτων οδήγησης Spark με χρήση API παρακολούθησης Spark

Αυτό το άρθρο εξηγεί πώς μπορείτε να λάβετε αρχεία καταγραφής προγραμμάτων οδήγησης Spark.

Δικαιώματα

Ο καλών πρέπει να έχει δικαίωμα "ανάγνωσης" στο στοιχείο.

Απαιτούμενες εμβέλειες με ανάθεση

Item.Read.All ή Item.ReadWrite.All ή μία από τις ακόλουθες τρεις ομάδες (σύμφωνα με το στοιχείο που ενεργοποίησε την εφαρμογή Spark).

  • Notebook.Read.All ή Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All ή SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All ή Lakehouse.ReadWrite.All

Υποστηριζόμενες ταυτότητες Microsoft Entra

Αυτό το API υποστηρίζει τις ταυτότητες Microsoft που παρατίθενται σε αυτή την ενότητα.

Ταυτότητα Υποστηρίζω
Χρήστης Ναι
Υπηρεσίας και διαχειριζόμενες ταυτότητες Ναι

Λήψη μετα-δεδομένων αρχείου καταγραφής προγράμματος οδήγησης

Λήψη μετα-δεδομένων ενός αρχείου καταγραφής του προγράμματος οδήγησης μιας εφαρμογής Spark.

Διεπαφή

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName} 

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName} 

Παράμετροι URI

Ονομασία Σε Απαραίτητο Τύπος Περιγραφή
workspaceId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό χώρου εργασίας.
itemId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό στοιχείου του ορισμού εργασίας Notebook ή Spark ή Lakehouse.
livyId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό της συνεδρίας Livy.
appId μονοπάτι Ενεργή συμβολοσειρά Το αναγνωριστικό εφαρμογής Spark, όπως application_1704417105000_0001.
attemptId μονοπάτι Ανενεργή ακέραιος Το αναγνωριστικό προσπάθειας αυτού του αναγνωριστικού εφαρμογής. Εάν δεν καθοριστεί, χρησιμοποιείται το αναγνωριστικό της τελευταίας προσπάθειας.
Όνομα_αρχείου ερώτημα Ενεργή συμβολοσειρά Το συγκεκριμένο όνομα αρχείου για λήψη των μετα-δεδομένων.

Σώμα αίτησης

Καμία

Αποκρίσεις

Ονομασία Τύπος Περιγραφή
200 OK ContainerLogMeta Η αίτηση ολοκληρώθηκε με επιτυχία

Παραδείγματα

Δείγμα αίτησης

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr 

Δείγμα απόκρισης

Κωδικός κατάστασης: 200

{ 
   "containerId": "container_1741176604085_0001_01_000001", 
   "nodeId": "vm-76895939:44851" 
   "containerLogMeta": { 
      "fileName": "stderr", 
      "length": 99067, 
      "lastModified": "2025-03-05T12:31:31.000GMT", 
      "creationTime": "2025-03-05T10:30:30.000GMT", 
      "metaData": {} 
   } 
} 

Λήψη μετα-δεδομένων αρχείου καταγραφής κυλιόμενου προγράμματος οδήγησης

Λήψη μετα-δεδομένων κυλιόμενων αρχείων καταγραφής του προγράμματος οδήγησης μιας εφαρμογής Spark.

Διεπαφή

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true 

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true

Με προαιρετικές παραμέτρους:

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Παράμετροι URI

Ονομασία Σε Απαραίτητο Τύπος Περιγραφή
workspaceId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό χώρου εργασίας.
itemId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό στοιχείου του ορισμού εργασίας Notebook ή Spark ή Lakehouse.
livyId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό της συνεδρίας Livy.
appId μονοπάτι Ενεργή συμβολοσειρά Το αναγνωριστικό εφαρμογής Spark, όπως application_1704417105000_0001.
attemptId μονοπάτι Ανενεργή ακέραιος Το αναγνωριστικό προσπάθειας αυτού του αναγνωριστικού εφαρμογής. Εάν δεν καθοριστεί, χρησιμοποιείται το αναγνωριστικό της τελευταίας προσπάθειας.
filenamePrefix ερώτημα Ανενεργή συμβολοσειρά Το πρόθεμα των ονομάτων αρχείων καταγραφής για φιλτράρισμα, θα μπορούσε να είναι είτε "stdout" είτε "stderr".
offset, maxResults ερώτημα Ανενεργή ακέραιος Το ευρετήριο εκκίνησης και ο αριθμός των αρχείων καταγραφής που θα λάβετε:
- Για μετατόπιση, ξεκινά από το 0. Η έγκυρη περιοχή είναι 0 έως 20.000. Η προεπιλεγμένη τιμή είναι 0.
- Για το maxResults, η έγκυρη περιοχή είναι 1 έως 3.000. Η προεπιλεγμένη τιμή είναι 3.000.

Σώμα αίτησης

Καμία

Αποκρίσεις

Ονομασία Τύπος Περιγραφή
200 OK ContainerLogMeta Η αίτηση ολοκληρώθηκε με επιτυχία

Παραδείγματα

Δείγμα αίτησης

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr

Δείγμα απόκρισης

Κωδικός κατάστασης: 200

{
	"containerId": "container_1725346176782_0001_01_000001",
	"nodeId": "vm-fe289417:42885",
	"containerLogMeta": [
		{
			"fileName": "stderr",
			"length": 205541,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-2024-09-03-06",
			"length": 100030,
			"lastModified": "2024-09-03T06:50:45.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-active",
			"length": 105511,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		}
	]
}

Λήψη περιεχομένου αρχείου καταγραφής προγράμματος οδήγησης

Λήψη περιεχομένου αρχείου καταγραφής του προγράμματος οδήγησης μιας εφαρμογής Spark.

Διεπαφή

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName} 

Με προαιρετικές παραμέτρους:

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

Παράμετροι URI

Ονομασία Σε Απαραίτητο Τύπος Περιγραφή
workspaceId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό χώρου εργασίας.
itemId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό στοιχείου του ορισμού εργασίας Notebook ή Spark ή Lakehouse.
livyId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό της συνεδρίας Livy.
appId μονοπάτι Ενεργή συμβολοσειρά Το αναγνωριστικό εφαρμογής Spark, όπως application_1704417105000_0001.
attemptId μονοπάτι Ανενεργή ακέραιος Το αναγνωριστικό προσπάθειας αυτού του αναγνωριστικού εφαρμογής. Εάν δεν καθοριστεί, χρησιμοποιείται το αναγνωριστικό της τελευταίας προσπάθειας.
Όνομα_αρχείου ερώτημα Ενεργή συμβολοσειρά Το συγκεκριμένο όνομα αρχείου για τη λήψη του περιεχομένου
containerId ερώτημα Ανενεργή συμβολοσειρά Το αναγνωριστικό κοντέινερ συγκεκριμένου προγράμματος οδήγησης. Αφήστε το να μην καθορίζεται εάν δεν είστε βέβαιοι για το αναγνωριστικό κοντέινερ οδηγού.
isDownload ερώτημα Ανενεργή δυαδ. Είναι αλήθεια ότι μπορείτε να κάνετε λήψη του αρχείου καταγραφής ως ροή. Προεπιλογή ως false.
isPartial ερώτημα Ανενεργή δυαδ. Να ισχύει μόνο όταν η isDownload είναι true. Είναι αλήθεια ότι μπορείτε να κάνετε λήψη ενός τμήματος του περιεχομένου αρχείου σύμφωνα με τη δεδομένη μετατόπιση και μέγεθος. Προεπιλεγμένη τιμή ως false για τη λήψη ολόκληρου του αρχείου.
μετατόπιση, μέγεθος ερώτημα Ανενεργή μακρύς Η μετατόπιση εκκίνησης (σε byte) και το μέγεθος (σε byte) για την ανάγνωση του περιεχομένου αρχείου. Να ισχύει μόνο όταν το isDownload = true και isPartial = true
- Για μετατόπιση, ξεκινά από το 0. Η έγκυρη περιοχή είναι 0 έως 20.000. Η προεπιλεγμένη τιμή είναι 0.
- Για το μέγεθος, η προεπιλεγμένη τιμή είναι 1M (1024*1024) byte.
Σημειώστε ότι η παράμετρος "μετατόπιση" είναι έγκυρη μόνο ενώ η εφαρμογή Spark εξακολουθεί να εκτελείται. Όταν η εφαρμογή σταματήσει να εκτελείται, η παράμετρος δεν θα έχει κανένα αποτέλεσμα. Αντί για αυτό, μπορείτε να χρησιμοποιήσετε τα κυλιόμενα αρχεία καταγραφής προγραμμάτων οδήγησης.

Σώμα αίτησης

Καμία

Αποκρίσεις

Ονομασία Τύπος Περιγραφή
200 OK Η αίτηση ολοκληρώθηκε με επιτυχία

Παραδείγματα

Δείγμα αίτησης

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000

Ορισμοί

ContainerLogMeta

Αντικείμενο

Μετα-δεδομένα αρχείων καταγραφής με τις αντίστοιχες πληροφορίες κοντέινερ και κόμβου

Ονομασία Τύπος Περιγραφή
containerId συμβολοσειρά Το αναγνωριστικό κοντέινερ στο οποίο φιλοξενείται το πρόγραμμα οδήγησης ή το εκτελέσιμο αρχείο
nodeId συμβολοσειρά Το αναγνωριστικό κόμβου όπου εντοπίζει το κοντέινερ
containerLogMeta Ένα μόνο FileMeta ή μια λίστα του FileMeta Τα μετα-δεδομένα ενός αρχείου ή μιας λίστας αρχείων