Λήψη αρχείων καταγραφής εκτελέσεων Spark με χρήση API παρακολούθησης Spark

Αυτό το άρθρο εξηγεί πώς μπορείτε να λάβετε αρχεία καταγραφής εκτελέσεων Spark.

Δικαιώματα

Ο καλών πρέπει να έχει δικαίωμα "ανάγνωσης" στο στοιχείο.

Απαιτούμενες εμβέλειες με ανάθεση

Item.Read.All ή Item.ReadWrite.All ή μία από τις ακόλουθες τρεις ομάδες (σύμφωνα με το στοιχείο που ενεργοποίησε την εφαρμογή Spark).

  • Notebook.Read.All ή Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All ή SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All ή Lakehouse.ReadWrite.All

Υποστηριζόμενες ταυτότητες Microsoft Entra

Αυτό το API υποστηρίζει τις ταυτότητες Microsoft που παρατίθενται σε αυτή την ενότητα.

Ταυτότητα Υποστηρίζω
Χρήστης Ναι
Υπηρεσίας και διαχειριζόμενες ταυτότητες Ναι

Λήψη μετα-δεδομένων αρχείου καταγραφής εκτελέσεων

Λάβετε μετα-δεδομένα από αρχεία καταγραφής εκτελέσεων μιας εφαρμογής Spark.

Διεπαφή

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

Με προαιρετικές παραμέτρους:

Με το attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Παράμετροι URI

Ονομασία Σε Απαραίτητο Τύπος Περιγραφή
workspaceId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό χώρου εργασίας.
itemId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό στοιχείου του ορισμού εργασίας Notebook ή Spark ή Lakehouse.
livyId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό της συνεδρίας Livy.
appId μονοπάτι Ενεργή συμβολοσειρά Το αναγνωριστικό εφαρμογής Spark, όπως application_1704417105000_0001.
attemptId μονοπάτι Ανενεργή ακέραιος Το αναγνωριστικό προσπάθειας αυτού του αναγνωριστικού εφαρμογής. Εάν δεν καθοριστεί, χρησιμοποιείται το αναγνωριστικό της τελευταίας προσπάθειας.
containerId ερώτημα Ανενεργή συμβολοσειρά Το συγκεκριμένο αναγνωριστικό κοντέινερ για φιλτράρισμα. Εάν δεν καθοριστεί, δεν εφαρμόζεται φίλτρο στο αναγνωριστικό κοντέινερ.
filenamePrefix ερώτημα Ανενεργή συμβολοσειρά Το πρόθεμα των ονομάτων αρχείων καταγραφής για φιλτράρισμα. Εάν δεν καθοριστεί, δεν εφαρμόζεται φίλτρο στα ονόματα αρχείων.
offset, maxResults ερώτημα Ανενεργή ακέραιος Το ευρετήριο εκκίνησης και ο αριθμός των αρχείων καταγραφής που θα λάβετε:
- Για μετατόπιση, η ελάχιστη τιμή είναι 0. Η προεπιλεγμένη τιμή είναι 0.
- Για το maxResults, η έγκυρη περιοχή είναι 1 έως 3.000. Η προεπιλεγμένη τιμή είναι 3.000

Αποκρίσεις

Ονομασία Τύπος Περιγραφή
200 OK Μια λίστα του ContainerLogMeta Η αίτηση ολοκληρώθηκε με επιτυχία

Παραδείγματα

Δείγμα αίτησης

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Δείγμα απόκρισης

Κωδικός κατάστασης: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Λήψη περιεχομένου αρχείου καταγραφής εκτελέσεων

Λάβετε το περιεχόμενο αρχείου καταγραφής ενός εκτελέσιμο αρχείου μιας εφαρμογής Spark.

Διεπαφή

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

Με προαιρετικές παραμέτρους:

Χωρίς attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

Παράμετροι URI

Ονομασία Σε Απαραίτητο Τύπος Περιγραφή
workspaceId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό χώρου εργασίας.
itemId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό στοιχείου του ορισμού εργασίας Notebook ή Spark ή Lakehouse.
livyId μονοπάτι Ενεργή uuid συμβολοσειράς Το αναγνωριστικό της συνεδρίας Livy.
appId μονοπάτι Ενεργή συμβολοσειρά Το αναγνωριστικό εφαρμογής Spark, όπως application_1704417105000_0001.
containerId ερώτημα Ενεργή συμβολοσειρά Το συγκεκριμένο αναγνωριστικό κοντέινερ όπου φιλοξενείται ο εκτέλεση.
Όνομα_αρχείου ερώτημα Ενεργή συμβολοσειρά Το συγκεκριμένο όνομα αρχείου για τη λήψη του περιεχομένου
size ερώτημα Ανενεργή μακρύς Το μέγεθος (σε byte) για ανάγνωση από την αρχή του περιεχομένου αρχείου. Η προεπιλεγμένη τιμή είναι 1M (1024*1024) byte

Παραδείγματα

Δείγμα αίτησης

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout
  • Last updated on