Εργασία με δεδομένα πελατών στο Fabric

Το Microsoft Fabric OneLake είναι μια ενοποιημένη, λογική λίμνη δεδομένων για ολόκληρο τον οργανισμό, η οποία έχει σχεδιαστεί για να είναι το μοναδικό σημείο για όλα τα δεδομένα ανάλυσης. Παρέχεται αυτόματα με κάθε μισθωτή Microsoft Fabric και βασίζεται στο Azure Data Lake Storage (ADLS) Gen2. Το OneLake υποστηρίζει οποιονδήποτε τύπο αρχείου, δομημένο ή μη δομημένο και αποθηκεύει όλα τα δεδομένα σε μορφή πίνακα σε μορφή Delta Parquet. Επιτρέπει τη συνεργασία σε διαφορετικούς επιχειρηματικούς ομίλους, παρέχοντας μια μοναδική λίμνη δεδομένων που διέπεται από προεπιλογή με κατανεμημένη ιδιοκτησία για συνεργασία εντός των ορίων ενός μισθωτή. Το OneLake υποστηρίζει επίσης την κοινή χρήση δεδομένων μεταξύ μισθωτών, επιτρέποντας την ελεγχόμενη πρόσβαση σε κοινόχρηστα σύνολα δεδομένων πέρα από τα όρια μισθωτών του Microsoft Entra. Οι χώροι εργασίας σε έναν μισθωτή επιτρέπουν σε διαφορετικά μέρη του οργανισμού να διανέμουν πολιτικές ιδιοκτησίας και πρόσβασης, ενώ είναι δυνατή η πρόσβαση σε όλα τα δεδομένα στο OneLake μέσω στοιχείων δεδομένων όπως lakehouses και warehouses. Όσον αφορά τους χώρους αποθήκευσης δεδομένων, το OneLake χρησιμεύει ως η κοινή θέση αποθήκευσης για πρόσληψη, μετασχηματισμό, πληροφορίες σε πραγματικό χρόνο και απεικονίσεις επιχειρηματικής ευφυΐας. Συγκεντρώνει τις διαφορετικές υπηρεσίες Fabric και είναι ο χώρος αποθήκευσης για στοιχεία δεδομένων που καταναλώνονται από όλους τους φόρτους εργασίας στο Fabric.

Συντομεύσεις OneLake

Οι συντομεύσεις OneLake είναι ενσωματωμένες αναφορές που παραπέμπουν σε δεδομένα σε εξωτερικά συστήματα αποθήκευσης (όπως το Azure Data Lake Storage, το Amazon S3 ή το Google Cloud Storage) ή σε άλλους χώρους εργασίας και μισθωτές Fabric. Οι συντομεύσεις παρέχουν πρόσβαση μηδενικού αντιγράφου σε δεδομένα χωρίς ETL ή μετεγκατάσταση δεδομένων, κάνοντας τα αναφερόμενα δεδομένα να εμφανίζονται ως μέρος του τοπικού χώρου ονομάτων OneLake. Οι προγραμματιστές φόρτου εργασίας μπορούν να διαβάσουν δεδομένα που αναφέρονται σε συντομεύσεις χρησιμοποιώντας τα ίδια API ADLS Gen2 REST που χρησιμοποιούνται για εγγενή δεδομένα OneLake.

Το Microsoft Fabric Eventhouse παρέχει μια επεκτάσιμη λύση για το χειρισμό και την ανάλυση μεγάλου όγκου δεδομένων, ιδιαίτερα σε σενάρια ανάλυσης σε πραγματικό χρόνο. Τα Eventhouses διαχειρίζονται αποτελεσματικά τις ροές δεδομένων σε πραγματικό χρόνο, επιτρέποντας στους οργανισμούς να απορροφούν, να επεξεργάζονται και να αναλύουν δεδομένα σε σχεδόν πραγματικό χρόνο. Είναι ιδανικά για σενάρια που απαιτούν έγκαιρες πληροφορίες και είναι η προτιμώμενη μηχανή για ημιδομημένη ανάλυση και ανάλυση ελεύθερου κειμένου. Μια βάση δεδομένων Eventhouse είναι ένας χώρος εργασίας βάσεων δεδομένων που μπορούν να χρησιμοποιηθούν από κοινού σε έργα, βελτιστοποιώντας τις επιδόσεις και το κόστος με τη διαχείριση πολλών βάσεων δεδομένων ταυτόχρονα. Τα Eventhouses υποστηρίζουν δεδομένα από πολλές πηγές και μορφές, δημιουργώντας αυτόματα ευρετηρίαση και κατάτμηση δεδομένων με βάση τον χρόνο πρόσληψης.

Πώς μπορείτε να διαβάσετε και να γράψετε δεδομένα στο Microsoft Fabric

Το Microsoft Fabric είναι μια πλατφόρμα που επιτρέπει την αποθήκευση και διαχείριση των δεδομένων των πελατών. Για να διαβάσετε και γράψετε δεδομένα στο Fabric, πρέπει να χρησιμοποιήσετε τα REST API Fabric και τις κατάλληλες μεθόδους ελέγχου ταυτότητας.

Δικαιώματα API

Ορισμένες μέθοδοι πρόσβασης σε δεδομένα πελατών απαιτούν τη χρήση άλλων υπηρεσιών εκτός του Fabric, όπως η Υπηρεσία αποθήκευσης Azure ή η Βάση δεδομένων SQL Azure. Για παράδειγμα, στο δείγμα κιτ προγραμματιστή Microsoft Fabric, το δικαίωμα API Υπηρεσία αποθήκευσης user_impersonation Azure χρησιμοποιείται σε συνδυασμό με την υπηρεσία Power BI Lakehouse.Read.All για πρόσβαση σε δεδομένα από lakehouses.

Μπορείτε να χρησιμοποιήσετε τη Βάση δεδομένων SQL Azure για πρόσβαση σε δεδομένα πίνακα από στοιχεία αποθήκης. Σε αυτήν την περίπτωση, ρυθμίστε τις παραμέτρους της εφαρμογής σας με τη Βάση δεδομένων user_impersonation SQL Azure για υποβολή ερωτήματος στη βάση δεδομένων εκ μέρους του χρήστη και της υπηρεσίας Power BI Warehouse.Read.All για υποβολή ερωτήματος στο τελικό σημείο Λήψη αποθήκης REST Fabric.

Βεβαιωθείτε ότι έχετε ρυθμίσει τις παραμέτρους της εφαρμογής σας Microsoft Entra ID σύμφωνα με τις ανάγκες ανάπτυξής σας.

Για σενάρια κοινής χρήσης δεδομένων μεταξύ μισθωτών, η εφαρμογή που καταναλώνει πρέπει να πραγματοποιήσει έλεγχο ταυτότητας σε σχέση με το Microsoft Entra ID του μισθωτή προέλευσης. Επιβεβαιώστε ότι η καταχώρηση της εφαρμογής περιλαμβάνει τα κατάλληλα πεδία ανάθεσης για τον μισθωτή προέλευσης και ότι ο κάτοχος των δεδομένων έχει εκχωρήσει δικαιώματα OneLake στην εξωτερική ταυτότητα.

Έλεγχος ταυτότητας

Για να μπορέσετε να αρχίσετε να χρησιμοποιείτε τα API REST Fabric ή άλλες υπηρεσίες, όπως η Υπηρεσία αποθήκευσης Azure και η Βάση δεδομένων SQL Azure, εκ μέρους του χρήστη, πρέπει να κάνετε έλεγχο ταυτότητας χρησιμοποιώντας ένα διακριτικό. Αυτό το διακριτικό μπορεί να ληφθεί μέσω μιας διαδικασίας ανταλλαγής διακριτικών.

Το Κιτ ανάπτυξης φόρτου εργασίας Fabric παρέχει μια μέθοδο για την απόκτηση ενός διακριτικού πρόσβασης στο προσκήνιο φόρτου εργασίας. Για παράδειγμα, ανατρέξτε στο θέμα Δείγμα ελεγκτή φόρτου εργασίας.

Αυτό το διακριτικό προγράμματος-πελάτη πρέπει να διαβιβαστεί στο παρασκήνιο φόρτου εργασίας και να ανταλλαστεί χρησιμοποιώντας τη ροή εκ μέρους της ροής για ένα διακριτικό με τις απαραίτητες εμβέλειες για πρόσβαση στους πόρους που χρειάζεστε, όπως το OneLake. Για παράδειγμα, για να αποκτήσει πρόσβαση και ανάγνωση από ένα Lakehouse, ένας χρήστης πρέπει να εξουσιοδοτήσει την εφαρμογή για την πραγματοποίηση κλήσεων API για λογαριασμό του, χρησιμοποιώντας το δικαίωμα Υπηρεσίας αποθήκευσης user_impersonation Azure. Στη συνέχεια, στο παρασκήνιο, το διακριτικό πρόσβασης πρέπει να ληφθεί με την εμβέλεια https://storage.azure.com/user_impersonation ανάθεσης για χρήση της Υπηρεσίας αποθήκευσης Azure.

Εάν αποφασίσετε να χρησιμοποιήσετε sql για να αποκτήσετε πρόσβαση στα δεδομένα των πελατών σας, το διακριτικό πρόσβασης πρέπει να αποκτηθεί με την εμβέλεια https://database.windows.net//user_impersonation χρήσης της Βάσης δεδομένων SQL Azure και του χώρου ονομάτων Microsoft.Data.SqlClient. Το διακριτικό πρόσβασης πρέπει να χρησιμοποιηθεί ως γραμμένο, με δύο καθέτους πριν user_impersonationαπό το , για να επικυρωθεί από την κλάση SQLConnection. Για περισσότερα παραδείγματα ελέγχου ταυτότητας διακριτικού, ανατρέξτε στο δείγμα κιτ προγραμματιστή Microsoft Fabric.

Μπορείτε να βρείτε περισσότερες λεπτομέρειες σχετικά με τον τρόπο απόκτησης ενός διακριτικού στην τεκμηρίωση rest API ανάπτυξης φόρτου εργασίας του Microsoft Fabric.

Ανάγνωση μετα-δεδομένων

Τα REST API fabric παρέχουν έναν τρόπο πρόσβασης στις ιδιότητες του στοιχείου. Για παράδειγμα, η υποβολή ερωτημάτων για το API Get Lakehouse σάς παρέχει τα μετα-δεδομένα για ένα συγκεκριμένο Lakehouse, συμπεριλαμβανομένων χρήσιμων ιδιοτήτων όπως οι διαδρομές OneLake και η συμβολοσειρά σύνδεσης SQL. Ένα άλλο χρήσιμο τελικό σημείο είναι το API Get Warehouse, το οποίο επιστρέφει τις ακόλουθες πληροφορίες:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Εδώ, η ιδιότητα "ConnectionInfo" είναι το πλήρως προσδιορισμένο όνομα τομέα (FQDN) του SQL Server Warehouse. Με αυτό το FQDN, μπορείτε να δημιουργήσετε μια σύνδεση SQL. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Συνδεσιμότητα σε αποθήκευση δεδομένων στο Microsoft Fabric. Για παραδείγματα υλοποίησης, ανατρέξτε στο Κιτ ανάπτυξης φόρτου εργασίας Microsoft Fabric.

Ανάγνωση δεδομένων

Μετά τον έλεγχο ταυτότητας, μπορείτε να συνδεθείτε στο OneLake χρησιμοποιώντας API REST του Azure Data Lake Storage για την ανάγνωση διαφορετικών τύπων δεδομένων. Συνιστούμε τη χρήση του πρωτοκόλλου Delta Lake για την ανάγνωση πινάκων. Μπορείτε επίσης να χρησιμοποιήσετε τα ίδια API για να διαβάσετε πίνακες και αρχεία μέσω συντομεύσεων OneLake. Οι κλήσεις API συμπεριφέρονται το ίδιο με την ανάγνωση εγγενών δεδομένων OneLake, είτε η συντόμευση αναφέρεται σε εξωτερικό χώρο αποθήκευσης είτε σε δεδομένα που κοινοποιούνται από άλλο μισθωτή.

Εναλλακτικά, εάν επιλέξετε να χρησιμοποιήσετε τη Βάση δεδομένων SQL Azure, μπορείτε να εφαρμόσετε την ακόλουθη διαδικασία για την ανάγνωση δεδομένων από μια Αποθήκη.

Δημιουργήστε ένα περιβάλλον εξουσιοδότησης. Για ένα παράδειγμα δημιουργίας ενός περιβάλλοντος εξουσιοδότησης, ανατρέξτε στη μέθοδο AuthenticateDataPlaneCall.
Αποκτήστε ένα διακριτικό με την εμβέλεια Warehouse.Read.All εκ μέρους του χρήστη χρησιμοποιώντας το διακριτικό φορέα που διαβιβάστηκε από το προσκήνιο.
Χρησιμοποιήστε το διακριτικό Fabric για να καλέσετε το API Λήψη αποθήκης. Απαιτείται πρόσβαση στις πληροφορίες σύνδεσης και στο εμφανιζόμενο όνομα της Αποθήκης, που είναι ο αρχικός κατάλογος του διακομιστή.
Λήψη διακριτικού με εμβέλειες SQL εκ μέρους του χρήστη. Για να δημιουργήσετε με επιτυχία μια σύνδεση SQL, χρησιμοποιήστε την εμβέλεια https://database.windows.net//user_impersonation.

Χρησιμοποιήστε το διακριτικό SQL και τις πληροφορίες σύνδεσης για να ανοίξετε μια σύνδεση SQL:

private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

Είναι πλέον δυνατή η ερωτήματα σε αυτήν τη σύνδεση για πρόσβαση σε δεδομένα από την Αποθήκη. Για περισσότερες πληροφορίες σχετικά με τη χρήση του χώρου ονομάτων Microsoft.Data.SqlClient , ανατρέξτε στο θέμα Τεκμηρίωση του χώρου ονομάτων Microsoft.Data.SqlClient.

Eventhouse API

Μετά τον έλεγχο ταυτότητας, μπορείτε να εκτελέσετε ενέργειες όπως δημιουργία Eventhouse, διαγραφή Eventhouse, λήψη λίστας Eventhouses κ.λπ. Ένας τρόπος για να το κάνετε αυτό είναι να χρησιμοποιήσετε την πύλη - Επισκόπηση Eventhouse.

Ο άλλος τρόπος είναι να χρησιμοποιήσετε το Eventhouse Rest API - Eventhouse Rest API overview.

Εξουσιοδοτώ.
Αποκτήστε ένα διακριτικό με το πεδίο FabricEventhouse.Read.All για λογαριασμό του χρήστη χρησιμοποιώντας το διακριτικό κομιστή που μεταβιβάζεται από το προσκήνιο.
Χρησιμοποιήστε το διακριτικό Fabric για να καλέσετε το API Get Eventhouse.
Τώρα, με μια λίστα με τις βάσεις δεδομένων της βάσης δεδομένων της βάσης δεδομένων Eventhouse, μπορείτε να υποβάλετε ερώτημα στη συγκεκριμένη βάση δεδομένων που θέλετε, όπως περιγράφεται στην ενότητα Δεδομένα ερωτήματος παρακάτω.

Ερώτημα δεδομένων

Για να υποβάλετε ερωτήματα σε δεδομένα από μια βάση δεδομένων KQL της βάσης δεδομένων Eventhouse, ακολουθήστε τα εξής βήματα: Πρώτα, πραγματοποιήστε έλεγχο ταυτότητας χρησιμοποιώντας την κατάλληλη μέθοδο. Στη συνέχεια, συνδεθείτε στην Αποθήκη συμβάντων για να ανακτήσετε τη λίστα των βάσεων δεδομένων. Στη συνέχεια, ρωτήστε τη συγκεκριμένη βάση δεδομένων στην οποία θέλετε να αποκτήσετε πρόσβαση. Είναι σημαντικό να γίνεται διάκριση μεταξύ εντολών ερωτήματος, όπως .show tables, και ερωτημάτων δεδομένων, όπως <TableName> | take 10. Για πλήρη τεκμηρίωση σχετικά με το KQL REST API, ανατρέξτε στην τεκμηρίωση του KQL REST API.

Ο άλλος τρόπος είναι να χρησιμοποιήσετε το Eventhouse Rest API - Eventhouse Rest API overview.

Εξουσιοδοτώ.
Αποκτήστε ένα διακριτικό με το KQLDatabase.ReadWrite.All πεδίο εφαρμογής για λογαριασμό του χρήστη χρησιμοποιώντας το διακριτικό κομιστή που πέρασε από το μπροστινό μέρος.
Χρησιμοποιήστε το διακριτικό Kql για να καλέσετε το KQL Rest API.

Εγγραφή δεδομένων

Εκτός από την ανάγνωση δεδομένων με χρήση του διακριτικού, μπορείτε επίσης να χρησιμοποιήσετε ADLS ADLS για την εγγραφή δεδομένων σε πίνακες, όπως περιγράφεται από το πρωτόκολλο Delta Lake.

Μπορείτε επίσης να χρησιμοποιήσετε τα API για να δημιουργήσετε αρχεία και καταλόγους.

Εναλλακτικά, μπορείτε να χρησιμοποιήσετε άλλους φόρτους εργασίας Fabric για την εγγραφή δεδομένων στην πλατφόρμα. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε το API φόρτου εργασίας Lakehouse του Fabric για να φορτώσετε αποτελεσματικά κοινούς τύπους αρχείων σε έναν βελτιστοποιημένο πίνακα Delta. Αυτό γίνεται με την αποστολή μιας αίτησης POST στο τελικό σημείο του API Πίνακας φόρτωσης.

Η σύνδεση SQL μπορεί επίσης να χρησιμοποιηθεί για την εκτέλεση εντολών που εισάγουν δεδομένα σε πίνακες.

Ενσωμάτωση OneLake

Μπορείτε να επιλέξετε να χρησιμοποιήσετε την ενσωμάτωση OneLake στους φόρτους εργασίας σας. Εάν το κάνετε, όταν δημιουργείται ένα νέο στοιχείο για τον φόρτο εργασίας σας, το Fabric θα δημιουργήσει αυτόματα φακέλους για το νέο στοιχείο.

Για να δηλώσετε συμμετοχή, το μανιφέστο XML του στοιχείου σας πρέπει να το δηλώσει ορίζοντας το CreateOneLakeFoldersOnArtifactCreation χαρακτηριστικό σε true. Για παράδειγμα:

<ItemManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">  
  <Item TypeName="Org.WorkloadSample.SampleWorkloadItem" Category="Data" CreateOneLakeFoldersOnArtifactCreation="true">
    <Workload WorkloadName="Org.WorkloadSample" />
    ...
  </Item>
</ItemManifestConfiguration>

Note

Το SchemaVersion πρέπει να οριστεί σε 1.101.0 (ή νεότερες υποστηριζόμενες εκδόσεις).

Η ίδια SchemaVersion πρέπει να οριστεί στο WorkloadManifest.xml:

<WorkloadManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">
  <Workload WorkloadName="Org.WorkloadSample" HostingType="Remote">
  ...
  </Workload>
</WorkloadManifestConfiguration>

Όταν δημιουργείται ένα νέο στοιχείο, δημιουργούνται οι ακόλουθοι ριζικοί φάκελοι στο OneLake:

<WorkspaceID>/<ItemID>/Files

<WorkspaceID>/<ItemID>/Tables

Μπορείτε να δημιουργήσετε πρόσθετους φακέλους κάτω από αυτούς και να τους χρησιμοποιήσετε για την αποθήκευση δεδομένων σε οποιαδήποτε μορφή (κάτω από Files το φάκελο) ή σε μορφή παρκέ (κάτω από Tables το φάκελο). Ακολουθήστε τις παραπάνω οδηγίες για ανάγνωση/εγγραφή από το χώρο αποθήκευσης OneLake.