Σενάριο από άκρο σε άκρο στο Lakehouse: επισκόπηση και αρχιτεκτονική

Το Microsoft Fabric είναι μια λύση ανάλυσης όλα σε ένα για επιχειρήσεις που καλύπτει τα πάντα, από τη μετακίνηση δεδομένων έως την επιστήμη των δεδομένων, την ανάλυση σε πραγματικό χρόνο και την επιχειρηματική ευφυΐα. Προσφέρει μια ολοκληρωμένη οικογένεια υπηρεσιών, συμπεριλαμβανομένης της λίμνης δεδομένων, της μηχανικής δεδομένων και της ενοποίησης δεδομένων, όλα σε ένα σημείο. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι το Microsoft Fabric;

Αυτό το εκπαιδευτικό βοήθημα σάς καθοδηγεί σε ένα σενάριο από την απόκτηση δεδομένων έως την κατανάλωση δεδομένων. Σας βοηθά να δημιουργήσετε μια βασική κατανόηση του Fabric, συμπεριλαμβανομένων των διαφορετικών εμπειριών και του τρόπου ενσωμάτωσής τους, καθώς και των επαγγελματικών εμπειριών προγραμματιστών που παρέχονται με την εργασία σε αυτή την πλατφόρμα. Αυτό το εκπαιδευτικό βοήθημα δεν προορίζεται να είναι μια αρχιτεκτονική αναφοράς, μια εξαντλητική λίστα δυνατοτήτων και λειτουργιών ή μια πρόταση για συγκεκριμένες βέλτιστες πρακτικές.

Σενάριο από άκρο σε άκρο στο Lakehouse

Παραδοσιακά, οι οργανισμοί δημιουργούν σύγχρονες αποθήκες δεδομένων για τις ανάγκες τους ανάλυσης συναλλαγών και δομημένων δεδομένων. Και λίμνες δεδομένων για μεγάλες ανάγκες ανάλυσης δεδομένων (ημι-δομημένες). Αυτά τα δύο συστήματα έτρεχαν παράλληλα, δημιουργώντας σιλό, διπλότυπα δεδομένων και αυξημένο συνολικό κόστος κυριότητας.

Το Fabric με την ενοποίηση του χώρου αποθήκευσης δεδομένων και την τυποποίηση σε μορφή Delta Lake σάς επιτρέπει να εξαλείψετε τα σιλό, να καταργήσετε την αντιγραφή δεδομένων και να μειώσετε δραστικά το συνολικό κόστος ιδιοκτησίας.

Με την ευελιξία που προσφέρει το Fabric, μπορείτε να εφαρμόσετε αρχιτεκτονικές lakehouse ή αποθήκης δεδομένων ή να τις συνδυάσετε για να αξιοποιήσετε στο έπακρο την απλή υλοποίηση. Σε αυτή την εκμάθηση, θα πάρετε ένα παράδειγμα ενός οργανισμού λιανικής πώλησης και θα δημιουργήσετε το lakehouse του από την αρχή μέχρι το τέλος. Χρησιμοποιεί την αρχιτεκτονική μεταλλίων όπου το χάλκινο στρώμα έχει τα ανεπεξέργαστα δεδομένα, το ασημένιο στρώμα έχει τα επικυρωμένα και deduplicated δεδομένα και το χρυσό στρώμα έχει εξαιρετικά βελτιστοποιημένα δεδομένα. Μπορείτε να χρησιμοποιήσετε την ίδια προσέγγιση για να υλοποιήσετε ένα lakehouse για οποιονδήποτε οργανισμό από οποιονδήποτε κλάδο.

Αυτό το εκπαιδευτικό βοήθημα εξηγεί πώς ένας προγραμματιστής στην φανταστική εταιρεία Εισαγωγών Wide World από τον τομέα λιανικής πώλησης ολοκληρώνει τα ακόλουθα βήματα:

1. Εισέλθετε στον λογαριασμό σας Power BI και εγγραφείτε για τη δωρεάν δοκιμαστική έκδοση του Microsoft Fabric. Εάν δεν έχετε μια άδεια χρήσης Power BI, εγγραφείτε για μια δωρεάν άδεια χρήσης Fabric και, στη συνέχεια, μπορείτε να ξεκινήσετε τη δοκιμαστική έκδοση Fabric.

2. Δημιουργήστε και υλοποιήστε ένα από άκρο σε άκρο lakehouse για τον οργανισμό σας:

   • Δημιουργήστε έναν χώρο εργασίας Fabric.
   • Δημιουργήστε ένα lakehouse.
   • Πρόσληψη δεδομένων, μετασχηματισμός δεδομένων και φόρτωσή τους στο lakehouse. Μπορείτε επίσης να εξερευνήσετε το OneLake, ένα αντίγραφο των δεδομένων σας σε λειτουργία lakehouse και λειτουργία τελικού σημείου ανάλυσης SQL.
   • Συνδεθείτε στο lakehouse σας χρησιμοποιώντας το τελικό σημείο ανάλυσης SQL και δημιουργήστε ένα σημασιολογικό μοντέλο και δημιουργήστε μια αναφορά για να αναλύσετε δεδομένα πωλήσεων σε διαφορετικές διαστάσεις.
   • Προαιρετικά, μπορείτε να οργανώσετε και να προγραμματίσετε την πρόσληψη δεδομένων και τη ροή μετασχηματισμού με μια διοχέτευση. Οι διοχετεύσεις περιλαμβάνουν δραστηριότητες που εστιάζουν στο Lakehouse, όπως η δραστηριότητα συντήρησης Lakehouse (για την αυτοματοποίηση της συντήρησης πίνακα Delta με OPTIMIZE και VACUUM) και η δραστηριότητα τελικού σημείου ανανέωσης SQL (για να διατηρείται συγχρονισμένο το τελικό σημείο ανάλυσης SQL μετά τη φόρτωση δεδομένων). Το εργαλείο δημιουργίας παραστάσεων διοχέτευσης περιλαμβάνει επίσης βοήθεια Copilot για ταχύτερη και ακριβέστερη σύνταξη παραστάσεων. Για λεπτομέρειες, ανατρέξτε στο θέμα Δραστηριότητα συντήρησης Lakehouse.

3. Κάντε εκκαθάριση των πόρων , διαγράφοντας τον χώρο εργασίας και άλλα στοιχεία.

Αρχιτεκτονική

Η παρακάτω εικόνα δείχνει την ολοκληρωμένη αρχιτεκτονική της λίμνης. Τα στοιχεία που εμπλέκονται περιγράφονται στην παρακάτω λίστα.

• Προελεύσεις δεδομένων: Το Fabric διευκολύνει και επιταχύνει τη σύνδεση στις Υπηρεσίες δεδομένων Azure, καθώς και σε άλλες πλατφόρμες που βασίζονται στο cloud και σε προελεύσεις δεδομένων εσωτερικής εγκατάστασης, για βελτιωμένη πρόσληψη δεδομένων.

• Πρόσληψη δεδομένων: Μπορείτε να δημιουργήσετε γρήγορα πληροφορίες για τον οργανισμό σας χρησιμοποιώντας περισσότερες από 200 εγγενείς συνδέσεις. Αυτές οι συνδέσεις ενοποιούνται στη διοχέτευση Fabric και χρησιμοποιούν τον φιλικό προς τον χρήστη μετασχηματισμό δεδομένων μεταφοράς και απόθεσης με τη ροή δεδομένων. Επιπλέον, με τη δυνατότητα Συντόμευση στο Fabric μπορείτε να συνδεθείτε σε υπάρχοντα δεδομένα, χωρίς να χρειάζεται να τα αντιγράψετε ή να τα μετακινήσετε. Οι συντομεύσεις OneLake μπορούν επίσης να αναφέρονται σε προϊόντα δεδομένων μεταξύ ενοικιαστών μέσω της κοινής χρήσης εξωτερικών δεδομένων OneLake, δίνοντάς σας πρόσβαση σε ζωντανά, ελεγχόμενα λειτουργικά δεδομένα χωρίς αντιγραφή ή δημιουργία αγωγών ETL. Το Fabric περιλαμβάνει επίσης προγράμματα ανάγνωσης αρχείων υψηλής απόδοσης, διανυσματικά για κοινές μορφές όπως CSV (με υποστήριξη JSON που έρχεται) για τη μείωση του λανθάνοντος χρόνου απορρόφησης.

• Μετασχηματισμός και αποθήκευση: Το Fabric τυποποιείται σε μορφή Delta Lake. Το οποίο σημαίνει ότι όλοι οι κινητήρες Fabric μπορούν να έχουν πρόσβαση και να χειρίζονται το ίδιο σύνολο δεδομένων που είναι αποθηκευμένο στο OneLake χωρίς αντιγραφή δεδομένων. Το ενοποιημένο μοντέλο διακυβέρνησης της OneLake διασφαλίζει ότι τα δεδομένα στα οποία έχετε πρόσβαση μέσω συντομεύσεων συμμετέχουν στις ίδιες πολιτικές ασφάλειας και συμμόρφωσης με τα τοπικά αποθηκευμένα δεδομένα, παρέχοντας μια ενιαία εκδοχή της αλήθειας σε ολόκληρο τον οργανισμό. Αυτό το σύστημα αποθήκευσης παρέχει την ευελιξία να δημιουργήσετε lakehouses χρησιμοποιώντας μια αρχιτεκτονική μεταλλίων ή ένα πλέγμα δεδομένων, ανάλογα με τις απαιτήσεις του οργανισμού σας. Μπορείτε να επιλέξετε ανάμεσα σε μια εμπειρία με λίγο ή καθόλου κώδικα για τον μετασχηματισμό δεδομένων, χρησιμοποιώντας είτε διοχετεύσεις/ροές δεδομένων είτε σημειωματάριο/Spark για μια εμπειρία πρώτης χρήσης κώδικα. Οι πίνακες Lakehouse υποστηρίζουν επίσης βελτιστοποιήσεις απόδοσης, όπως η ταξινόμηση Z και η δημιουργία συμπλεγμάτων Liquid για τη βελτίωση της απόδοσης των ερωτημάτων και τη διαχείριση της διάταξης δεδομένων σε κλίμακα. Επιπλέον, τα Materialized Lake Views είναι διαθέσιμα για τον προυπολογισμό και την προσωρινή αποθήκευση αποτελεσμάτων μέσω δεδομένων lakehouse, γεγονός που επιταχύνει τις επαναλαμβανόμενες αναλύσεις. Η λειτουργικότητα μπορεί να περιλαμβάνει αυτοματοποιημένη συντήρηση πινάκων Lakehouse Delta μέσω της δραστηριότητας Lakehouse Maintenance σε διοχετεύσεις και ενεργοποίηση ανανέωσης τελικού σημείου ανάλυσης SQL ως μέρος των βημάτων μετά τη φόρτωση—ανατρέξτε στο προαιρετικό βήμα ενορχήστρωσης διοχέτευσης στην επισκόπηση σεναρίου παραπάνω για λεπτομέρειες.

• Κατανάλωση: Το Power BI μπορεί να καταναλώσει δεδομένα από το Lakehouse για αναφορές και απεικονίσεις. Κάθε Lakehouse έχει ένα ενσωματωμένο τελικό σημείο TDS, το τελικό σημείο ανάλυσης SQL, για εύκολη συνδεσιμότητα και αναζήτηση δεδομένων στους πίνακες Lakehouse από άλλα εργαλεία αναφοράς. Η ενορχήστρωση διοχέτευσης μπορεί να περιλαμβάνει ένα βήμα για την ανανέωση του τελικού σημείου ανάλυσης SQL Lakehouse για να διασφαλιστεί ότι το σχήμα και τα μετα-δεδομένα είναι ενημερωμένα για τα εργαλεία αναφοράς μετά τη φόρτωση δεδομένων—ανατρέξτε στο προαιρετικό βήμα ενορχήστρωσης διοχέτευσης στην επισκόπηση σεναρίου παραπάνω για λεπτομέρειες.

  Μέσω της κοινής χρήσης δεδομένων μεταξύ μισθωτών, οι αναφορές, τα σημασιολογικά μοντέλα και οι φόρτοι εργασίας AI/επιστήμης δεδομένων μπορούν επίσης να καταναλώνουν κοινόχρηστα δεδομένα OneLake πέρα από τα όρια του οργανισμού, επιτρέποντας τη συνεργασία χωρίς αντιγραφή δεδομένων.

Δείγμα συνόλου δεδομένων

Αυτό το εκπαιδευτικό βοήθημα χρησιμοποιεί το δείγμα βάσης δεδομένων Wide World Importers (WWI) που εισάγετε στο lakehouse στο επόμενο πρόγραμμα εκμάθησης. Για το σενάριο lakehouse end-to-end, το σύνολο δεδομένων περιλαμβάνει επαρκή δεδομένα για τη διερεύνηση της κλίμακας και των δυνατοτήτων απόδοσης της πλατφόρμας Fabric.

Οι εισαγωγείς wide world (WWI) είναι ένας εισαγωγέας και διανομέας προϊόντων καινοτομίας χονδρικής που δραστηριοποιούνται από την περιοχή του κόλπου του Σαν Φρανσίσκο. Ως χονδρέμπορος, οι πελάτες του WWI περιλαμβάνουν κυρίως εταιρείες που μεταπωλούν σε μεμονωμένους χρήστες. Το WWI πωλεί σε πελάτες λιανικής πώλησης σε όλες τις Ηνωμένες Πολιτείες, συμπεριλαμβανομένων εξειδικευμένων καταστημάτων, σούπερ μάρκετ, υπολογιστικών καταστημάτων, καταστημάτων τουριστικών αξιοθέατων και ορισμένων ατόμων. Το WWI πωλεί επίσης σε άλλους χονδρέμπορους μέσω ενός δικτύου αντιπροσώπων που προωθούν τα προϊόντα για λογαριασμό του WWI. Για να μάθετε περισσότερα σχετικά με το εταιρικό προφίλ και τη λειτουργία τους, ανατρέξτε στο θέμα Δείγματα βάσεων δεδομένων εισαγωγέων του Wide World για Microsoft SQL.

Σε γενικές γραμμές, τα δεδομένα εισάγονται από συστήματα συναλλαγών ή επιχειρησιακές εφαρμογές σε ένα lakehouse. Ωστόσο, για λόγους απλότητας σε αυτό το σεμινάριο, χρησιμοποιείτε το μοντέλο διαστάσεων που παρέχεται από τον Α' Παγκόσμιο Πόλεμο ως αρχική πηγή δεδομένων. Απορροφάτε τα δεδομένα σε ένα lakehouse και τα μεταμορφώνετε σε διαφορετικά στάδια (Χάλκινο, Ασημένιο και Χρυσό) μιας αρχιτεκτονικής μενταγιόν.

Μοντέλο δεδομένων

Ενώ το μοντέλο διαστάσεων του Α' Παγκοσμίου Πολέμου περιέχει πολλούς πίνακες γεγονότων, αυτό το σεμινάριο χρησιμοποιεί τον πίνακα γεγονότων Sale και τις συσχετισμένες διαστάσεις του. Το παρακάτω παράδειγμα απεικονίζει το μοντέλο δεδομένων WWI:

Ροή δεδομένων και μετασχηματισμού

Όπως περιγράφηκε παραπάνω, αυτό το εκπαιδευτικό βοήθημα χρησιμοποιεί το δείγμα δεδομένων από δείγματα δεδομένων Wide World Importers (WWI) για τη δημιουργία μιας λίμνης από άκρο σε άκρο. Σε αυτή την υλοποίηση, το δείγμα δεδομένων αποθηκεύεται σε έναν λογαριασμό χώρου αποθήκευσης δεδομένων Azure σε μορφή αρχείου Parquet για όλους τους πίνακες. Ωστόσο, σε πραγματικά σενάρια, τα δεδομένα συνήθως προέρχονται από διάφορες προελεύσεις και σε διαφορετικές μορφές.

Η παρακάτω εικόνα εμφανίζει την προέλευση, τον προορισμό και τον μετασχηματισμό δεδομένων:

• Προέλευση δεδομένων: Τα δεδομένα προέλευσης είναι σε μορφή αρχείου Parquet και σε μη κομματική δομή. Αποθηκεύεται σε έναν φάκελο για κάθε πίνακα. Σε αυτό το εκπαιδευτικό βοήθημα, ρυθμίζετε μια διοχέτευση για την πρόσληψη των πλήρων ιστορικών ή εφάπαξ δεδομένων στο lakehouse.

  Σε αυτό το πρόγραμμα εκμάθησης, μπορείτε να χρησιμοποιήσετε τον πίνακα γεγονότων πώλησης , ο οποίος έχει έναν γονικό φάκελο με ιστορικά δεδομένα για 11 μήνες (με έναν υποφάκελο για κάθε μήνα) και έναν άλλο φάκελο που περιέχει επαυξητικά δεδομένα για τρεις μήνες (ένας υποφάκελος για κάθε μήνα). Κατά τη διάρκεια της αρχικής πρόσληψης δεδομένων, 11 μήνες δεδομένων προσμετωπίζονται στον πίνακα lakehouse. Όταν φτάσουν τα επαυξητικά δεδομένα, τα ενημερωμένα δεδομένα Οκτωβρίου και Νοεμβρίου συγχωνεύονται με τα υπάρχοντα δεδομένα και τα νέα δεδομένα Δεκεμβρίου εγγράφονται στον πίνακα lakehouse, όπως φαίνεται στην παρακάτω εικόνα:

  

• Lakehouse: Σε αυτό το εκπαιδευτικό βοήθημα, θα δημιουργήσετε ένα lakehouse, θα αποκτήσετε δεδομένα στο τμήμα αρχείων του lakehouse και, στη συνέχεια, θα δημιουργήσετε πίνακες της λίμνης delta στο τμήμα Πίνακες του lakehouse.

• Μετασχηματισμός: Για την προετοιμασία και τον μετασχηματισμό δεδομένων, αυτό το εκπαιδευτικό βοήθημα καλύπτει δύο διαφορετικές προσεγγίσεις: σημειωματάρια και Spark για μια εμπειρία με προτεραιότητα στον κώδικα και διοχετεύσεις και ροές δεδομένων για μια εμπειρία με λίγο κώδικα ή χωρίς κώδικα. Ο πιο πρόσφατος χρόνος εκτέλεσης Fabric περιλαμβάνει έναν εγγενή μηχανισμό εκτέλεσης που παρέχει σημαντικές βελτιώσεις απόδοσης σε σχέση με το Spark ανοιχτού κώδικα για φόρτους εργασίας σημειωματάριων και Spark. Το εργαλείο δημιουργίας παραστάσεων διοχέτευσης περιλαμβάνει βοήθεια Copilot για να βοηθήσει στη σύνταξη παραστάσεων και στη δημιουργία λογικής διοχέτευσης για ταχύτερη και ακριβέστερη δημιουργία παραστάσεων.

• Κατανάλωση: Το Power BI μπορεί να καταναλώσει δεδομένα από το lakehouse για αναφορές και απεικόνιση. Κάθε lakehouse έχει ένα ενσωματωμένο τελικό σημείο TDS που ονομάζεται τελικό σημείο ανάλυσης SQL για εύκολη συνδεσιμότητα και αναζήτηση δεδομένων στους πίνακες lakehouse από άλλα εργαλεία αναφοράς. Μπορείτε επίσης να χρησιμοποιήσετε το Direct Lake over OneLake για να επιτρέψετε στο Power BI να υποβάλλει ερωτήματα σε πίνακες lakehouse απευθείας χωρίς εισαγωγή ή έναν αποκλειστικό κύκλο ανανέωσης μοντέλου σημασιολογίας. Επιπλέον, μπορείτε να κάνετε τα δεδομένα σας διαθέσιμα σε εργαλεία αναφοράς που δεν ανήκουν στη Microsoft, χρησιμοποιώντας το τελικό σημείο ανάλυσης TDS/SQL για να συνδέσετε και να εκτελέσετε ερωτήματα SQL για ανάλυση.

  Ειδικά για φόρτους εργασίας Spark SQL, οι υπολογιστές-πελάτες συμβατοί με ODBC μπορούν να συνδεθούν χρησιμοποιώντας το πρόγραμμα οδήγησης ODBC Microsoft για Microsoft Fabric Data Engineering (Preview) με έλεγχο ταυτότητας Microsoft Entra ID (αλληλεπιδραστικό, Azure CLI, κύρια υπηρεσία, πιστοποιητικό ή διακριτικό πρόσβασης).

Επόμενο βήμα