Οδηγός γρήγορης εκκίνησης: Δημιουργία λύσης για τη μετακίνηση και τον μετασχηματισμό δεδομένων

Σε αυτή τη γρήγορη εκκίνηση, θα μάθετε πώς οι ροές δεδομένων και οι διοχετεύσεις συνεργάζονται για να δημιουργήσουν μια ισχυρή λύση Data Factory. Θα καθαρίσετε τα δεδομένα με ροές δεδομένων και θα τα μετακινήσετε με διοχετεύσεις.

Προϋποθέσεις

Πριν ξεκινήσετε, χρειάζεστε:

• Ένας λογαριασμός μισθωτή με ενεργή συνδρομή. Δημιουργήστε έναν δωρεάν λογαριασμό.
• Ένας χώρος εργασίας με δυνατότητα Microsoft Fabric: Ρυθμίστε έναν χώρο εργασίας που δεν είναι ο προεπιλεγμένος χώρος εργασίας μου.
• Μια βάση δεδομένων SQL Azure με δεδομένα πίνακα.
• λογαριασμού χώρου αποθήκευσης αντικειμένων blob .

Σύγκριση ροών δεδομένων και διοχετεύσεων

Το Dataflow Gen2 παρέχει μια διασύνδεση χαμηλού κώδικα με 300+ μετασχηματισμούς που βασίζονται σε δεδομένα και AI. Μπορείτε εύκολα να καθαρίσετε, να προετοιμάσετε και να μεταμορφώσετε δεδομένα με ευελιξία. Οι διοχετεύσεις προσφέρουν πλούσιες δυνατότητες ενορχήστρωσης δεδομένων για τη σύνθεση ευέλικτων ροών εργασίας δεδομένων που ανταποκρίνονται στις ανάγκες της επιχείρησής σας.

Σε μια διοχέτευση, μπορείτε να δημιουργήσετε λογικές ομαδοποιήσεις δραστηριοτήτων που εκτελούν μια εργασία. Αυτό μπορεί να περιλαμβάνει την κλήση μιας ροής δεδομένων για την εκκαθάριση και την προετοιμασία των δεδομένων σας. Παρόλο που υπάρχει κάποια επικάλυψη λειτουργιών μεταξύ των δύο, η επιλογή σας εξαρτάται από το εάν χρειάζεστε τις πλήρεις δυνατότητες των διοχετεύσεων ή μπορείτε να χρησιμοποιήσετε τις απλούστερες δυνατότητες των ροών δεδομένων. Για περισσότερες πληροφορίες, ανατρέξτε στον οδηγό απόφασης Fabric.

Μετασχηματισμός δεδομένων με ροές δεδομένων

Ακολουθήστε αυτά τα βήματα για να ρυθμίσετε τη ροή δεδομένων σας.

Δημιουργία ροής δεδομένων

1. Επιλέξτε τον χώρο εργασίας σας με δυνατότητα Fabric, στη συνέχεια Νέος και επιλέξτε Ροή δεδομένων Gen2.

   

2. Στο πρόγραμμα επεξεργασίας ροής δεδομένων, επιλέξτε Εισαγωγή από SQL Server.

   

Λήψη δεδομένων

1. Στο παράθυρο διαλόγου Σύνδεση σε προέλευση δεδομένων , εισαγάγετε τα στοιχεία της βάσης δεδομένων SQL Azure και επιλέξτε Επόμενο. Χρησιμοποιήστε το δείγμα βάσης δεδομένων AdventureWorksLT από τα προαπαιτούμενα.

   

2. Επιλέξτε τα δεδομένα για μετασχηματισμό, όπως SalesLT.Customer, και χρησιμοποιήστε την επιλογή Επιλογή σχετικών πινάκων για να συμπεριλάβετε σχετικούς πίνακες. Μετά επιλέξτε Δημιουργία.

   

Μεταμορφώστε τα δεδομένα σας

1. Επιλέξτε Προβολή διαγράμματος από τη γραμμή κατάστασης ή το μενού Προβολή στο πρόγραμμα επεξεργασίας Power Query.

   

2. Επιλέξτε με το δεξί μέρος του ερωτήματος πελάτη SalesLT ή επιλέξτε τα κατακόρυφα αποσιωπητικά στα δεξιά του ερωτήματος και, στη συνέχεια, επιλέξτε Συγχώνευση ερωτημάτων.

   

3. Ρυθμίστε τις παραμέτρους της συγχώνευσης με το SalesLTOrderHeader ως τον δεξιό πίνακα, το CustomerID ως τη στήλη συνδέσμου και το Left outer ως τον τύπο συνδέσμου. Επιλέξτε OK.

   

4. Προσθέστε έναν προορισμό δεδομένων επιλέγοντας το σύμβολο της βάσης δεδομένων με ένα βέλος. Επιλέξτε τη βάση δεδομένων SQL Azure ως τύπο προορισμού.

   

5. Καταχωρήστε τις λεπτομέρειες για τη σύνδεση βάσης δεδομένων SQL Azure όπου θα δημοσιευτεί το ερώτημα συγχώνευσης. Σε αυτό το παράδειγμα, χρησιμοποιούμε τη βάση δεδομένων AdventureWorksLT που χρησιμοποιήσαμε ως πηγή δεδομένων και για τον προορισμό.

   

6. Επιλέξτε μια βάση δεδομένων για να αποθηκεύσετε τα δεδομένα και καταχωρήστε ένα όνομα πίνακα και, στη συνέχεια, επιλέξτε Επόμενο.

   

7. Αποδεχτείτε τις προεπιλεγμένες ρυθμίσεις στο παράθυρο διαλόγου Επιλογή ρυθμίσεων προορισμού και επιλέξτε Αποθήκευση ρυθμίσεων.

   

8. Επιλέξτε Δημοσίευση στο πρόγραμμα επεξεργασίας ροής δεδομένων για να δημοσιεύσετε τη ροή δεδομένων.

   

Μετακίνηση δεδομένων με διοχετεύσεις

Τώρα που έχετε δημιουργήσει μια ροή δεδομένων Gen2, μπορείτε να την χρησιμοποιήσετε σε μια διοχέτευση. Σε αυτό το παράδειγμα, αντιγράφετε τα δεδομένα που δημιουργούνται από τη ροή δεδομένων σε μορφή κειμένου σε έναν λογαριασμό χώρου αποθήκευσης αντικειμένων blob Azure.

Δημιουργία νέας διοχέτευσης

1. Στον χώρο εργασίας σας, επιλέξτε Νέο και, στη συνέχεια, Διοχέτευση.

   

2. Ονομάστε τη διοχέτευση και επιλέξτε Δημιουργία.

   

Ρύθμιση παραμέτρων της ροής δεδομένων σας

1. Προσθέστε μια δραστηριότητα ροής δεδομένων στη διοχέτευσή σας επιλέγοντας Ροή δεδομένων στην καρτέλα Δραστηριότητες .

   

2. Επιλέξτε τη ροή δεδομένων στον καμβά διοχέτευσης, μεταβείτε στην καρτέλα Ρυθμίσεις και επιλέξτε τη ροή δεδομένων που δημιουργήσατε νωρίτερα.

   

3. Επιλέξτε Αποθήκευση και, στη συνέχεια, Εκτέλεση για να συμπληρώσετε τον συγχωνευμένο πίνακα ερωτημάτων.

   

Προσθήκη δραστηριότητας αντιγραφής

1. Επιλέξτε Αντιγραφή δεδομένων στον καμβά ή χρησιμοποιήστε τον Βοηθό αντιγραφής από την καρτέλα Δραστηριότητες.

   

2. Επιλέξτε Βάση δεδομένων SQL Azure ως προέλευση δεδομένων και επιλέξτε Επόμενο.

   

3. Δημιουργήστε μια σύνδεση με την προέλευση δεδομένων σας, επιλέγοντας Δημιουργία νέας σύνδεσης. Συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης στον πίνακα και εισαγάγετε το AdventureWorksLT για τη βάση δεδομένων, όπου δημιουργήσαμε το ερώτημα συγχώνευσης στη ροή δεδομένων. Στη συνέχεια, επιλέξτε Επόμενο.

   

4. Επιλέξτε τον πίνακα που δημιουργήσατε στο βήμα ροής δεδομένων νωρίτερα και, στη συνέχεια, επιλέξτε Επόμενο.

   

5. Για τον προορισμό σας, επιλέξτε Χώρος αποθήκευσης αντικειμένων blob Azure και, στη συνέχεια, επιλέξτε Επόμενο.

   

6. Δημιουργήστε μια σύνδεση στον προορισμό σας επιλέγοντας Δημιουργία νέας σύνδεσης. Καταχωρήστε τις λεπτομέρειες για τη σύνδεσή σας και, στη συνέχεια, επιλέξτε Επόμενο.

   

7. Επιλέξτε διαδρομή φακέλου και εισαγάγετε έναΌνομα αρχείου και, στη συνέχεια, επιλέξτε Επόμενο.

   

8. Επιλέξτε ξανά Επόμενο για να αποδεχτείτε την προεπιλεγμένη μορφή αρχείου, οριοθέτη στήλης, οριοθέτη γραμμής και τύπο συμπίεσης, προαιρετικά συμπεριλαμβανομένης μιας κεφαλίδας.

   

9. Οριστικοποιήστε τις ρυθμίσεις σας. Στη συνέχεια, εξετάστε και επιλέξτε Αποθήκευση + Εκτέλεση για να ολοκληρώσετε τη διαδικασία.

   

Σχεδιάστε τη διοχέτευσή σας και αποθηκεύστε για εκτέλεση και φόρτωση δεδομένων

1. Για να εκτελέσετε τη δραστηριότητα Αντιγραφή μετά τη δραστηριότητα ροής δεδομένων , σύρετε από Με επιτυχία στη δραστηριότητα ροής δεδομένων στη δραστηριότητα Αντιγραφή Αντιγραφή. Η δραστηριότητα Αντιγραφή εκτελείται μόνο αφού ολοκληρωθεί με επιτυχία η δραστηριότητα ροής δεδομένων .

   

2. Επιλέξτε Αποθήκευση για να αποθηκεύσετε τη διοχέτευσή σας. Στη συνέχεια, επιλέξτε Εκτέλεση για να εκτελέσετε τη διοχέτευση και να φορτώσετε τα δεδομένα σας.

   

Προγραμματισμός εκτέλεσης διοχέτευσης

Μόλις ολοκληρώσετε την ανάπτυξη και τη δοκιμή της διοχέτευσής σας, μπορείτε να προγραμματίσετε την αυτόματη εκτέλεσή της.

1. Στην καρτέλα Αρχική του παραθύρου προγράμματος επεξεργασίας διοχέτευσης, επιλέξτε Χρονοδιάγραμμα.

   

2. Ρυθμίστε τις παραμέτρους του χρονοδιαγράμματος όπως απαιτείται. Το παράδειγμα εδώ προγραμματίζει τη διοχέτευση να λειτουργεί καθημερινά στις 8:00 μ.μ. μέχρι το τέλος του έτους.

   

Σχετικό περιεχόμενο

Αυτό το δείγμα σάς δείχνει πώς μπορείτε να δημιουργήσετε και να ρυθμίσετε τις παραμέτρους ενός Dataflow Gen2 για να δημιουργήσετε ένα ερώτημα συγχώνευσης και να το αποθηκεύσετε σε μια βάση δεδομένων SQL Azure και, στη συνέχεια, να αντιγράψετε δεδομένα από τη βάση δεδομένων σε ένα αρχείο κειμένου στον Χώρο αποθήκευσης αντικειμένων blob Azure. Μάθατε πώς να κάνετε τα εξής:

Στη συνέχεια, συνεχίστε για να μάθετε περισσότερα σχετικά με την παρακολούθηση των εκτελέσεων της διοχέτευσης.