Explorarea procesării datelor analitice

Procesarea datelor analitice utilizează de obicei sisteme doar în citire (sau în cea mai mare parte) care stochează volume mari de date istorice sau valori de afaceri. Analiza se poate baza pe un instantaneu al datelor la un moment dat sau pe o serie de instantanee.

Detaliile specifice pentru un sistem de procesare analitică pot varia de la o soluție la alta, dar o arhitectură comună pentru analiza la scară de întreprindere arată astfel:

1. Datele operaționale sunt extrase, transformate și încărcate (ETL) într-un lac de date pentru analiză — sau extrase și încărcate prima, cu transformări aplicate ulterior, un tipar numit ELT , comun în casele moderne de pe lac.

2. Datele sunt încărcate într-o schemă de tabele – de obicei într-un data lake cu abstracții tabelare peste fișierele din data lake, sau într-un depozit de date cu un motor SQL complet relațional.

3. Datele din depozitul de date pot fi agregate și încărcate într-un model de procesare analitică online (OLAP) — astăzi mai frecvent numit model semantic (și, istoric, cub). Valorile numerice agregate (măsurători) din tabelele de fapte sunt calculate pentru intersecțiile parametrilor din tabelele de parametri. De exemplu, veniturile din vânzări pot fi totalizate după dată, client și produs. Modelele semantice Power BI sunt cele mai comune exemple pe care le vei întâlni.

4. Datele din lacul de date, depozitul de date și modelul analitic pot fi interogate pentru a produce rapoarte, vizualizări și tablouri de bord.

Lacurile de date sunt comune în scenariile de procesare analitică a datelor la scară largă, unde trebuie colectat și analizat un volum mare de date bazate pe fișiere.

Depozitele de date sunt o modalitate consacrată de a stoca date într-un schema relațională optimizată pentru operațiuni de citire – în principal interogări pentru a susține rapoartele și vizualizarea datelor.

Data Lakehouses reprezintă o inovație mai recentă care combină stocarea flexibilă și scalabilă a unui lac de date cu semantica interogării relaționale a unui depozit de date. Schema de tabel poate necesita o anumită denormalizare a datelor dintr-o sursă de date OLTP (introducând unele duplicări pentru a face interogările să funcționeze mai rapid).

Un model OLAP (sau model semantic) este un tip agregat de stocare a datelor, optimizat pentru sarcini analitice. Agregarile de date se desfășoară între dimensiuni la niveluri diferite, permițându-ți să faci detalii în sus/jos pentru a vizualiza agregarile la mai multe niveluri ierarhice; de exemplu, pentru a găsi vânzările totale pe regiuni, pe oraș sau pentru o adresă individuală. Deoarece datele sunt preagregate, interogările pentru a returna rezumatele pe care le conțin pot fi rulate rapid.

Diferite tipuri de utilizatori pot efectua lucrări analitice de date în diferite etape ale arhitecturii generale. De exemplu:

• Oamenii de știință ar putea lucra direct cu fișiere de date într-un lac de date pentru a explora și modela date.
• Analiștii de date pot interoga tabelele direct în depozitul de date pentru a produce rapoarte și vizualizări complexe.
• Utilizatorii de business pot consuma date preagregate într-un model analitic sub forma rapoartelor sau tablourilor de bord.

Platforme moderne de analiză

Azure oferă mai multe servicii gestionate care acoperă întregul pipeline de analiză — de la preluarea datelor brute până la rapoarte interactive. Două platforme "all-in-one" reunesc majoritatea acestor capabilități într-un singur spațiu de lucru. Microsoft Fabric și Azure Databricks sunt aceste două platforme; un al treilea serviciu, Microsoft Purview, se concentrează pe guvernanța datelor pentru toate sursele tale. Nu trebuie să fii familiarizat încă cu niciunul dintre aceste servicii — descrierile următoare îți oferă o idee generală despre ce face fiecare.

Microsoft Fabric este o platformă unificată de analiză software ca serviciu (SaaS) care reunește capabilitățile de stocare, inginerie a datelor, stocare a datelor și raportare într-un singur spațiu de lucru. Azure Databricks este o platformă de analiză în cloud construită pentru ingineria datelor la scară largă și știința datelor, folosind Delta Lake—Parquet plus un jurnal de tranzacții care permite versiunarea și tranzacțiile ACID—ca format standard de stocare. Microsoft Purview oferă securitate, guvernanță și conformitate unificate a datelor, ajutându-vă să descoperiți, clasificați, protejați și gestionați datele în toate sursele dumneavoastră de date.

Organizarea datelor cu arhitectura medalionului

Un tipar comun pentru organizarea datelor într-o casă de lac este arhitectura medalionului, care folosește trei straturi:

• Bronz: date brute preluate as-is din sistemele sursă, fără transformări aplicate, păstrând înregistrările originale pentru reprocesare.
• Argint: date curățate și conformate, cu duplicatele eliminate și tipurile de date standardizate.
• Gold: date agregate, gata de business, modelate pentru cazuri specifice de raportare și analiză.

Echipele folosesc acest tipar pentru că creează limite clare de calitate la fiecare strat și poți oricând să reprocesezi datele din înregistrările originale Bronze dacă cerințele se schimbă.

Atât Fabric, cât și Databricks includ experiențe Copilot care îți permit să explorezi date folosind limbaj natural.