Udforsk behandling af analysedata

Behandling af analysedata bruger typisk skrivebeskyttede systemer (eller primært læsesystemer), der lagrer store mængder historiske data eller forretningsmetrik. Analyser kan være baseret på et snapshot af dataene på et givent tidspunkt eller en række snapshots.

De specifikke oplysninger om et analysebehandlingssystem kan variere mellem løsninger, men en fælles arkitektur for analyse i virksomhedsskala ser sådan ud:

1. Operationelle data udtrækkes, transformeres og indlæses (ETL) i en datalake til analyse—eller udtrækkes og indlæses først, med transformationer anvendt bagefter, et mønster kaldet ELT , som er almindeligt i moderne lakehouses.

2. Data indlæses i et skema af tabeller – typisk i et datalakehouse med tabulære abstraktioner over filer i datalakeen, eller i et datawarehouse med en fuldt relationel SQL-motor.

3. Data i datalageret kan aggregeres og indlæses i en online analytisk behandlingsmodel (OLAP)—i dag mere almindeligt kaldet en semantisk model (og historisk set en kube). Aggregerede numeriske værdier (målinger) fra faktatabeller beregnes for skæringspunkter for dimensioner fra dimensionstabeller. Salgsindtægter kan f.eks. lægges sammen efter dato, kunde og produkt. Power BI semantiske modeller er det mest almindelige eksempel, du vil støde på.

4. Dataene i datasøen, data warehouse og analysemodellen kan forespørges for at oprette rapporter, visualiseringer og dashboards.

Datasøer er almindelige i store dataanalysebehandlingsscenarier, hvor en stor mængde filbaserede data skal indsamles og analyseres.

Datalagre er en etableret måde at lagre data i et relationelt skema, der er optimeret til læseoperationer – primært forespørgsler til understøttelse af rapportering og datavisualisering.

Data Lakehouses er en nyere innovation, der kombinerer den fleksible og skalerbare lagring fra en datalake med relationelle forespørgselssemantik i et datalager. Tabelskemaet kan kræve en vis denormalisering af data i en OLTP-datakilde (introducerer duplikering for at få forespørgsler til at fungere hurtigere).

En OLAP-model (eller semantisk model) er en aggregeret type datalagring, der er optimeret til analytiske arbejdsbelastninger. Dataaggregationer foregår på tværs af dimensioner på forskellige niveauer, hvilket gør det muligt at bore op/ned for at se aggregationer på flere hierarkiske niveauer; for eksempel at finde det samlede salg efter region, by eller for en individuel adresse. Da dataene er forudaggregerede, kan forespørgsler til at returnere de sammenfatninger, de indeholder, køres hurtigt.

Forskellige brugertyper kan udføre dataanalysearbejde i forskellige faser af den overordnede arkitektur. For eksempel:

• Dataforskere kan arbejde direkte med datafiler i en datasø for at udforske og modellere data.
• Dataanalytikere kan forespørge tabeller direkte i data warehouse'et for at oprette komplekse rapporter og visualiseringer.
• Forretningsbrugere kan forbruge forudaggregerede data i en analytisk model i form af rapporter eller dashboards.

Moderne analyseplatforme

Azure tilbyder flere administrerede tjenester, der dækker hele analysepipelinen — fra indlæsning af rådata til interaktive rapporter. To "alt-i-en" platforme samler de fleste af disse funktioner i et enkelt arbejdsområde. Microsoft Fabric og Azure Databricks er de to platforme; en tredje tjeneste, Microsoft Purview, fokuserer på datastyring på tværs af alle dine kilder. Du behøver ikke at være bekendt med nogen af disse tjenester endnu — følgende beskrivelser giver dig et overordnet indtryk af, hvad hver enkelt gør.

Microsoft Fabric er en samlet software as a service (SaaS) analyseplatform, der samler lager, dataingeniør, datalager og rapporteringsmuligheder i et enkelt arbejdsområde. Azure Databricks er en cloud-analyseplatform bygget til storskala dataingeniørarbejde og datavidenskab, hvor Delta Lake—Parquet plus en transaktionslog, der muliggør versionsstyring og ACID-transaktioner—som sit standardlagringsformat. Microsoft Purview leverer samlet datasikkerhed, styring og overholdelse, så du kan opdage, klassificere, beskytte og administrere data på tværs af alle dine datakilder.

Organisering af data med medaljonarkitekturen

Et almindeligt mønster til organisering af data i et lakehouse er medallionarkitekturen, som bruger tre lag:

• Bronze: rå data indsamlet as-is fra kildesystemer, uden transformationer, hvilket bevarer de oprindelige poster til genbehandling.
• Sølv: rensede og konformede data, hvor dubletter er fjernet og datatyper er standardiserede.
• Guld: aggregerede, forretningsklare data modelleret til specifikke rapporterings- og analyseanvendelser.

Teams bruger dette mønster, fordi det skaber klare kvalitetsgrænser på hvert lag, og du kan altid genbehandle data fra de oprindelige Bronze-poster, hvis kravene ændrer sig.

Både Fabric og Databricks inkluderer Copilot-oplevelser, der lader dig udforske data ved hjælp af naturligt sprog.