Attività di profilazione dei dati

Si applica a:SQL Server SSIS Integration Runtime in Azure Data Factory

L'attività di profilazione dei dati calcola vari profili che consentono di acquisire familiarità con una fonte di dati e di individuare i problemi nei dati che devono essere corretti.

È possibile utilizzare l'attività Profiling dati in un pacchetto di Integration Services per eseguire il profiling dei dati archiviati in SQL Server e identificare i possibili problemi relativi alla qualità dei dati.

Nota

Questo argomento descrive solo le funzionalità e i requisiti dell'attività di Data Profiling. Per una panoramica su come usare l'attività di profilatura dei dati, vedere la sezione Attività di profilatura dei dati e visualizzatore.

Requisiti e limitazioni

L'attività di profilatura dati funziona solo con i dati archiviati in SQL Server. L'attività non funziona con origini dati di terze parti o basate su file.

Inoltre, per eseguire un pacchetto che contiene l'attività di profilatura dei dati, è necessario usare un account con autorizzazioni di lettura e scrittura, incluse le autorizzazioni CREATE TABLE, sul database tempdb.

Visualizzatore del profiler dei dati

Dopo aver utilizzato l'operazione per calcolare i profili dei dati e salvarli in un file, è possibile utilizzare il Visualizzatore autonomo dei profili dati per esaminarne i risultati. Il Visualizzatore profilo dati supporta anche la funzione drill-down che consente di analizzare i problemi di qualità dei dati identificati nell'output del profilo. Per altre informazioni, vedere Visualizzatore profilo dati.

Importante

Il file di output potrebbe contenere dati sensibili relativi al database e i dati inclusi nel database. Per suggerimenti su come migliorare la sicurezza di questo file, vedere Accesso ai file utilizzati dai pacchetti.

La funzionalità di drill-down, disponibile nel Visualizzatore profilo dati, consente di inviare query in tempo reale all'origine dati originale.

Profili disponibili

L'attività di profilazione dei dati può calcolare otto diversi profili di dati. Cinque di questi profili analizzano singole colonne e i tre rimanenti analizzano più colonne o relazioni tra colonne e tabelle.

Nei cinque profili seguenti vengono analizzate colonne singole.

Profili che analizzano colonne singole Descrizione
Profilo della distribuzione della lunghezza delle colonne Segnala tutte le singole lunghezze dei valori stringa nella colonna selezionata e la percentuale di righe nella tabella che ogni lunghezza rappresenta.

Questo profilo consente di identificare problemi nei dati, ad esempio valori non validi. Ad esempio, si profila una colonna di codici degli Stati degli Stati Uniti che dovrebbero essere composti da due caratteri e si scoprono valori più lunghi di due caratteri.
Profilo del rapporto di valori nulli nella colonna Segnala la percentuale di valori Null nella colonna selezionata.

Questo profilo consente di identificare problemi nei dati, ad esempio un rapporto di valori di colonna Null inaspettatamente elevato. Si analizza, ad esempio, una colonna contenente CAP e si individua una percentuale eccessivamente elevata di codici mancanti.
Profilo pattern di colonna Segnala un set di espressioni regolari che coprono la percentuale specificata di valori in una colonna stringa.

Questo profilo consente di identificare problemi nei dati, ad esempio stringhe non valide. Questo profilo può inoltre indicare espressioni regolari che possono essere utilizzate in futuro per convalidare nuovi valori. Ad esempio, un profilo dei modelli di una colonna dei codici postali degli Stati Uniti potrebbe produrre le seguenti espressioni regolari: \d{5}-\d{4}, \d{5}, e \d{9}. Se vengono visualizzate altre espressioni regolari, è probabile che i dati contengano valori non validi o in formato non corretto.
Profilo delle statistiche di colonna Segnala le statistiche, ad esempio la deviazione minima, massima, media e standard per le colonne numeriche e minima e massima per le colonne di tipo datetime .

Questo profilo consente di identificare problemi nei dati, ad esempio date non valide. Si analizza, ad esempio, una colonna di date cronologiche e si individua una data massima successiva alla data corrente.
Profilo di distribuzione dei valori della colonna Riporta tutti i valori distinti nella colonna selezionata e la percentuale di righe nella tabella che ciascun valore rappresenta. Può inoltre segnalare valori che rappresentano più di una percentuale specificata di righe nella tabella.

Questo profilo consente di identificare problemi nei dati, ad esempio un numero non corretto di valori distinct in una colonna. Si analizza, ad esempio, una colonna che si suppone contenga gli stati degli Stati Uniti e si individuano più di 50 valori distinct.

I seguenti tre profili analizzano più colonne o relazioni tra colonne e tabelle.

Profili che consentono di analizzare più colonne Descrizione
Profilo della chiave candidata Segnala se una colonna o un set di colonne è una chiave o una chiave approssimativa, per la tabella selezionata.

Questo profilo consente inoltre di identificare problemi nei dati, ad esempio valori duplicati in una potenziale colonna chiave.
Profilo di dipendenza funzionale Segnala la misura in cui i valori in una colonna (la colonna dipendente) dipendono dai valori in un'altra colonna o in un set di colonne (la colonna determinante).

Questo profilo consente inoltre di identificare problemi nei dati, ad esempio valori non validi. Si analizza, ad esempio, la dipendenza tra una colonna che contiene i codici postali ZIP (Stati Uniti) e una colonna che contiene gli stati degli Stati Uniti. Benché uno stesso codice postale debba essere sempre associato allo stesso stato, il profilo individua alcune violazioni di questa dipendenza.
Profilo di inclusione di valori Consente di calcolare la sovrapposizione nei valori tra due colonne o set di colonne. Questo profilo può determinare se una colonna o un set di colonne è adatto per fungere da chiave esterna tra le tabelle selezionate.

Questo profilo consente inoltre di identificare problemi nei dati, ad esempio valori non validi. Si analizza, ad esempio, la colonna ProductID di una tabella Sales e si individua che la colonna contiene valori non disponibili nella colonna ProductID della tabella Products.

Prerequisiti per un profilo valido

Un profilo non è valido se non vengono selezionate tabelle e colonne non vuote e colonne che contengono tipi di dati validi per il profilo.

Tipi di dati validi

Alcuni dei profili disponibili sono significativi solo per determinati tipi di dati. Ad esempio, calcolare un profilo del modello di colonna per una colonna che contiene valori numerici o datetime non ha senso. quindi tale profilo non è valido.

Profilo Tipi di dati validi*
Profilo delle statistiche della colonna Colonne di tipo numerico o di tipo datetime (senza mean e stddev per le colonne datetime)
ColumnNullRatioProfile Tutte le colonne**
Profilo di distribuzione dei valori della colonna Colonne di tipo integer , tipo char e tipo datetime
Profilo di distribuzione della lunghezza della colonna Colonne di tipo char
ColumnPatternProfile Colonne di tipo char
CandidateKeyProfile Colonne di tipo integer , tipo char e tipo datetime
Profilo delle dipendenze funzionali Colonne di tipo integer , tipo char e tipo datetime
Profilo di inclusione Colonne di tipo integer , tipo char e tipo datetime

* Nella tabella precedente di tipi di dati validi, i tipi integer, char, datetime e numeric includono i tipi di dati specifici seguenti:

I tipi integer includono bit, tinyint, smallint, inte bigint.

I tipi di carattere includono char, nchar, varchare nvarchar , ma non varchar(max) e nvarchar(max).

I tipi di data e ora includono datetime, smalldatetimee timestamp.

I tipi numerici includono integer (tranne bit), money, smallmoney, decimal, float, reale numeric.

** image, text, XML, udt e variant non sono supportati per profili diversi dal profilo del rapporto di valori di colonna Null.

Tabelle e colonne valide

Se la tabella o la colonna è vuota, il profiling dei dati esegue le seguenti azioni:

  • Quando la tabella o la vista selezionata è vuota, l'attività Profilazione dati non calcola alcun profilo.

  • Quando tutti i valori nella colonna selezionata sono null, l'attività di profilatura dei dati calcola solo il profilo del rapporto dei valori null nella colonna. L'attività non calcola il profilo della distribuzione della lunghezza della colonna, il profilo del modello della colonna, il profilo delle statistiche della colonna o il profilo della distribuzione dei valori della colonna.

Caratteristiche dell'attività di profilazione dei dati

L'attività di profilazione dei dati offre le seguenti pratiche opzioni di configurazione:

  • Colonne con caratteri jolly Quando si configura una richiesta del profilo, l'attività accetta il carattere jolly (*) al posto di un nome di colonna. In questo modo viene semplificata la configurazione e diventa più facile individuare le caratteristiche dei dati non noti. Quando l'attività viene eseguita, crea un profilo di ogni colonna che ha un tipo di dati appropriato.

  • Profilo rapido È possibile selezionare Profilo rapido per configurare rapidamente l'attività. Un profilo rapido analizza una tabella o una vista utilizzando tutti i profili e le impostazioni predefiniti.

Messaggi di registrazione personalizzati disponibili nell'attività di profilazione dei dati

Nella tabella seguente sono elencate le voci di log personalizzate per l'attività di profilazione dei dati. Per ulteriori informazioni, vedere Registrazione in Integration Services (SSIS).

Voce di log Descrizione
DataProfilingTaskTrace Fornisce informazioni descrittive sullo stato dell'attività. I messaggi includono le informazioni seguenti:

Avvio elaborazione richieste

Inizio query

Fine query

Completa richiesta di calcolo

L'output e il relativo schema

L'attività Profiling dati restituisce i profili selezionati in un formato XML strutturato in base allo schema DataProfile.xsd. È possibile specificare se questo output XML è salvato in un file o in una variabile del pacchetto. È possibile visualizzare questo schema online all'indirizzo https://schemas.microsoft.com/sqlserver/2008/DataDebugger/. Nella pagina Web è possibile salvare una copia locale dello schema. È quindi possibile visualizzare la copia locale dello schema in Microsoft Visual Studio o in un altro editor di schemi, in un editor XML o in un editor di testo come Blocco note.

Questo schema per informazioni sulla qualità dei dati può essere utile per:

  • Scambio delle informazioni sulla qualità di dati all'interno delle organizzazioni e tra organizzazioni diverse.

  • Compilazione di strumenti personalizzati da utilizzare con le informazioni sulla qualità dei dati.

Lo spazio dei nomi di destinazione viene identificato nello schema come https://schemas.microsoft.com/sqlserver/2008/DataDebugger/.

Output nel flusso di lavoro condizionale di un pacchetto

I componenti per la profilazione dei dati non includono funzionalità incorporate per implementare la logica condizionale nel flusso di lavoro del pacchetto Integration Services in base all'output dell'attività di profilazione dei dati. È tuttavia facile aggiungere questa logica con una programmazione minima in un'attività Script. Con questo codice verrebbe eseguita una query XPath sull'output XML e quindi il risultato verrebbe salvato in una variabile del pacchetto. I vincoli di precedenza che collegano l'attività Script alle attività successive possono utilizzare un'espressione per determinare il flusso di lavoro. Ad esempio, l'attività Script rileva che la percentuale di valori Null in una colonna supera una determinata soglia. Quando questa condizione è vera, potrebbe essere necessario interrompere il pacchetto e risolvere il problema prima di continuare.

Configurazione dell'attività di profilazione dei dati

La configurazione dell'attività di profilazione dei dati viene eseguita mediante l'Editor attività di profilazione dei dati. L'editor è composto da due pagine:

Pagina Generale
Nella pagina Generale viene specificato il file di output o la variabile. È inoltre possibile selezionare Profilo rapido per configurare rapidamente l'attività per il calcolo dei profili utilizzando le impostazioni predefinite. Per ulteriori informazioni, vedere Modulo di profilo rapido per tabella singola (attività di profilazione dei dati).

Pagina Richieste del profilo
Nella pagina Richieste profilo specificare l'origine dati e quindi selezionare e configurare i profili dei dati che si vogliono calcolare. Per ulteriori informazioni sui diversi profili che è possibile configurare, vedere gli argomenti seguenti:

  • Last updated on