Tarefa de criação de perfil de dados

se aplica a:SQL Server SSIS Integration Runtime no Azure Data Factory

A tarefa Criação de Perfil de Dados calcula vários perfis que ajudam você a se familiarizar com uma fonte de dados e identificar problemas nos dados que precisam ser corrigidos.

Você pode usar a tarefa Criação de Perfil de Dados dentro de um pacote do Integration Services para criar o perfil dos dados armazenados no SQL Server e identificar possíveis problemas com a qualidade dos dados.

Observação

Este tópico descreve apenas os recursos e requisitos da tarefa Criação de Perfil de Dados. Para obter um passo a passo de como usar a tarefa Criação de Perfil de Dados, consulte a seção Tarefa de Criação de Perfil de Dados e Visualizador.

Requisitos e Limitações

A tarefa Criação de Perfil de Dados funciona apenas com dados armazenados no SQL Server. Esta tarefa não funciona com fontes de dados de terceiros ou baseadas em ficheiros.

Além disso, para executar um pacote que contenha a tarefa de Criação de Perfis de Dados, deve utilizar uma conta com permissões de leitura/escrita, incluindo permissões CREATE TABLE, na base de dados tempdb.

Visualizador do Perfilador de Dados

Depois de usar a tarefa para calcular perfis de dados e salvá-los em um arquivo, você pode usar o Visualizador de Perfil de Dados autônomo para revisar a saída do perfil. O Visualizador de Perfil de Dados também oferece suporte à capacidade de detalhamento para ajudá-lo a entender os problemas de qualidade de dados identificados na saída do perfil. Para obter mais informações, consulte Data Profile Viewer.

Importante

O arquivo de saída pode conter dados confidenciais sobre seu banco de dados e os dados que o banco de dados contém. Para obter sugestões sobre como tornar esse arquivo mais seguro, consulte Acesso a arquivos usados por pacotes.

O recurso de detalhamento, disponível no Visualizador de Perfil de Dados, envia consultas em tempo real para a fonte de dados original.

Perfis disponíveis

A Tarefa de Criação de Perfil de Dados pode calcular oito perfis de dados diferentes. Cinco desses perfis analisam colunas individuais e os três restantes analisam várias colunas ou relações entre colunas e tabelas.

Os cinco perfis a seguir analisam colunas individuais.

Perfis que analisam colunas individuais Descrição
Perfil de distribuição do comprimento da coluna Relata todos os comprimentos distintos de valores de cadeia de caracteres na coluna selecionada e a porcentagem de linhas na tabela que cada comprimento representa.

Esse perfil ajuda a identificar problemas em seus dados, como valores que não são válidos. Por exemplo, você cria o perfil de uma coluna de códigos de estado dos Estados Unidos que deve ter dois caracteres e descobre valores maiores que dois caracteres.
Perfil de Proporção de Valores Nulos da Coluna Relata a porcentagem de valores nulos na coluna selecionada.

Esse perfil ajuda você a identificar problemas em seus dados, como uma proporção inesperadamente alta de valores nulos em uma coluna. Por exemplo, você cria o perfil de uma coluna de CEP/Código Postal e descobre uma porcentagem inaceitavelmente alta de códigos ausentes.
Perfil de padrão de coluna Relata um conjunto de expressões regulares que abrangem a porcentagem especificada de valores em uma coluna de cadeia de caracteres.

Esse perfil ajuda você a identificar problemas em seus dados, como cadeia de caracteres que não são válidas. Esse perfil também pode sugerir expressões regulares que podem ser usadas no futuro para validar novos valores. Por exemplo, um perfil padrão de uma coluna de CEP dos Estados Unidos pode produzir as expressões regulares: \d{5}-\d{4}, \d{5}e \d{9}. Se você vir outras expressões regulares, seus dados provavelmente contêm valores que não são válidos ou em um formato incorreto.
Perfil de estatísticas da coluna Relata estatísticas, como mínimo, máximo, média e desvio padrão das colunas numéricas e mínimo e máximo das colunas de data/hora .

Este perfil ajuda-o a identificar problemas nos seus dados, tais como datas que não são válidas. Por exemplo, você analisa uma coluna de datas históricas e encontra a data máxima no futuro.
Perfil de distribuição do valor da coluna Relata todos os valores distintos na coluna selecionada e a porcentagem de linhas na tabela que cada valor representa. Também pode relatar valores que representam mais de uma porcentagem especificada de linhas na tabela.

Esse perfil ajuda você a identificar problemas em seus dados, como um número incorreto de valores distintos em uma coluna. Por exemplo, você cria o perfil de uma coluna que deve conter estados nos Estados Unidos e descobre mais de 50 valores distintos.

Os três perfis a seguir analisam várias colunas ou relações entre colunas e tabelas.

Perfis que analisam várias colunas Descrição
Perfil Chave do Candidato Informa se uma coluna ou conjunto de colunas é uma chave, ou uma chave aproximada, para a tabela selecionada.

Esse perfil também ajuda a identificar problemas em seus dados, como valores duplicados em uma coluna de chave potencial.
Perfil de dependência funcional Relata a extensão em que os valores em uma coluna (a coluna dependente) dependem dos valores em outra coluna ou conjunto de colunas (a coluna determinante).

Esse perfil também ajuda a identificar problemas em seus dados, como valores que não são válidos. Por exemplo, você cria o perfil de dependência entre uma coluna que contém CEPs dos Estados Unidos e uma coluna que contém estados nos Estados Unidos. O mesmo código postal deve ter sempre o mesmo estado, mas o perfil identifica violações dessa dependência.
Perfil de Inclusão de Valores Calcula a sobreposição nos valores entre duas colunas ou conjuntos de colunas. Esse perfil pode determinar se uma coluna ou um conjunto de colunas é apropriado para servir como uma chave estrangeira entre as tabelas selecionadas.

Esse perfil também ajuda a identificar problemas em seus dados, como valores que não são válidos. Por exemplo, perfiliza a coluna ProductID de uma tabela Vendas e descobre que a coluna contém valores que não são encontrados na coluna ProductID da tabela Produtos.

Pré-requisitos para um perfil válido

Um perfil não é válido a menos que você selecione tabelas e colunas que não estão vazias e as colunas contêm tipos de dados válidos para o perfil.

Tipos de dados válidos

Alguns dos perfis disponíveis são significativos apenas para determinados tipos de dados. Por exemplo, calcular um perfil de Padrão de Coluna para uma coluna que contém valores numéricos ou de data/hora não é significativo. Portanto, tal perfil não é válido.

Perfil Tipos de dados válidos*
Perfil de Estatísticas de Coluna Colunas do tipo numérico ou do tipo datetime (sem média e sem desvio padrão para coluna de datetime)
ColumnNullRatioProfile Todas as colunas**
PerfilDeDistribuiçãoDeValoresDeColuna Colunas de inteiro tipo, tipo char e tipo de datetime
PerfilDeDistribuiçãoDoComprimentoDaColuna Colunas de tipo char
PerfilPadrãoDeColuna Colunas de tipo char
CandidateKeyProfile Colunas de inteiro tipo, tipo char e tipo de datetime
PerfilDeDependênciaFuncional Colunas de inteiro tipo, tipo char e tipo de datetime
Perfil de Inclusão Colunas de inteiro tipo, tipo char e tipo de datetime

* Na tabela anterior de tipos de dados válidos, os tipos inteiro , char , datetime e numérico incluem os seguintes tipos de dados específicos:

Os tipos inteiros incluem bit, tinyint, smallint, inte bigint.

Os tipos de caracteres incluem char, nchar, varchare nvarchar, mas não incluem varchar(max) e nvarchar(max).

Os tipos de data e hora incluem datetime , smalldatetime e timestamp .

Os tipos numéricos incluem tipos de inteiro (exceto bit), dinheiro, smallmoney, decimal, float, reale numérico.

** de imagem , de texto , XML , udte tipos de variante não são suportados para perfis diferentes do Perfil de Razão Nula de Coluna.

Tabelas e colunas válidas

Se a tabela ou coluna estiver vazia, o Perfil de Dados executará as seguintes ações:

  • Quando a tabela ou exibição selecionada está vazia, a tarefa Criação de Perfil de Dados não calcula nenhum perfil.

  • Quando todos os valores na coluna selecionada são nulos, a tarefa de Criação de Perfis de Dados calcula apenas o perfil da Taxa de Nulos da Coluna. A tarefa não calcula o perfil de Distribuição de Comprimento de Coluna, o perfil de Padrão de Coluna, o perfil de Estatísticas de Coluna ou o perfil de Distribuição de Valor de Coluna.

Funcionalidades da tarefa de criação de perfil de dados

A tarefa Criação de Perfil de Dados tem estas opções de configuração convenientes:

  • Colunas curinga Quando você estiver configurando uma solicitação de perfil, a tarefa aceitará o (*) curinga no lugar de um nome de coluna. Isso simplifica a configuração e facilita a descoberta das características de dados desconhecidos. Quando a tarefa é executada, a tarefa traça o perfil de cada coluna que tem um tipo de dados apropriado.

  • Perfil Rápido Você pode selecionar Perfil Rápido para configurar a tarefa rapidamente. Um Perfil Rápido cria perfis de uma tabela ou exibição usando todos os perfis padrão e configurações padrão.

Mensagens de log personalizadas disponíveis na tarefa de criação de perfil de dados

A tabela a seguir lista as entradas de log personalizadas para a tarefa Criação de Perfil de Dados. Para obter mais informações, consulte o Log de Serviços de Integração (SSIS) .

Entrada de log Descrição
DataProfilingTaskTrace Fornece informações descritivas sobre o status da tarefa. As mensagens incluem as seguintes informações:

Iniciar o processamento de solicitações

Início da consulta

Fim da consulta

Concluir solicitação de computação

Saída e seu esquema

A tarefa Criação de Perfil de Dados gera os perfis selecionados em XML estruturado de acordo com o esquema DataProfile.xsd. Você pode especificar se essa saída XML é salva em um arquivo ou em uma variável de pacote. Você pode visualizar esse esquema on-line em https://schemas.microsoft.com/sqlserver/2008/DataDebugger/. Na página da Web, você pode salvar uma cópia local do esquema. Em seguida, você pode exibir a cópia local do esquema no Microsoft Visual Studio ou outro editor de esquema, em um editor XML ou em um editor de texto, como o Bloco de Notas.

Este esquema para informações sobre a qualidade dos dados pode ser útil para:

  • Troca de informações de qualidade de dados dentro e entre organizações.

  • Criação de ferramentas personalizadas que funcionam com informações de qualidade de dados.

O namespace de destino é identificado no esquema como https://schemas.microsoft.com/sqlserver/2008/DataDebugger/.

Saída no Fluxo de Trabalho Condicional de um Pacote

Os componentes de criação de perfil de dados não incluem funcionalidade interna para implementar lógica condicional no fluxo de trabalho do pacote Integration Services com base na saída da tarefa Criação de Perfil de Dados. No entanto, você pode facilmente adicionar essa lógica, com uma quantidade mínima de programação, em uma tarefa de Script. Esse código executaria uma consulta XPath na saída XML e, em seguida, salvaria o resultado em uma variável de pacote. As restrições de precedência que conectam a tarefa Script a tarefas subsequentes podem usar uma expressão para determinar o fluxo de trabalho. Por exemplo, a tarefa Script deteta que a porcentagem de valores nulos em uma coluna excede um determinado limite. Quando essa condição for verdadeira, convém interromper o pacote e resolver o problema antes de continuar.

Configuração da tarefa de criação de perfil de dados

Configure a Tarefa de Criação de Perfil de Dados usando o Editor de Tarefas de Criação de Perfil de Dados. O editor tem duas páginas:

Página Geral
Na página Geral, especifique o arquivo de saída ou a variável. Você também pode selecionar Perfil Rápido para configurar rapidamente a tarefa de calcular perfis utilizando as configurações padrão. Para obter mais informações, consulte formulário de perfil rápido de tabela única (tarefa de criação de perfil de dados).

Página de Solicitações de Perfil
Na página Solicitações de Perfil, especifica a fonte de dados, seleciona e configura os perfis de dados que pretende calcular. Para obter mais informações sobre os vários perfis que você pode configurar, consulte os seguintes tópicos:

  • Last updated on