Utilize ALTER instruções com conjuntos de dados de pipeline

Os pipelines do Lakeflow são definidos em código-fonte específico que cria em SQL ou Python, por exemplo, no Editor de Pipelines do Lakeflow.

Lakeflow Connect cria pipelines que ingerem dados e criam tabelas de ingestão em fluxo contínuo.

O Azure Databricks também fornece um ambiente SQL chamado Databricks SQL. Pode criar vistas materializadas e tabelas de streaming com Databricks SQL usando funcionalidades de pipeline fora do Lakeflow (ver Pipelines independentes). Normalmente, o SQL do Databricks não é utilizado para criar pipelines de atualização do Lakeflow.

No entanto, pode usar ALTER instruções SQL no Databricks SQL para modificar as propriedades de um conjunto de dados criado através de pipelines Lakeflow, Databricks SQL ou Lakeflow Connect. Utilize estas instruções SQL em qualquer ambiente do Databricks SQL, quer esteja a modificar conjuntos de dados de pipeline do Lakeflow, conjuntos de dados de pipeline autónomos ou conjuntos de dados do Lakeflow Connect.

Para conjuntos de dados assentes num pipeline autónomo criado no Databricks SQL, também pode mudar o proprietário com SET OWNER TO.

Observação

Não é possível modificar o agendamento nem o acionador de um conjunto de dados definido em pipelines do Lakeflow com uma instrução ALTER.

Limitação: Atualizações e alterações no pipeline feitas com ALTER

Existem casos em que as declarações ALTER entram em conflito com a definição dos conjuntos de dados criados pelo pipeline. O SQL que define uma tabela ou vista num pipeline é reexecutado a cada atualização. Isto pode desfazer as alterações que faz com uma ALTER declaração.

Por exemplo, se tiver uma instrução SQL que define uma vista materializada, como a seguinte:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Depois tenta remover a máscara da ssn coluna usando uma ALTER instrução, como esta:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas da próxima vez que a visualização materializada é atualizada, a definição SQL adiciona-a novamente.

Para remover a máscara em segurança, deve editar a definição SQL para eliminá-la e, em seguida, executar o comando ALTER para DROP a máscara.

Observação

Para editar a definição de um pipeline definido no Lakeflow Pipelines, edite a origem do pipeline utilizando o editor de pipeline. Para editar a definição de um pipeline autónomo, execute a instrução SQL modificada em qualquer ambiente SQL Databricks.

Recursos adicionais

  • Last updated on