ALTER 문을 파이프라인 데이터 세트와 함께 사용하기

Lakeflow 파이프라인은 예를 들어 Lakeflow 파이프라인 편집기에서 SQL 또는 Python 작성하는 전용 소스 코드로 정의됩니다.

Lakeflow Connect는 데이터를 수집하는 파이프라인을 만들고 수집 스트리밍 테이블을 만듭니다.

Azure Databricks는 Databricks SQL이라는 SQL 환경도 제공합니다. Lakeflow 외부의 파이프라인 기능을 사용하여 Databricks SQL을 사용하여 구체화된 뷰 및 스트리밍 테이블을 만들 수 있습니다(독립 실행형 파이프라인 참조). 일반적으로 Databricks SQL은 업데이트 Lakeflow 파이프라인을 만드는 데 사용되지 않습니다.

그러나 Databricks SQL의 SQL 문을 사용하여 ALTER Lakeflow 파이프라인, Databricks SQL 또는 Lakeflow Connect를 사용하여 만든 데이터 세트의 속성을 수정할 수 있습니다. Lakeflow 파이프라인 데이터 세트, 독립 실행형 파이프라인 데이터 세트 또는 Lakeflow Connect 데이터 세트를 수정하든 상관없이 Databricks SQL 환경에서 이러한 SQL 문을 사용합니다.

• 스트리밍 테이블 - ALTER STREAMING TABLE
• 구체화된 뷰 - ALTER MATERIALIZED VIEW

Databricks SQL에서 만든 독립 실행형 파이프라인에서 지원되는 데이터 세트의 경우 소유자 SET OWNER TO를 변경할 수도 있습니다.

제한 사항: ALTER로 수행된 파이프라인 업데이트 및 변경 사항

ALTER 문장이 파이프라인에 의해 생성된 데이터 세트의 정의와 충돌하는 경우가 있습니다. 파이프라인에서 테이블 또는 뷰를 정의하는 SQL은 각 업데이트에서 다시 실행됩니다. 이렇게 하면 ALTER 명령문으로 변경한 내용을 취소할 수 있습니다.

예를 들어 다음과 같이 구체화된 뷰를 정의하는 SQL 문이 있는 경우

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

다음과 같은 ssn 문을 사용하여 ALTER 열에서 마스크를 제거하려고 합니다.

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

마스크는 제거되지만 다음에 구체화된 뷰가 업데이트될 때 SQL 정의가 다시 추가됩니다.

마스크를 안전하게 제거하려면 SQL 정의를 편집하여 마스크를 제거한 다음, 마스크에 ALTERDROP 명령을 실행해야 합니다.

추가 리소스

• 독립 실행형 파이프라인
• Lakeflow 파이프라인 개발
• SQL을 사용하여 Lakeflow 파이프라인 코드 개발