Praca z tabelami zewnętrznymi

W Katalogu Unity zewnętrzna tabela przechowuje pliki danych w magazynie obiektów w chmurze w ramach Twojej dzierżawy chmurowej. Unity Catalog nadal zarządza metadanymi tabeli, zapewniając pełne zarządzanie danymi we wszystkich zapytaniach. Jednak nie zarządza cyklem życia, optymalizacją, lokalizacją magazynu ani układem danych.

Podczas definiowania tabeli zewnętrznej katalogu Unity należy określić lokalizację przechowywania. Ta lokalizacja jest lokalizacją zewnętrzną zarejestrowaną w katalogu Unity. Gdy usuniesz tabelę zewnętrzną, Unity Catalog usuwa metadane tabeli, ale nie usuwa leżących u podstaw plików danych.

Ta strona dotyczy zewnętrznych tabel Unity Catalog. Tabele zewnętrzne w starszym magazynie metadanych Hive mają różne zachowania. Zobacz Obiekty bazy danych w starszym magazynie metadanych Hive.

Kiedy należy używać tabel zewnętrznych

Usługa Databricks zaleca używanie tabel zewnętrznych w następujących przypadkach użycia:

• Musisz zarejestrować tabelę opartą na istniejących danych, które nie są zgodne z tabelami zarządzanymi w Unity Catalog, takimi jak JSON lub Avro. Zobacz Formaty plików dla tabel zewnętrznych.
• Wymagany jest bezpośredni dostęp do danych od klientów spoza usługi Databricks, którzy nie obsługują innych wzorców dostępu zewnętrznego. Uprawnienia katalogu Unity nie są wymuszane, gdy użytkownicy uzyskują dostęp do plików danych z systemów zewnętrznych. Zobacz Uzyskiwanie dostępu do danych usługi Databricks przy użyciu systemów zewnętrznych.

W większości przypadków usługa Databricks zaleca korzystanie z tabel zarządzanych przez Unity Catalog, aby skorzystać z automatycznej optymalizacji tabel, szybszej wydajności zapytań i obniżenia kosztów. Aby zmigrować tabele zewnętrzne do tabel zarządzanych, zobacz Konwertowanie zewnętrznych lub obcych tabel Delta Lake na tabele zarządzane w Unity Catalog.

Formaty plików dla tabel zewnętrznych

Tabele zewnętrzne mogą używać następujących formatów plików:

• DELTA
• CSV
• JSON
• AVRO
• PARKIET
• ORK
• TEKST

Tworzenie tabeli zewnętrznej

Tabele zewnętrzne można tworzyć przy użyciu poleceń SQL lub operacji zapisu ramki danych.

Przed rozpoczęciem

Przed utworzeniem tabeli zewnętrznej należy najpierw skonfigurować lokalizację zewnętrzną, która udziela dostępu do magazynu w chmurze.

Aby uzyskać więcej informacji na temat konfigurowania lokalizacji zewnętrznych, zobacz Łączenie z lokalizacją zewnętrzną Azure Data Lake Storage Gen2 (ADLS Gen2), .

Aby utworzyć tabelę zewnętrzną, musisz spełnić następujące wymagania dotyczące uprawnień:

• Uprawnienie CREATE EXTERNAL TABLE w lokalizacji zewnętrznej, które umożliwia dostęp do LOCATION przez tabelę zewnętrzną.
• Uprawnienie USE CATALOG do katalogu nadrzędnego tabeli.
• Uprawnienie USE SCHEMA w schemacie nadrzędnym tabeli.
• Uprawnienie CREATE TABLE w schemacie nadrzędnym tabeli.

Przykłady

Użyj jednego z poniższych przykładów w notesie lub edytorze zapytań SQL, aby utworzyć tabelę zewnętrzną.

W poniższych przykładach zastąp wartości symboli zastępczych:

• <catalog>: nazwa wykazu, który będzie zawierać tabelę.
• <schema>: nazwa schematu, który będzie zawierać tabelę.
• <table-name>: nazwa tabeli.
• <column-name> i <data-type>: Nazwa i typ danych dla każdej kolumny.
• <bucket-path>: Ścieżka do kubełka w chmurze, gdzie zostanie utworzona tabela.
• <table-directory>: katalog, w którym zostanie utworzona tabela. Użyj unikatowego katalogu dla każdej tabeli.
• <source-table>: Tabela używana jako źródło danych podczas tworzenia tabeli na podstawie wyników zapytania.

SQL

Aby utworzyć tabelę zewnętrzną w usłudze ADLS Gen2 ze zdefiniowanym schematem, uruchom następujące polecenie:

CREATE TABLE <catalog>.<schema>.<table-name>
(
  <column-name> <data-type>
)
LOCATION 'abfss://<bucket-path>/<table-directory>';

Aby utworzyć tabelę zewnętrzną w usłudze ADLS Gen2 na podstawie wyników zapytania, uruchom następujące polecenie:

CREATE TABLE <catalog>.<schema>.<table-name>
LOCATION 'abfss://<bucket-path>/<table-directory>'
AS SELECT * FROM <source-table>;

Aby utworzyć tabelę zewnętrzną w usłudze S3 ze zdefiniowanym schematem, uruchom następujące polecenie:

CREATE TABLE <catalog>.<schema>.<table-name>
(
  <column-name> <data-type>
)
LOCATION 's3://<bucket-path>/<table-directory>';

Aby utworzyć tabelę zewnętrzną w usłudze S3 na podstawie wyników zapytania, uruchom następujące polecenie:

CREATE TABLE <catalog>.<schema>.<table-name>
LOCATION 's3://<bucket-path>/<table-directory>'
AS SELECT * FROM <source-table>;

Python

Aby utworzyć tabelę zewnętrzną w usłudze ADLS Gen2 ze zdefiniowanym schematem, uruchom następujące polecenie:

from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([StructField("<column-name>", <data-type>())])

spark.createDataFrame([], schema).write \
  .option("path", "abfss://<bucket-path>/<table-directory>") \
  .saveAsTable("<catalog>.<schema>.<table-name>")

Aby utworzyć tabelę zewnętrzną w usłudze ADLS Gen2 na podstawie ramki danych, uruchom następujące polecenie:

df.write \
  .option("path", "abfss://<bucket-path>/<table-directory>") \
  .saveAsTable("<catalog>.<schema>.<table-name>")

Aby utworzyć tabelę zewnętrzną w usłudze S3 ze zdefiniowanym schematem, uruchom następujące polecenie:

from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([StructField("<column-name>", <data-type>())])

spark.createDataFrame([], schema).write \
  .option("path", "s3://<bucket-path>/<table-directory>") \
  .saveAsTable("<catalog>.<schema>.<table-name>")

Aby utworzyć tabelę zewnętrzną w usłudze S3 na podstawie ramki danych, uruchom następujące polecenie:

df.write \
  .option("path", "s3://<bucket-path>/<table-directory>") \
  .saveAsTable("<catalog>.<schema>.<table-name>")

Aby uzyskać więcej informacji na temat parametrów tworzenia tabeli, zobacz CREATE TABLE.

Następujące opcje składni SQL działają z operacjami ramki danych:

• CREATE TABLE [UŻYWAJĄC]
• CREATE TABLE LIKE

Usuń tabelę zewnętrzną

Aby usunąć tabelę, musisz być jej właścicielem lub mieć uprawnienia MANAGE na tabeli. Aby usunąć tabelę zewnętrzną, uruchom następujące polecenie:

SQL

DROP TABLE IF EXISTS catalog_name.schema_name.table_name;

Python

spark.sql("DROP TABLE IF EXISTS catalog_name.schema_name.table_name")

Alternatywnie w środowisku Databricks Runtime 18.2 lub nowszym użyj polecenia spark.catalog.dropTable():

spark.catalog.dropTable("catalog_name.schema_name.table_name", ifExists=True)

Katalog Unity nie usuwa danych w przechowywaniu danych w chmurze podczas usuwania tabeli zewnętrznej. Jeśli chcesz usunąć dane skojarzone z tabelą, musisz bezpośrednio usunąć pliki danych bazowych.

Przykładowy notebook: tworzenie tabel zewnętrznych

W poniższym przykładowym notesie można utworzyć wykaz, schemat i tabelę zewnętrzną oraz zarządzać uprawnieniami.

Tworzenie i zarządzanie tabelą zewnętrzną w notebooku Unity Catalog

Pobierz notes