Opcje formatowania danych

Usługa Azure Databricks ma wbudowane powiązania słów kluczowych dla wszystkich formatów danych natywnie obsługiwanych przez platformę Apache Spark. Usługa Azure Databricks używa usługi Delta Lake jako domyślnego protokołu do odczytywania i zapisywania danych i tabel, natomiast platforma Apache Spark używa języka Parquet.

Te artykuły zawierają omówienie wielu opcji i konfiguracji dostępnych podczas wykonywania zapytań dotyczących danych w usłudze Azure Databricks.

Następujące formaty danych mają wbudowane konfiguracje słów kluczowych w ramkach danych platformy Apache Spark i języku SQL:

• Delta Lake
• góra lodowa
• OpenSharing
• Parkiet
• ORK
• JSON
• CSV
• Avro
• Tekst
• Binarny
• XML

Usługa Azure Databricks udostępnia również niestandardowe słowo kluczowe do ładowania eksperymentów MLflow.

Formaty danych ze specjalnymi uwzględnieniami

Niektóre formaty danych wymagają dodatkowej konfiguracji lub specjalnych uwag dotyczących użycia.

• Usługa Databricks zaleca ładowanie obrazów jako binary danych.
• Większość formatów obsługuje kompresję podczas zapisu przy użyciu opcji compression. Aby uzyskać szczegółowe informacje o konfiguracji, zobacz sekcję kompresji w dokumentacji każdego formatu. Usługa Azure Databricks może również bezpośrednio odczytywać skompresowane pliki w wielu formatach, a w razie potrzeby można rozpakować skompresowane pliki w usłudze Azure Databricks.
  • Oparte na tekstach (CSV, JSON, XML, tekst): none (ustawienie domyślne), bzip2, gzip, lz4, snappy, deflate i zstd
  • Parquet: snappy (ustawienie domyślne), gzip, lzo, brotli, lz4 i zstd
  • ORC: snappy, zlibi lzo
  • Avro: snappy (ustawienie domyślne), deflate, bzip2, xzi zstandard

Aby uzyskać więcej informacji na temat źródeł danych platformy Apache Spark, zobacz Funkcje ogólne ładowania/zapisywania i Opcje ogólne źródła pliku.