Veri biçimi seçenekleri

Azure Databricks, Apache Spark tarafından yerel olarak desteklenen tüm veri biçimleri için yerleşik anahtar sözcük bağlamalarına sahiptir. Azure Databricks verileri ve tabloları okumak ve yazmak için varsayılan protokol olarak Delta Lake'i, Apache Spark ise Parquet'i kullanır.

Bu makaleler, Azure Databricks'te verileri sorguladığınızda kullanılabilen birçok seçenek ve yapılandırmaya genel bir bakış sağlar.

Aşağıdaki veri biçimlerinde Apache Spark DataFrames ve SQL'de yerleşik anahtar sözcük yapılandırmaları vardır:

Azure Databricks ayrıca MLflow denemelerini yüklemek için özel bir anahtar sözcük sağlar.

Dikkat edilmesi gereken özel noktalara sahip veri biçimleri

Bazı veri biçimleri için ek yapılandırma veya özel kullanım konuları gerekir:

  • Databricks, görüntüleribinary veri olarak yüklemeyi önerir.
  • Çoğu biçim, compression seçeneği aracılığıyla yazma sıkıştırmasını destekler. Yapılandırma ayrıntıları için her biçimin belgelerindeki sıkıştırma bölümüne bakın. Azure Databricks, birçok biçimdeki önceden sıkıştırılmış dosyaları doğrudan okuyabilir ve gerekirse Azure Databricks'te sıkıştırılmış dosyaların sıkıştırmasını açabilirsiniz.
    • Metin tabanlı (CSV, JSON, XML, metin): none (varsayılan), bzip2, gzip, lz4, snappy, ve deflatezstd
    • Parke: snappy (varsayılan), gzip, lzo, brotli, lz4ve zstd
    • ORC: snappy, zlibve lzo
    • Avro: snappy (varsayılan), deflate, bzip2, xzve zstandard

Apache Spark veri kaynakları hakkında daha fazla bilgi için bkz. Genel Yükleme/Kaydetme İşlevleri ve Genel Veri Kaynağı Seçenekleri.

  • Last updated on