schema (DataStreamReader)

Giriş şemasını belirtir. Bazı veri kaynakları (örneğin, JSON), verilerden giriş şemasını otomatik olarak çıkarsayabilir. Şemanın burada belirtilmesi, veri kaynağının şema çıkarımını atlayıp veri yüklemesini hızlandırmasını sağlar.

Sözdizimi

schema(schema)

Parametreler

Parametre Türü Açıklama
schema StructType veya str StructType nesnesi veya DDL biçimli bir dize (örneğin, col0 INT, col1 DOUBLE).

İadeler

DataStreamReader

Örnekler

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

CSV dosyası için farklı bir şema belirtin:

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)
  • Last updated on