load (DataStreamReader)

Bir veri kaynağından veri akışı yükler ve bunu DataFrame olarak döndürür.

Sözdizimi

load(path=None, format=None, schema=None, **options)

Parametreler

Parametre Türü Açıklama
path str, isteğe bağlı Dosya sistemi destekli veri kaynaklarının yolu.
format str, isteğe bağlı Veri kaynağının biçimi. Varsayılan olarak 'parquet' değerini alır.
schema StructType veya str, isteğe bağlı Giriş verilerinin StructType veya DDL biçimli bir dize olarak şeması (örneğin, col0 INT, col1 DOUBLE).
**options Diğer tüm dize seçenekleri.

İadeler

DataFrame

Örnekler

Geçici bir JSON dosyasından akış yükleyin:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on