csv (DataStreamReader)

CSV dosya akışını yükler ve sonucu DataFrame olarak döndürür. Etkinleştirilirse inferSchema , işlev şemayı belirlemek için girişten bir kez geçer. Bu geçişi önlemek için kullanarak şemayı açıkça inferSchemadevre dışı bırakın schema veya belirtin.

Sözdizimi

csv(path, schema=None, **options)

Parametreler

Parametre Türü Açıklama
path str CSV girişinin yolu.
schema StructType veya str, isteğe bağlı StructType veya DDL biçimli dize olarak şema (örneğin, col0 INT, col1 DOUBLE).

İadeler

DataFrame

Örnekler

Geçici bir CSV dosyasından akış yükleyin:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on