partitions (DataSourceReader)

Bu veri kaynağı için bir bölüm dizisi döndürür.

Bölümler, veri okuma işlemlerini paralel görevlere bölmek için kullanılır. Bu yöntem N bölümleri döndürürse, sorgu planlayıcısı N görevleri oluşturur. Her görev, verileri okumak için ilgili bölüm değerini kullanarak paralel olarak yürütülür read() .

Bu yöntem sorgu planlaması sırasında bir kez çağrılır. Varsayılan olarak, değerine Nonesahip tek bir bölüm döndürür. Alt sınıflar, birden çok bölüm döndürmek için bu yöntemi geçersiz kılabilir.

Büyük veri kümelerini okurken daha iyi performans için bu yöntemin geçersiz kılınması önerilir.

Sözdizimi

partitions()

İadeler

Sequence[InputPartition]

Bu veri kaynağı için bölüm dizisi. Her bölüm değeri, InputPartition bir örneği veya alt sınıfı olmalıdır.

Notlar

Tüm bölüm değerleri seçilebilir nesneler olmalıdır.

Örnekler

Tamsayıların listesini döndürür:

def partitions(self):
    return [InputPartition(1), InputPartition(2), InputPartition(3)]

Dizelerin listesini döndürür:

def partitions(self):
    return [InputPartition("a"), InputPartition("b"), InputPartition("c")]

Aralıkların listesini döndürür:

class RangeInputPartition(InputPartition):
    def __init__(self, start, end):
        self.start = start
        self.end = end

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(5, 10)]