Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Belirli bir bölüm için veri oluşturur ve demetlerin veya satırların yineleyicisini döndürür.
Bu yöntem, verileri okumak için bölüm başına bir kez çağrılır. Bu yöntemin uygulanması okunabilir veri kaynakları için gereklidir. Bu yöntemdeki veri kaynağından veri okumak için gerekli serileştirilebilir olmayan kaynakları başlatabilirsiniz.
Sözdizimi
read(partition: InputPartition)
Parametreler
| Parametre | Türü | Açıklama |
|---|---|---|
partition |
InputPartition | Okunacak bölüm. tarafından partitions()döndürülen bölüm değerlerinden biri olmalıdır. |
İadeler
Iterator[Tuple] veya Iterator[RecordBatch]
Tanımlama demetlerinin veya satırların yineleyicisi. Her tanımlama grubu veya satır, son DataFrame'deki bir satıra dönüştürülür. Veri kaynağı destekliyorsa PyArrow RecordBatch nesnelerinin yineleyicisini de döndürebilir.
Örnekler
Tanımlama grubu listesini verir:
def read(self, partition: InputPartition):
yield (partition.value, 0)
yield (partition.value, 1)
Satırların listesini verir:
def read(self, partition: InputPartition):
yield Row(partition=partition.value, value=0)
yield Row(partition=partition.value, value=1)
PyArrow RecordBatch nesnelerini verir:
def read(self, partition: InputPartition):
import pyarrow as pa
data = {
"partition": [partition.value] * 2,
"value": [0, 1]
}
table = pa.Table.from_pydict(data)
for batch in table.to_batches():
yield batch