Patlayabilir

Verilen dizideki veya eşlemedeki her öğe için yeni bir satır döndürür. Dizideki öğeler ve colkey aksi belirtilmedikçe eşlemedeki öğeler için varsayılan sütun adını value kullanır.

Sözdizimi

from pyspark.sql import functions as sf

sf.explode(col)

Parametreler

İade

pyspark.sql.Column: Dizi öğesi veya eşleme anahtarı değeri başına bir satır.

Örnekler

Örnek 1: Dizi sütununu hızlandırma

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,ARRAY(1,2,3,NULL)), (2,ARRAY()), (3,NULL) AS t(i,a)')
df.show()

+---+---------------+
|  i|              a|
+---+---------------+
|  1|[1, 2, 3, NULL]|
|  2|             []|
|  3|           NULL|
+---+---------------+

df.select('*', sf.explode('a')).show()

+---+---------------+----+
|  i|              a| col|
+---+---------------+----+
|  1|[1, 2, 3, NULL]|   1|
|  1|[1, 2, 3, NULL]|   2|
|  1|[1, 2, 3, NULL]|   3|
|  1|[1, 2, 3, NULL]|NULL|
+---+---------------+----+

Örnek 2: Harita sütununu büyütme

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,MAP(1,2,3,4,5,NULL)), (2,MAP()), (3,NULL) AS t(i,m)')
df.show(truncate=False)

+---+---------------------------+
|i  |m                          |
+---+---------------------------+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|
|2  |{}                         |
|3  |NULL                       |
+---+---------------------------+

df.select('*', sf.explode('m')).show(truncate=False)

+---+---------------------------+---+-----+
|i  |m                          |key|value|
+---+---------------------------+---+-----+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|1  |2    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|3  |4    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|5  |NULL |
+---+---------------------------+---+-----+

Örnek 3: Birden çok dizi sütunlarını açma

import pyspark.sql.functions as sf
df = spark.sql('SELECT ARRAY(1,2) AS a1, ARRAY(3,4,5) AS a2')
df.select(
    '*', sf.explode('a1').alias('v1')
).select('*', sf.explode('a2').alias('v2')).show()

+------+---------+---+---+
|    a1|       a2| v1| v2|
+------+---------+---+---+
|[1, 2]|[3, 4, 5]|  1|  3|
|[1, 2]|[3, 4, 5]|  1|  4|
|[1, 2]|[3, 4, 5]|  1|  5|
|[1, 2]|[3, 4, 5]|  2|  3|
|[1, 2]|[3, 4, 5]|  2|  4|
|[1, 2]|[3, 4, 5]|  2|  5|
+------+---------+---+---+

Örnek 4: Yapı sütunu dizisinin patlatılması

import pyspark.sql.functions as sf
df = spark.sql('SELECT ARRAY(NAMED_STRUCT("a",1,"b",2), NAMED_STRUCT("a",3,"b",4)) AS a')
df.select(sf.explode('a').alias("s")).select("s.*").show()

+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  3|  4|
+---+---+