DataFrame Clase

Selecciona la columna en función del nombre de la columna.

Agrega en todo DataFrame sin grupos.

Devuelve un nuevo DataFrame objeto con un conjunto de alias. Igual que As().

Devuelve un nuevo DataFrame objeto con un conjunto de alias.

Persista esto DataFrame con el nivel de almacenamiento predeterminado MEMORY_AND_DISK.

Devuelve una versión con puntos de control de .DataFrame

Devuelve un nuevo DataFrame objeto que tiene exactamente numPartitions particiones, cuando se solicitan menos particiones. Si se solicita un mayor número de particiones, permanecerá en el número actual de particiones.

Selecciona la columna en función del nombre de la columna.

Devuelve una matriz que contiene todas las filas de .DataFrame

Selecciona la columna en función del nombre de columna especificado como una expresión regular.

Devuelve todos los nombres de columna.

Devuelve el número de filas de DataFrame.

Crea una vista temporal global con el nombre especificado. La duración de esta vista temporal está vinculada a esta aplicación spark.

Crea o reemplaza una vista temporal global con el nombre especificado. La duración de esta vista temporal está vinculada a esta aplicación spark.

Crea o reemplaza una vista temporal local con el nombre especificado. La duración de esta vista temporal está vinculada a sparkSession que creó este DataFrame.

Crea una vista temporal local con el nombre especificado. La duración de esta vista temporal está vinculada a sparkSession que creó este DataFrame.

Combinación cartesiana explícita con otro DataFrame.

Cree un cubo multidimensional para el objeto actual DataFrame mediante las columnas especificadas.

Cree un cubo multidimensional para el objeto actual DataFrame mediante las columnas especificadas.

Calcula las estadísticas básicas para las columnas numéricas y de cadena, incluidos count, mean, stddev, min y max. Si no se especifica ninguna columna, esta función calcula las estadísticas de todas las columnas numéricas o de cadena.

Devuelve un nuevo conjunto de datos que contiene solo las filas únicas de este .DataFrame Se trata de un alias para DropDuplicates().

Devuelve un nuevo DataFrame objeto con una columna quitada. Se trata de una operación sin operación si no DataFrame tiene una columna con una expresión equivalente.

Devuelve un nuevo DataFrame objeto con columnas quitadas. Se trata de una operación sin operación si el esquema no contiene nombres de columna.

Devuelve un nuevo DataFrame objeto que contiene solo las filas únicas de este .DataFrame Se trata de un alias para Distinct().

Devuelve un nuevo DataFrame objeto con filas duplicadas quitadas, teniendo en cuenta solo el subconjunto de columnas.

Devuelve todos los nombres de columna y sus tipos de datos como IEnumerable de tuplas.

Devuelve un nuevo DataFrame objeto que contiene filas en este pero DataFrame no en otro DataFrame.

Devuelve un nuevo DataFrame objeto que contiene filas en este pero DataFrame no en otro DataFrame mientras conserva los duplicados.

Imprime los planes (lógicos y físicos) en la consola con fines de depuración.

Imprime los planes (lógicos y físicos) con un formato especificado por un modo de explicación determinado.

Filtra las filas mediante la condición especificada.

Filtra las filas mediante la expresión SQL especificada.

Devuelve la primera fila. Alis para Head().

Agrupa la trama de datos mediante las columnas especificadas, por lo que podemos ejecutar la agregación en ellas.

Agrupa el objeto DataFrame mediante las columnas especificadas.

Devuelve la primera fila.

Devuelve las primeras n filas.

Especifica alguna sugerencia en el objeto actual DataFrame.

Devuelve un nuevo DataFrame objeto que contiene filas solo en este DataFrame y en otro DataFrame.

Devuelve un nuevo DataFrame objeto que contiene filas solo en este DataFrame y en otro DataFrame , a la vez que conserva los duplicados.

Devuelve true si esta trama de datos está vacía.

Devuelve true si los métodos Collect() y Take() se pueden ejecutar localmente sin ningún ejecutor de Spark.

Devuelve true si contiene DataFrame uno o varios orígenes que devuelven continuamente datos a medida que llegan.

Únase a otro DataFrame.

Combinar con otro DataFrame, mediante la expresión de combinación especificada.

Combinación equidistante con otra DataFrame mediante las columnas especificadas. Una combinación cruzada con un predicado se especifica como una combinación interna. Si desea realizar explícitamente una combinación cruzada, use el crossJoin método .

Combinación de igualdad interna con otra DataFrame mediante la columna especificada.

Devuelve un nuevo DataFrame tomando las primeras number filas.

Devuelve una versión de punto de control local de este DataFrameobjeto .

Devuelve un DataFrameNaFunctions para trabajar con datos que faltan.

Defina (con nombre) las métricas que se van a observar en el conjunto de datos. Este método devuelve un DataFrame "observado" que devuelve el mismo resultado que la entrada, con las siguientes garantías:

1. Calculará los agregados definidos (métricas) en todos los datos que fluyen a través del conjunto de datos en ese momento.
2. Notificará el valor de las columnas de agregado definidas en cuanto lleguemos a un punto de finalización. Un punto de finalización es el final de una consulta (modo por lotes) o el final de una época de streaming. El valor de los agregados solo refleja los datos procesados desde el punto de finalización anterior.

Tenga en cuenta que actualmente no se admite la ejecución continua.

Devuelve un nuevo conjunto de datos ordenado por las expresiones especificadas.

Devuelve un nuevo conjunto de datos ordenado por las expresiones especificadas.

Persista esto DataFrame con el nivel de almacenamiento predeterminado MEMORY_AND_DISK.

Conserve esto DataFrame con el nivel de almacenamiento especificado.

Imprime el esquema en la consola en un formato de árbol agradable.

Imprime el esquema hasta el nivel especificado en la consola en un formato de árbol agradable.

Divide aleatoriamente esto DataFrame con los pesos proporcionados.

Devuelve una nueva DataFrame partición con las expresiones de partición especificadas, utilizando spark.sql.shuffle.partitions como número de particiones.

Devuelve un nuevo DataFrame objeto que tiene exactamente numPartitions particiones.

Devuelve una nueva DataFrame partición con las expresiones de partición especificadas en numPartitions. El resultado DataFrame es particionado por hash.

Devuelve una nueva DataFrame partición con las expresiones de partición especificadas, utilizando spark.sql.shuffle.partitions como número de particiones. El conjunto de datos resultante tiene particiones de intervalo.

Devuelve una nueva DataFrame partición con las expresiones de partición especificadas en numPartitions. El resultado DataFrame es el intervalo con particiones.

Cree un paquete acumulativo multidimensional para el actual DataFrame mediante las columnas especificadas.

Cree un paquete acumulativo multidimensional para el actual DataFrame mediante las columnas especificadas.

Devuelve un nuevo DataFrame mediante el muestreo de una fracción de filas (sin reemplazo), utilizando un valor de inicialización proporcionado por el usuario.

Devuelve el esquema asociado a este objeto DataFrame.

Selecciona un conjunto de expresiones basadas en columnas.

Selecciona un conjunto de columnas. Se trata de una variante de Select() que solo puede seleccionar columnas existentes mediante nombres de columna (es decir, no puede construir expresiones).

Selecciona un conjunto de expresiones SQL. Se trata de una variante de Select() que acepta expresiones SQL.

Muestra las filas de DataFrame en formato tabular.

Devuelve un nuevo DataFrame objeto ordenado por las expresiones especificadas.

Devuelve un nuevo DataFrame orden ordenado por la columna especificada, todo en orden ascendente.

Devuelve un nuevo DataFrame con cada partición ordenada por las expresiones especificadas.

Devuelve un nuevo DataFrame con cada partición ordenada por las expresiones especificadas.

Devuelve un DataFrameStatFunctions para la compatibilidad con las funciones estadísticas de trabajo.

Obtenga el DataFrameobjeto actual StorageLevel().

Calcula las estadísticas especificadas para las columnas numéricas y de cadena.

Devuelve las últimas n filas de DataFrame.

Devuelve las primeras n filas de .DataFrame

Convierte esta colección fuertemente tipada de datos en genérico DataFrame.

Convierte esta colección fuertemente tipada de datos en genérico DataFrame con el nombre de las columnas cambiadas.

Devuelve el contenido del dataframe como dataframe de cadenas JSON.

Devuelve un iterador que contiene todas las filas de .DataFrame El iterador consumirá tanta memoria como la partición más grande de este DataFrame.

Devuelve un iterador que contiene todas las filas de .DataFrame El iterador consumirá tanta memoria como la partición más grande de este DataFrame. Con la captura previa, puede consumir hasta la memoria de las 2 particiones más grandes.

Sintaxis concisa para encadenar transformaciones personalizadas.

Devuelve una nueva DataFrame unión que contiene la unión de filas en este DataFrame y otro DataFrame.

Devuelve un nuevo DataFrame objeto que contiene la unión de filas en este DataFrame y otro DataFrame, resolviendo columnas por nombre.

Marque el conjunto de datos como no persistente y quite todos los bloques de memoria y disco.

Filtra las filas mediante la condición especificada. Se trata de un alias para Filter().

Filtra las filas mediante la expresión SQL especificada. Se trata de un alias para Filter().

Devuelve un nuevo DataFrame agregando una columna o reemplazando la columna existente que tiene el mismo nombre.

Devuelve un nuevo conjunto de datos con un nombre de columna. Se trata de una operación no operativa si el esquema no contiene existingName.

Define una marca de agua de hora de evento para este DataFrame. Una marca de agua realiza un seguimiento de un momento dado antes del cual suponemos que no llegarán más datos tarde.

Interfaz para guardar el contenido del conjunto de datos que no es de streaming en el almacenamiento externo.

Interfaz para guardar el contenido del conjunto de datos de streaming en el almacenamiento externo.

Cree un generador de configuración de escritura para orígenes v2.