PySpark – sumDistinct() & countDistinct()

Si estás buscando una forma eficiente de obtener el número de valores únicos en un conjunto de datos de PySpark, puedes utilizar las funciones sumDistinct() o countDistinct(). Ambas funciones son muy útiles para analizar grandes conjuntos de datos en PySpark, especialmente cuando necesitas determinar la cantidad de valores únicos en una columna específica. En este artículo, exploraremos estas dos funciones y cómo pueden ser implementadas en PySpark.

¿Qué es PySpark?

PySpark es la interfaz de programación de aplicaciones (API) de Apache Spark para el lenguaje de programación Python. PySpark permite a los programadores de Python interactuar con los datos y utilidades de Spark, una plataforma de procesamiento distribuido de datos. PySpark proporciona una forma fácil de realizar análisis de datos y procesamiento de grandes conjuntos de datos, lo que lo convierte en una herramienta valiosa para los analistas de datos e ingenieros.

sumDistinct()

La función sumDistinct() en PySpark es una función que devuelve la suma de los valores distintos en una columna de PySpark DataFrame. Es decir, esta función se asegura de que los valores duplicados no se incluyan en la suma. A continuación, se muestra un ejemplo de cómo utilizar la función sumDistinct() en PySpark:

df.select(sumDistinct("columna")).show()

En este ejemplo, "columna" se refiere a la columna que quieres sumar los valores únicos. La función select() es utilizada para seleccionar la columna que deseas sumar. La función show() es utilizada para imprimir el resultado de la suma en la consola.

countDistinct()

La función countDistinct() en PySpark es una función que devuelve el número de valores únicos en una columna de PySpark DataFrame. Es decir, esta función se asegura de que los valores duplicados no se cuenten más de una vez. A continuación, se muestra un ejemplo de cómo utilizar la función countDistinct() en PySpark:

df.select(countDistinct("columna")).show()

En este ejemplo, "columna" se refiere a la columna que desea contar los valores únicos. La función select() es utilizada para seleccionar la columna que deseas contar. La función show() es utilizada para imprimir el número de valores únicos en la consola.

Ejemplos de código y comandos

Aquí hay algunos ejemplos de código y comandos que puedes utilizar al trabajar con las funciones sumDistinct() y countDistinct() en PySpark:

- Para importar PySpark en un archivo de Python:

from pyspark.sql import SparkSession

- Para crear una sesión de Spark en el archivo de Python:

spark = SparkSession.builder.appName("Nombre de aplicación").getOrCreate()

- Para crear un DataFrame en PySpark:

df = spark.createDataFrame([(1, "A"), (2, "B"), (3, "C"), (1, "A"), (2, "B"), (3, "C")], ["Id", "Letter"])

- Para utilizar la función sumDistinct() en PySpark:

df.select(sumDistinct("Id")).show()

- Para utilizar la función countDistinct() en PySpark:

df.select(countDistinct("Letter")).show()

Conclusión

SumDistinct() y countDistinct() son funciones muy útiles para manejar grandes conjuntos de datos en PySpark. Estas funciones pueden ayudarte a obtener el número de valores únicos en una columna de DataFrame. Esperamos que este artículo te haya brindado una visión general de ambos métodos y cómo implementarlos en tu trabajo con PySpark.

Preguntas frecuentes

¿Cómo se pueden utilizar ambas funciones en conjunto?

Puedes utilizar ambas funciones juntas en PySpark para obtener la suma de valores distintos y el número de valores únicos en una columna; simplemente puedes encadenar las funciones uno después del otro.

¿Qué tipos de datos son aceptados por estas funciones en PySpark?

Ambas funciones, sumDistinct() y countDistinct(), son aplicables a las columnas numéricas y de cadena de caracteres en PySpark.

¿Estas funciones son utilizables en otros lenguajes de programación?

Estas funciones son específicas de PySpark y, por lo tanto, solo se pueden utilizar en PySpark. Sin embargo, otras plataformas de procesamiento de datos también ofrecen funciones similares para procesar grandes conjuntos de datos.
[nekopost slugs="convertir-el-tipo-de-entero-2-de-la-columna-pyspark-dataframe-string-t,pyspark-zip-zipwithindex-zipwithuniqueid,structtype-structfield-metodos-pyspark,pyspark-orderby,la-matriz-de-pyspark-contiene,pyspark-como-ilike,pyspark-medio,conte-pyspark,iterar-las-columnas-de-las-filas-pyspark-dataframe"]