PySpark array_union() array_intersect() & array_except()

En PySpark, existen tres métodos útiles para trabajar con conjuntos: array_union(), array_intersect() y array_except(). Con estos métodos, podemos realizar operaciones de unión, intersección y diferencia en listas o conjuntos. En este artículo, aprenderemos sobre estos métodos en profundidad y cómo podemos utilizarlos en nuestra programación de PySpark.

¿Qué es array_union()?

array_union() es un método de PySpark que se utiliza para encontrar la unión de dos listas o conjuntos. Este método devuelve una lista que contiene todos los elementos únicos de ambas listas. Si hay elementos duplicados, solo se incluye una copia en la lista de salida.

Sintaxis

array_union(col1, col2)

• col1: La primera lista o conjunto a unir.
• col2: La segunda lista o conjunto a unir con la primera.

Ejemplo

Supongamos que tenemos dos DataFrames, df1 y df2. Queremos encontrar la unión de las dos columnas col1 y col2.

Código:

df3 = df1.select(array_union("col1", "col2"))

¿Qué es array_intersect()?

array_intersect() es un método de PySpark que se utiliza para encontrar la intersección de dos listas o conjuntos. Este método devuelve una lista que contiene los elementos comunes en ambas listas. Si hay elementos duplicados, solo se incluye una copia en la lista de salida.

Sintaxis

array_intersect(col1, col2)

• col1: La primera lista o conjunto a comparar.
• col2: La segunda lista o conjunto a comparar con la primera.

Ejemplo

Supongamos que tenemos dos DataFrames, df1 y df2. Queremos encontrar la intersección de las dos columnas col1 y col2.

Código:

df3 = df1.select(array_intersect("col1", "col2"))

¿Qué es array_except()?

array_except() es un método de PySpark que se utiliza para encontrar la diferencia entre dos listas o conjuntos. Este método devuelve una lista que contiene los elementos únicos de la primera lista, pero no de la segunda lista.

Sintaxis

array_except(col1, col2)

• col1: La primera lista o conjunto a comparar.
• col2: La segunda lista o conjunto cuyos elementos se deben excluir de la primera.

Ejemplo

Supongamos que tenemos dos DataFrames, df1 y df2. Queremos encontrar la diferencia entre las dos columnas col1 y col2.

Código:

df3 = df1.select(array_except("col1", "col2"))

Ejemplos de código

A continuación, se muestran algunos ejemplos de código adicionales que pueden ayudarte a comprender cómo puedes utilizar estos métodos en PySpark:

Ejemplo 1: Encontrar la unión de dos listas.

from pyspark.sql.functions import array_union
df = spark.createDataFrame([([1, 2, 3], [2, 3, 4])], ["a", "b"])
df.select(array_union("a", "b")).show()

Ejemplo 2: Encontrar la intersección de dos listas.

from pyspark.sql.functions import array_intersect
df = spark.createDataFrame([([1, 2, 3], [2, 3, 4])], ["a", "b"])
df.select(array_intersect("a", "b")).show()

Ejemplo 3: Encontrar la diferencia entre dos listas.

from pyspark.sql.functions import array_except
df = spark.createDataFrame([([1, 2, 3], [2, 3, 4])], ["a", "b"])
df.select(array_except("a", "b")).show()

Conclusión

array_union(), array_intersect() y array_except() son herramientas útiles que permiten realizar varias operaciones en listas y conjuntos. Son fáciles de usar y pueden ahorrar tiempo y esfuerzo en tareas de procesamiento de datos. Si bien solo se abordaron los conceptos básicos aquí, estos métodos son muy versátiles y pueden utilizarse para abordar una amplia variedad de problemas en la programación con PySpark.

Preguntas frecuentes

¿Puedo usar estos métodos en conjuntos de datos grandes?

Sí, estos métodos son eficientes y escalables en grandes conjuntos de datos. PySpark utiliza la distribución de datos y el procesamiento paralelo para garantizar que estas operaciones se realicen de manera rápida y eficiente en conjuntos de datos de cualquier tamaño.

¿Estos métodos funcionan con otros tipos de datos?

No, estos métodos solo funcionan con datos de tipo lista o conjunto en PySpark. Sin embargo, hay otros métodos en PySpark que pueden utilizarse para realizar operaciones similares en otros tipos de datos, como strings y integers.

¿Qué sucede si las listas de entrada tienen elementos duplicados?

Si hay elementos duplicados, solo se incluye una copia en la lista de salida.

¿Puedo utilizar estos métodos con otras herramientas de procesamiento de datos?

Estos métodos son específicos de PySpark y solo funcionan en este entorno. Sin embargo, existen herramientas similares en otros lenguajes y plataformas de procesamiento de datos que permiten realizar operaciones de unión, intersección y diferencia en conjuntos.

[nekopost slugs="clasificacion-de-pyspark,pivote-de-pyspark,structtype-structfield-metodos-pyspark,soltar-pyspark,convertir-pyspark-pandas-dataframe,pyspark-sql-se-une,retrasar-pyspark,use-show-pyspark,pyspark-encendido"]