PySpark – drop() Drop Column

El método drop() en PySpark se utiliza para eliminar una columna o columnas de un DataFrame. Esta operación es útil cuando se trabaja con grandes conjuntos de datos que contienen columnas no deseadas o que se van a procesar de manera diferente. En este artículo, exploraremos cómo utilizar PySpark para eliminar columnas y hablaremos sobre las mejores prácticas para hacerlo.

La función drop()

La función drop() se puede aplicar a un DataFrame PySpark para eliminar columnas específicas. Su sintaxis es la siguiente:

df.drop(*cols)

Aquí, *cols es una lista de nombres de columna como cadenas. Específicamente, PySpark devuelve un nuevo DataFrame que tiene todas las columnas del DataFrame original excepto las columnas que se especificaron en la lista *cols.

Es importante tener en cuenta que PySpark no cambia el DataFrame original. En su lugar, crea un nuevo DataFrame que tiene las columnas eliminadas. Si desea actualizar el DataFrame original, debe asignar el nuevo DataFrame a la variable original.

Cómo eliminar una columna por nombre de columna

Si desea eliminar una columna por su nombre, puede simplemente pasar el nombre de la columna como una cadena en la lista *cols. Por ejemplo, si desea eliminar la columna "edad" de un DataFrame llamado "datos", puede hacerlo de la siguiente manera:

nuevos_datos = datos.drop("edad")

Este código elimina la columna "edad" del DataFrame "datos" y lo asigna a un nuevo DataFrame llamado "nuevos_datos".

Cómo eliminar varias columnas a la vez

Si desea eliminar varias columnas a la vez, simplemente pase los nombres de columna como una lista de cadenas en la lista *cols. Por ejemplo, si desea eliminar las columnas "edad" y "apellido" del DataFrame "datos", puede hacerlo de la siguiente manera:

nuevos_datos = datos.drop("edad", "apellido")

Este código elimina las columnas "edad" y "apellido" del DataFrame "datos" y lo asigna a un nuevo DataFrame llamado "nuevos_datos".

Cómo eliminar columnas basadas en una condición

Si desea eliminar columnas basadas en una condición, primero debe identificar las columnas que desea eliminar y luego especificarlas en la lista *cols. Por ejemplo, si desea eliminar todas las columnas en un DataFrame que contienen todos los valores perdidos, puede hacerlo de la siguiente manera:

columnas_para_eliminar = [columna for columna in datos.columns if datos.filter(datos[columna].isNull()).count() == len(datos)] nuevos_datos = datos.drop(*columnas_para_eliminar)

Este código identifica todas las columnas en el DataFrame "datos" que contienen valores perdidos en cada fila y luego elimina estas columnas del DataFrame resultante "nuevos_datos".

Cómo dejar caer varias columnas con nombres similares

A veces, es posible que desee eliminar varias columnas en un DataFrame que tienen nombres similares. Por ejemplo, puede tener un conjunto de columnas que comienzan con "x_", como "x_1", "x_2" y "x_3".

Para eliminar estas columnas, puede utilizar la sintaxis de comodín en la lista *cols. Por ejemplo, para eliminar todas las columnas que comienzan con "x_", puede hacer lo siguiente:

nuevos_datos = datos.drop(*[columna for columna in datos.columns if columna.startswith("x_")])

Este código eliminará todas las columnas en el DataFrame "datos" que comiencen con "x_" y asignará el resultado a un nuevo DataFrame llamado "nuevos_datos".

Conclusión

PySpark ofrece una forma sencilla y flexible de eliminar columnas no deseadas de un DataFrame utilizando la función drop(). Ya sea que esté eliminando una columna por nombre, varias columnas o columnas basadas en una condición, PySpark ha simplificado esta operación para que sea fácil y rápido. Esperamos que este artículo haya sido útil para usted y que haya aprendido cómo eliminar columnas en PySpark.

Preguntas frecuentes

¿Cómo puedo saber cuántas columnas hay en el DataFrame?

Puede utilizar la propiedad columns del DataFrame, que devuelve un array de cadenas que representan los nombres de columna.

¿Cómo puedo eliminar todas las columnas en un DataFrame?

Puede utilizar la función drop() sin especificar ninguna columna en la lista *cols. Por ejemplo:
nuevos_datos = datos.drop()

¿Puedo eliminar columnas del DataFrame original?

No, PySpark no cambia el DataFrame original cuando se aplica la función drop(). En su lugar, se crea un nuevo DataFrame que tiene las columnas eliminadas. Si desea actualizar el DataFrame original, debe asignar el nuevo DataFrame a la variable original.

¿Qué significa el parámetro *cols en la función drop()?

El parámetro *cols en la función drop() es una lista de cadenas que representan los nombres de columna que se eliminarán del DataFrame. El asterisco antes de la variable cols indica que la lista no está fija y puede contener un número variable de elementos.

Retornando las primeras y últimas filas de un DataFrame PySpark Pandas

PySpark – max()

Diferentes maneras de crear un DataFrame en PySpark

PySpark Pivot()

PySpark – count()

PySpark between() Function

PySpark – expr()

Cambia el nombre de las columnas de un DataFrame de PySpark - Renombrar columnas

PySpark – OrderBy()