Convertir una columna de tipo string a entero en PySpark

PySpark es una librería de código abierto de Apache Spark, la cual permite procesar grandes conjuntos de datos bajo el esquema distribuido. En ocasiones, los datos pueden no estar en el tipo de dato adecuado para el análisis que se pretende realizar. En esta ocasión, aprenderás a convertir una columna de tipo string a entero, para poder realizar operaciones numéricas con ella en PySpark.

📋 Aquí podrás encontrar✍

¿Qué es una columna de tipo string?
¿Cómo convertir una columna de tipo string a entero en PySpark?
Ejemplo de uso
Convertir columna de tipo string a entero y calcular el promedio
Conclusión
Preguntas frecuentes

¿Qué es una columna de tipo string?

Una columna de tipo string es una columna que contiene valores de texto, es decir, que no son numéricos. Estas columnas contienen caracteres, como letras, números y símbolos. En ocasiones, es necesario convertir estas columnas a tipo numérico para poder realizar operaciones matemáticas con ellas.

¿Cómo convertir una columna de tipo string a entero en PySpark?

Para convertir una columna de tipo string a entero en PySpark, se utiliza la función `cast()` de la clase `Column`. Es importante mencionar que la columna debe contener solamente valores numéricos para poder realizar esta conversión, de lo contrario se generará un error.

El siguiente código muestra cómo convertir una columna llamada `edad` de tipo string a tipo entero:
```python
from pyspark.sql.functions import col

data = [("Juan", "27"), ("Maria", "31"), ("Pedro", "42")]
df = spark.createDataFrame(data, ["nombre", "edad"])

df2 = df.withColumn("edad", col("edad").cast("int"))
df2.printSchema()
```
En la primera línea se importa la clase `Column` y en la segunda se crea un dataframe con una columna llamada `edad`. En las siguientes tres líneas se utiliza la función `withColumn()` para aplicar la conversión de tipo a la columna `edad`. En la última línea se imprime el esquema del dataframe actualizado.

Ejemplo de uso

Supongamos que tenemos un conjunto de datos que contiene información de ventas, y se desea calcular el promedio de una columna llamada `precio_unitario`. Esta columna se encuentra en tipo string y es necesario convertirla a tipo numérico para poder realizar dicho cálculo. La siguiente sección muestra cómo realizar esta conversión y calcular el promedio de la columna.

Convertir columna de tipo string a entero y calcular el promedio

Supongamos que tenemos el siguiente conjunto de datos:

```python
from pyspark.sql.functions import col

data = [("producto1", "15"), ("producto2", "23"), ("producto3", "32")]
df = spark.createDataFrame(data, ["producto", "precio_unitario"])
```
Queremos calcular el precio promedio de los productos en `df`. Para hacer esto, primero debemos convertir la columna `precio_unitario` de string a entero usando la función `cast()` . Luego, podemos llamar a la función `mean()` de PySpark para calcular la media de la columna:

```python
from pyspark.sql.functions import mean

df2 = df.withColumn("precio_int", col("precio_unitario").cast("int"))
df2.select(mean("precio_int")).show()
```

Conclusión

En este artículo aprendimos cómo convertir una columna de tipo string a entero en PySpark utilizando la función `cast()`. También vimos cómo calcular el promedio de una columna de tipo entero después de realizar esta conversión. Ahora puedes utilizar esta técnica en tus proyectos de análisis de datos con PySpark.

Preguntas frecuentes

¿Puedo convertir una columna de tipo string a flotante?

Sí, se puede convertir una columna de tipo string a flotante en PySpark utilizando la misma función `cast()`. En lugar de especificar `"int"`, debes usar `"float"`.

¿Qué pasa si la columna contiene valores no numéricos?

Si la columna contiene valores que no son numéricos, se generará un error al intentar convertirlos a entero. Es importante asegurarse de que los valores de la columna sean numéricos antes de aplicar la conversión.

¿Puedo realizar la conversión en varias columnas a la vez?

Sí, puedes realizar la conversión en varias columnas a la vez utilizando la función `withColumn()` y llamando a la función `cast()` en cada columna que deseas convertir.