Cómo instalar y configurar Apache Hadoop en Ubuntu

Apache Hadoop es un sistema de almacenamiento distribuido y procesamiento de grandes cantidades de datos en clusters de computadoras. Este sistema se puede utilizar en equipos de pequeña, mediana y gran escala y permite el procesamiento paralelo de datos. En este artículo se explicará cómo instalar y configurar Apache Hadoop en Ubuntu.

📋 Aquí podrás encontrar✍

Requerimientos
1. Hardware
2. Software
Instalación de Java
Instalación de SSH
Instalación de Hadoop
Configuración de Hadoop
Ejemplos de comandos
Conclusión
Preguntas frecuentes

Requerimientos

Para instalar y configurar Apache Hadoop es necesario tener:

Hardware

1 máquina con al menos 8GB de RAM, 4 CPU cores, y almacenamiento suficiente para guardar los datos. Uno de los discos debe ser asignado para datos y otro para el sistema operativo

Software

Ubuntu LTS 20.04 o superior
Java SE Development Kit (JDK) 8 o posterior
SSH
apache Hadoop 3.3.0 o posterior

Instalación de Java

Java es requerido para ejecutar Hadoop en Ubuntu. Para instalar ejecutamos los siguientes comandos:

sudo apt update

sudo apt install default-jdk

Instalación de SSH

SSH es requerido para conectarse a las máquinas que forman parte del cluster. Para instalar SSH ejecutar:

sudo apt install openssh-server

Instalación de Hadoop

Los siguientes comandos permiten descargar e instalar Hadoop:

cd ~


wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar xzf hadoop-3.3.0.tar.gz







mv hadoop-3.3.0 hadoop

sudo mv hadoop /usr/local/hadoop

Configuración de Hadoop

La mayoría de los cambios a la configuración de Hadoop se realizan en el archivo /usr/local/hadoop/etc/hadoop/hadoop-env.sh. Esto incluye configuraciones como la ruta de Java, la ruta de Hadoop y la cantidad de memoria que se utilizará.

Luego, se debe configurar el archivo /usr/local/hadoop/etc/hadoop/core-site.xml. En este archivo se especifican las rutas de acceso al archivo del sistema de archivos Hadoop (HDFS).

Finalmente, se debe configurar el archivo /usr/local/hadoop/etc/hadoop/hdfs-site.xml. Aquí se especifican las configuraciones del sistema de archivos HDFS.

Ejemplos de comandos

Los siguientes ejemplos de comandos pueden ser útiles una vez instalado y configurado Hadoop:

Crear un directorio: hadoop fs -mkdir /user/nombre_del_usuario/nombre_del_directorio
Copiar un archivo al sistema de archivos Hadoop: hadoop fs -copyFromLocal /ruta/local/al/archivo /ruta/en/el/sistema/de/archivos/hadoop
Desplegar y eliminar archivos: hadoop fs -put /ruta/local/al/archivo /ruta/en/el/sistema/de/archivos/hadoop y hadoop fs -rm /ruta/en/el/sistema/de/archivos/hadoop
Listar archivos: hadoop fs -ls /ruta/en/el/sistema/de/archivos/hadoop

Conclusión

En este artículo se han cubierto los requerimientos, la instalación, la configuración y los comandos básicos de Hadoop en Ubuntu. Este sistema puede ser muy útil para procesar grandes cantidades de datos y permite el procesamiento paralelo. Existe una gran cantidad de herramientas para trabajar con Hadoop, y una vez instalado y configurado se pueden realizar una amplia variedad de tareas.