Otros artículos en esta sección

No hay entradas relacionadas

Meetup Hadoop Live

Want create site? Find Free WordPress Themes and plugins.

Hadoop Live, resumen del Meetup

El martes 12 de diciembre celebramos en datahack el meetup Hadoop Live. Javier Moralo de datahack Labs hizo un recorrido por el mundo del Big Data y Hadoop. En el que se vio: cuál es la situación actual en cuanto a la cantidad, variedad y velocidad con la que se han ido produciendo los datos en los últimos años. Qué tecnologías y sistemas se han estado utilizando antes de la llegada de Hadoop. y qué motivos han hecho que este último se convierta en una de las piezas fundamentales dentro del mundo del Big Data.

Además de conocer cuáles son las principales características de Hadoop, que lo convierte en uno de los mejores frameworks para el almacenamiento y procesado masivo de datos. También hablamos acerca de cuándo, cómo y por qué surge Hadoop. De la aparición de otras tecnologías en torno a él, para formar lo que se conoce como el ecosistema de Hadoop.

Así explicamos las principales características de herramientas como Sqoop y Flume, para la recolección de datos. Pig, como gestor de ETLs, Hive e Impala, para la consulta de los mismos, Oozie, para la sincronización de trabajos y tareas. Y Cloudera Manager para la administración de los diferentes componentes que forman parte de un clúster de Hadoop.

A continuación, comentamos cómo trabajan y se relaciona Hadoop y las herramientas de su ecosistema para procesar y almacenar datos. De forma que estos puedan ser usados por el cliente final, ya sea a través de librerías y APIs que hable directamente con Hadoop o a través de Spark. Otra de las piezas fundamentales en el mundo del Big data y cuyo uso hace que tanto Hadoop como él, ganen en rendimiento y productividad.Esquema de Hadoop Live

En la parte final de nuestro viaje, comentamos las diferentes distribuciones existentes de Hadoop. Tanto las versiones on-premise (Coludera, Hortonworks y MapR), como las que están en Cloud (Amazon EMR, Azure HD Insight, IBM BigInsights y Google Dataproc). Moralo también explicó la estructura y funcionamiento del clúster de Hadoop que hemos montado en datahack y que los alumnos de nuestro Máster en Big Data & Analytics, utilizan para la realización de sus ejercicios y prácticas.

Cluster de datahack

Así, los asistentes pudieron ver, de primera mano, qué máquinas y elementos lo componen, cómo se administra y cuáles son las herramientas y roles implementados. Viendo, de esta manera, una infraestructura Big Data viva y real. Donde no solo se almacenan y procesan datos, sino que también está preparada para la aplicación y uso de algoritmos de Machine Learning.

¡Gracias a todos los que estuvisteis aquí, por estar y compartir un viaje tan apasionante! 

Disfruta de nuevo de la presentación de la charla

¡Lo prometido es deuda! Y como Javier comentó en el meetup, aquí compartimos con vosotros la presentación del meetup. La podéis descargar a continuación:

Did you find apk for android? You can find new Free Android Games and apps.

¿Te ha parecido de ayuda este artículo?

Si
No
0
de
0
lo encontró de ayuda

Deja tu comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *

*

d

datahack

91 091 28 42
Iniciar sesión