Como vimos la semana pasada, Hadoop es un sistema que se basa en dos grandes partes, los archivos HDFS y el sistema MapReduce. Sin embargo, también comentamos que el programa contenía numerosos programas que permitían facilitarle la vida al científico de datos, haciendo que no fuera necesario operar mediante la realización de complicados algoritmos. A continuación describimos cuáles son las herramientas que nos proporciona el ecosistema Hadoop

Veamos algunos de los componentes del ecosistema Hadoop.

Eclipse. Es un entorno de desarrollo integrado, donado por IBM a la comunidad Apache. Agiliza enormemente el desarrollo de los programas Java.

Sqoop. Nos permite conectarnos a cualquier base de datos relacional (que el acceso se realiza mediante una conexión ODBC, como vimos en nuestro artículo sobre bases de datos) e intercambiar datos con nuestro sistema de ficheros HDFS. Es muy importante poder incorporar fácilmente datos de nuestras bb.dd. (datawarehouse, ERPs, etc.)  y del mismo modo, poder llevar fácilmente el resultado de un cálculo (scoring, segmentación…) a nuestras bases de datos.

Flume. Nos permite recuperar información de sitios remotos. Mediante un agente que se ejecuta en el lugar que se producen los datos (fichero de log…), recoge los datos y los importa en HDFS. Es unidireccional, no permite exportar datos de HDFS a otras ubicaciones. Resulta una herramienta francamente útil para recuperar información en tiempo real.

Hive. Actúa como la base de datos de Hadoop. Es un intérprete SQL – MapReduce. Traduce la query a programas Java que realicen los MapReduce, lo que Esto permite utilizar herramientas de Business Intelligence convencionales (que admitan conexión ODBC) con los datos de HDFS.

Pig: para trabajar con MapReduce, es necesario programar, tener sólidos conocimientos de Java, saber cómo funciona MapReduce, conocer el problema a resolver, escribir, probar y mantener el código, etc. Para ello es muy beneficioso disponer de un sistema más sencillo, que nos abstraiga de la complejidad del MapReduce. Pig cumple precisamente esta función; facilita el flujo de datos de una manera más sencilla. Dispone de su propio lenguaje de programación llamado Pig Latin.

Hbase. Es una base de datos columnar que se ejecuta sobre HDFS. Puede almacenar grandes cantidades de datos, accediendo a los mismos de una manera rápida, pudiendo procesarlos sin problemas incluso si hay datos dispersos.

Oozie. Actúa como un planificador. Es un motor de flujos de trabajo que puede incluir procesos MapReduce , scripts de Pig, de Hive, etc.

Zookeeper. Como su propio nombre indica, Zookeeper cumple el rol de coordinador del ecosistema Hadoop, guardando la configuración de los metadatos, bloqueando un proceso cuando accede al mismo fichero al mismo tiempo que otro proceso, guardando los usuarios y las contraseñas de acceso a los distintos lugares, etc.

Mahout. Es una librería de algortimos de Machine Learning, codificados en Java. ¿Qué es Machine Learning? Un programa que aprende por sí mismo.

Si queréis profundizar en el aprendizaje del ecosistema Hadoop, no dudéis en consultar nuestro programa o pedirnos más información.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

Durante la pasada semana se celebró en la Escuela Técnica Superior de Ingeniería (ETSI) Informática de la Universidad Politécnica de Madrid el evento Try It 2016, donde las empresas más punteras y otras organizaciones presentaron a los estudiantes las tecnologías más novedosas, con especial atención al Big Data. Allí estuvo datahack el pasado jueves 17 a las 13:20 horas contando a la audiencia la funcionalidad del Big Data, la evolución de Hadoop y las ventajas del Machine Learning, cuyo contenido desconocían muchos de los futuros ingenieros informáticos.

Ante una audiencia de más de 100 personas, Lourdes Hernández comenzó su charla presentando a datahack y explicando los puntos de nuestro programa 100% práctico e intensivo, centrado en la formación técnica a través del conocimiento de R, Hadoop, Spark, Python, SQL, NoSQL, algoritmos avanzados, etc. Según McKinsey, en 2018 harán falta 200.000 científicos de datos en todo el mundo, de los que unos 20.000 serán solicitados en España.

Entrando en materia, repasamos las 5 uves del Big Data, para después pasar a ver la evolución de Hadoop, no desde la invención del ábaco, pero sí desde que en 2002 Doug Cutting y Mike Cafarella comenzaron a trabajar en Nutch hasta que en 2009 Cutting pasa a formar parte de Cloudera. ¿Qué es Hadoop? Hadoop es un sistema para el almacenaje y el procesamiento de datos a gran escala, gracias al almacenamiento de datos en HDFS y al procesamiento mediante MapReduce.

La comunicación entre nodos en Hadoop es mínima, además de usar múltiples discos en paralelo, pudiendo procesar fácilmente 3 TB de datos en 15 segundos. Además, su lenguaje de programación suele estar escrito en Java, dando la posibilidad de escribir MapReduce casi en cualquier lenguaje, sin necesitar código de red ni sincronización.

Sin embargo, y esto es importante, Hadoop no es solo Hadoop, sino que forma todo un ecosistema formado por múltiples aplicaciones relacionadas con el Big Data: Flume, Sqoop, Oozie, Pig, Mahout, R Connectors, YARN, Hive, Hbase… Hadoop permite realizar minería de datos, proceso mediante el cual se puede obtener información nueva a partir de textos ya existentes (un 80% de la información existente es textual). Permite recuperar y extraer información, y establecer relaciones entre ellas, incluso en textos no estructurados como PDF o Word.

Se puede desde medir el prestigio de una persona hasta explorar cómo se ha extendido un rumor, o incluso identificar amenazas mediante la detección de patrones, analizar drogas y sus efectos secundarios y resolver problemas basados en relaciones.

Por último, vimos varios casos en los que Hadoop podía ayudar a las empresas, tales como como la identificación de la verdadera razón de una pérdida continua de clientes o la correcta programación de un motor de recomendación que sugiera automáticamente a los clientes la compra de unos productos determinados.

La audiencia salió satisfecha del salón de actos del Bloque Uno de la Facultad y nosotros nos llevamos con nosotros el entusiasmo de una generación de estudiantes que está siendo enormemente demandada en el ámbito laboral.

MÁSTER EXPERTO BIG DATA ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.