¿QUÉ ES SPARK?

<  VOLVER
Por: admin
mayo 9, 2016
admin
mayo 9, 2016

Uno de nuestros módulos trata de Spark; ¿Qué es y en qué consiste esta tecnología? Al igual que Hadoop, es un marco de desarrollo que proporciona una serie de plataformas interconectadas, estándares y sistemas para llevar a cabo proyectos de Big Data. Pertenece también a la Apache Software Foundation.

Al ser de código abierto, permite a cualquier usuario utilizar su código de manera libre para crear nuevas versiones destinadas a resolver los problemas que vayan surgiendo. De hecho, las empresas y desarrolladores que trabajan con el programa están continuamente evolucionándolo y creando aplicaciones nuevas. Tanto es así que en 2014 Spark fue la herramienta de la Apache Software Foundation más participativa, con 500 colaboradores.

En opinión de los especialistas en Big Data, Spark resulta ser más moderno y avanzado que Hadoop. Está diseñado para operar mediante el procesamiento de fragmentos de datos “en memoria”, que indica que los datos se transfieren de los discos duros a la memoria del sistema, lo que permite incrementar enormemente la velocidad de los procesos (hasta cien veces más en algunos procedimientos).

Spark Big Data

Estas características hacen que Spark esté muy de moda, siendo utilizado por muchas grandes empresas para el análisis y almacenamiento de enormes volúmenes de datos (cantidades de petabytes) gracias a su celeridad. En 2014, Spark batió el Récord Mundial al clasificar 100 terabytes de datos en tan solo 23 minutos, superando la marca de Hadoop, que estaba en los 71 minutos.

Otra ventaja de Spark, según los expertos, es que es idóneo para aplicaciones de Machine Learning, que como ya vimos hace unas semanas, se trata de programas de aprendizaje automático, una de las prácticas con mayor crecimiento dentro de las ciencias de la computación.

Apache Spark fue diseñado para ser fácil de instalar y utilizar (aunque, obviamente, se necesiten conocimientos de informática), además de tener versatilidad para ser utilizado en diversas aplicaciones de negocio. De hecho, muchos proveedores ofrecen sus propias versiones del software, orientadas a industrias específicas y usos concretos, además de ofrecer servicios de consultoría para su instalación y funcionamiento.

Spark Big Data R

Spark emplea computación en clúster, que son grupos de máquinas unidas por una red de alta capacidad que les permite funcionar como si fueran una sola gran máquina. Esta forma de operar permite obtener una mayor potencia de cálculo y almacenamiento, gracias a su capacidad para utilizar los recursos de la unión de múltiples procesadores. Spark es una herramienta escalable; esto es, que en caso de necesitarse más capacidad, se añaden más procesadores del sistema

A diferencia de Hadoop, Spark no viene con su propio sistema de archivos, lo que le permite integrarse con muchos otros sistemas, entre los que se incluyen Hadoop HDFS, el sistema S3 de Amazon y MongoDB. La herramienta también posee una versión streaming, que permite, como su propio nombre indica, realizar análisis en streaming, o sea, datos en tiempo real, algo esencial para sectores de negocio como el marketing para personalizar los anuncios en base al comportamiento real del cliente, aumentando las posibilidades de conversión

Si quieres hacerte un experto en Spark y otras herramientas, ponte en contacto con nosotros.

MÁSTER EXPERTO EN ARQUITECTURA DE DATOS

Gracias al Master en Arquitectura de Datos tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

Suscríbete a nuestra Newsletter

Recibe nuestra programación mensual de eventos online y la apertura de nuevas convocatorias de cursos




    En Datahack Consulting SL trataremos los datos que nos facilites con la finalidad de enviarte información relacionada con tu solicitud sobre nuestros servicios, así como enviarte comunicaciones informativas sobre nuestra actividad. Podrás ejercer los derechos de acceso, rectificación, limitación, oposición, portabilidad, o retirar el consentimiento enviando un email a administracion@datahack.es. También puedes solicitar la tutela de derechos ante la Autoridad de Control (AEPD). Puedes consultar información adicional y detallada sobre protección de datos en nuestra Política de Privacidad.

    Estamos para ayudarte con cualquier duda, pequeña o grande

    Llámanos, escríbenos al email o por WhatsApp o inicia un chat en la web y hablamos

    chevron-down