¿Qué es Big Data?
Aunque se ha hablado hasta la saciedad de este tema, el Big Data es tratamiento y gestión de grandes volúmenes de datos, provenientes de fuentes diversas para obtener información útil para nuestro negocio.
Datos se utilizan en las empresas desde hace muchas décadas. El BigData se considera un mundo nuevo por tener un gran volumen de datos, mucho mayor que los manejados hasta ahora, por su velocidad de generación y por la variedad de formatos que presentan.
Esta información nos debe dar un valor adicional para la toma de decisiones, produciendo entre otros, mejoras operativas, conocimiento de clientes, generación de transparencia, desarrollo de productos y servicios o modelos de negocio innovadores.
Retos que presenta:
¿Cómo es la arquitectura Big Data?
Para resolver parte de los problemas asociados a big data, Doug Cutting inventó un framework de desarrollo llamado Hadoop. Entre sus puntos clave se encuentran su capacidad de almacenamiento y procesamiento local:
Los dos conceptos en los que se apoya Hadoop son, por un lado, la técnica de MapReduce y, por otro, el sistema distribuido de archivos HDFS.
Adicionalmente, Hadoop admite otras herramientas de almacenamiento, y lenguajes de programación.
Para qué no sirve:
Perfiles Big Data
Adicionalmente a los perfiles tradicionales del área de Business Intelligence, (analíticos, funcionales y técnicos), la era Big Data incorpora nuevas necesidades organizativas en las compañías Data Driven que basan su estrategia y conocimiento en la información proveniente de los datos.
Así surgen nuevos perfiles, o los ya existentes cobran mayor fuerza deben ampliar conocimientos y capacidades.
Algunos perfiles son:
CDO: Chief Data Officer, es la persona responsable de toda la organización relativa a los datos, desde su origen, función, tratamiento o propiedad. No debería estar en el departamento de IT, ni reportar al CIO. Idóneamente debería reportar al director general, coordinando su actividad con tecnología, operaciones y las áreas de negocio.
Data Architect: Responsable de la arquitectura (funcional y/o técnica) de la infraestructura y modelado de los datos. También de diseñar el procesamiento y la integración de datos desde su origen hasta los análisis finales.
Data Scientist: La profesión del futuro. Es el encargado en extraer el conocimiento de los datos. Para ello deber tener sólidos conocimientos estadísticos, poseer destrezas para resolver problemas, hacer preguntas y explicar los resultados obtenidos.
Data Developer: es la persona encargada de realizar el procesamiento de los datos desde los sistemas origen hasta las estructuras de análisis. Debe tener sólidos conocimientos en procesamiento paralelo, algoritmos, procesos ETL, modelos de datos, ficheros, etc.
Data Stewards: es la persona responsable de la gestión de los datos. Es un rol especialista que incorpora procesos, políticas, guías de acción y responsabilidades para la gestión integral de los datos en la organización, de acuerdo a las directrices establecidas y a las obligaciones regulatorias.
¿Cuáles son las habilidades técnicas clave?
El desarrollo y despliegue de entornos Big Data, como cualquier otra plataforma, requiere un conjunto específico de habilidades que se relacionan con otras plataformas, pero se centran en unas pocas tecnologías clave.
En la próxima hablaremos de casos de uso sectoriales. Dudas, comentarios… serán bienvenidos.
Si te interesa el mundo del Big Data, échale un vistazo a nuestro Máster Experto Big Data Analytics.
Recibe nuestra programación mensual de eventos online y la apertura de nuevas convocatorias de cursos
En Datahack Consulting SL trataremos los datos que nos facilites con la finalidad de enviarte información relacionada con tu solicitud sobre nuestros servicios, así como enviarte comunicaciones informativas sobre nuestra actividad. Podrás ejercer los derechos de acceso, rectificación, limitación, oposición, portabilidad, o retirar el consentimiento enviando un email a administracion@datahack.es. También puedes solicitar la tutela de derechos ante la Autoridad de Control (AEPD). Puedes consultar información adicional y detallada sobre protección de datos en nuestra Política de Privacidad.
Llámanos, escríbenos al email o por WhatsApp o inicia un chat en la web y hablamos