La profesión de ingeniero de datos es una de las especializaciones que van ganando enteros en el ecosistema del Big Data. El Emerging Jobs Report de 2020 de LinkedIn la coloca entre las 15 ocupaciones emergentes más destacadas de los últimos cinco años, compartiendo protagonismo con puestos tan sugerentes como experto en Inteligencia Artificial, científico de datos o Site Reliability Engineer. En este listado, los ingenieros de datos se sitúan en la octava posición, con la constatación por parte de LinkedIn de que su contratación ha crecido un 35% entre 2015 y 2019.

Y tú, ¿te sentirías cómodo trabajando como data engineer? ¿Se trata de una vía laboral que te gustaría explorar? Mira lo que hacen estos profesionales del Big Data y, si encaja con tu personalidad y tus objetivos, quédate con nosotros. ¡En datahack te ayudaremos a avanzar en tu carrera!

¿Qué es un ingeniero de datos?

El ingeniero de datos es el profesional encargado de sentar las bases para la adquisición, el almacenamiento, la transformación y la gestión de los datos en una organización. Este especialista asume la configuración de la infraestructura tecnológica necesaria para que el gran volumen de datos no estructurados recogidos se convierta en materia prima accesible para otros especialistas en Big Data, como los data analysts y los científicos de datos.

Los data engineers trabajan diseñando, creando y manteniendo la arquitectura de las bases de datos y de los sistemas de procesamiento, de manera que la posterior labor de explotación, análisis e interpretación de la información pueda llevarse a cabo sin incidencias, de manera ininterrumpida, segura y eficaz.

¿Qué hace un ingeniero de datos en su día a día?

El día a día del ingeniero de datos transcurre, fundamentalmente, entre procesos ETL (Extract, Transform, Load), es decir, desarrollando tareas de extracción, transformación y carga de datos, moviéndolos entre diferentes entornos y depurándolos para que lleguen normalizados y estructurados a las manos de analistas y data scientists. El papel del data engineer es, en este caso, comparable al de un fontanero, ya que se centra en implementar y mantener en buen estado la red de pipelines (tuberías) por la que los datos (a semejanza del agua) correrán para alimentar el funcionamiento de toda la organización.

1. Extracción

En la primera etapa del proceso ETL, el ingeniero de datos se encarga de sacar los registros de distintas localizaciones, así como de estudiar la incorporación de nuevas fuentes al flujo Big Data de la compañía. Estos datos se presentan en diferentes formatos, integrando variables muy diversas, y pasarán a un data lake, u otro tipo de repositorio donde esta información quedará almacenada en bruto, disponible para cualquier uso futuro.

2. Transformación

En un segundo paso, el data engineer coordina la limpieza de los datos, eliminando duplicados, corrigiendo errores y desechando el material inservible; y los elabora y clasifica para convertirlos en un conjunto homogéneo.

3. Carga

Finalmente, el ingeniero de datos lidera la carga de estos en su destino, ya sea este una base de datos ubicada en un servidor propio de la compañía o un data warehouse en la nube. Además de la correcta exportación, una de las preocupaciones recurrentes en esta etapa final es la vigilancia de la seguridad, puesto que el data engineer ha de garantizar que la información se guarda a salvo de ciberataques y de accesos no autorizados.

¿Qué se necesita para trabajar como ingeniero de datos?

Para trabajar como ingeniero de datos es preciso adquirir las destrezas técnicas que requiere un proceso ETL completo. La mayoría de las empresas piden a sus candidatos que sepan manejar bases de datos SQL y NoSQL, que estén familiarizados con servicios cloud (como Microsoft Azure o Amazon Web Services) y que se muevan con soltura dentro del ecosistema Hadoop (MapReduce, Hive, etc.).

También te ayudará tener conocimientos de:

2021 arranca repleto de oportunidades. Si hace poco te explicábamos por qué es un buen momento para estudiar un Máster en Big Data & Analytics, hoy te avisamos de que se acerca otro tren que no deberías dejar escapar: el del Máster Experto en Arquitectura Big Data de datahack. Una formación imprescindible que te capacitará para trabajar como ingeniero de datos en tan solo 15 semanas. ¡Contacta con nosotros ahora y apúntate!

El análisis en Big Data se define como un proceso que comprende la recolección, la depuración, el tratamiento, el modelado y el estudio de los datos con el fin de obtener conclusiones útiles que cristalicen en forma de conocimiento y que guíen la toma de decisiones en las organizaciones.

Para el desarrollo de este proceso de análisis en Big Data, utilizamos metodologías iterativas de minería de datos como KDD, SEMMA o CRISP-DM, que constan de varias fases de manejo de los datos claramente secuenciadas y que emplean técnicas de analítica descriptiva, diagnóstica, predictiva o prescriptiva. Veamos en qué consiste cada una de ellas.

Métodos de minería de datos para el análisis en Big Data

KDD (Knowledge Discovery in Databases)

KDD (Knowledge Discovery in Databases) es una metodología de minería de datos para el análisis en Big Data que busca identificar patrones implícitos en los grandes volúmenes de datos y convertirlos en conocimiento, filtrando y descartando aquellos hallazgos que no resulten de utilidad para los objetivos fijados. Por eso, antes de iniciar un proceso KDD, es imprescindible determinar qué queremos conseguir con él. Una vez establecido esto, se aplica el método KDD con los siguientes pasos:

  1. Selección: de las muestras de datos y de las variables que se van a estudiar.
  2. Preprocesamiento: se lleva a cabo una homogeneización de los registros, limpiando y normalizando para que no haya problemas con el procesamiento por parte de las herramientas de Big Data.
  3. Transformación: se aplican técnicas de reducción de la dimensionalidad y de eliminación de las variables irrelevantes para reducir la complejidad de la muestra.
  4. Minería de datos: se establece qué algoritmos y técnicas de data mining usar y se ponen en juego para descubrir y mapear las relaciones entre los datos.
  5. Interpretación: finalmente, se traduce la información descubierta en dashboards y visualizaciones comprensibles para los actores encargados de evaluar el conocimiento adquirido y decidir qué hacer con él.

SEMMA (Sample, Explore, Modify, Model and Assess)

SEMMA (Sample, Explore, Modify, Model and Assess) es una metodología de data mining para el análisis en Big Data desarrollada por el SAS Institute. Va en consonancia con el sistema de trabajo de SAS Enterprise Miner, su software de minería de datos, y prevé cinco etapas:

  1. Muestreo: se debe escoger un conjunto de datos representativo, con un tamaño adecuado para obtener conclusiones relevantes y generalizables.
  2. Exploración: para atisbar las coincidencias y las tendencias más marcadas, que nos guíen en los siguientes pasos.
  3. Modificación: mediante una labor de agrupación, limpieza y recorte de variables, o de creación de otras nuevas, que facilite las tareas posteriores.
  4. Modelado: con técnicas de minería de datos como las redes neuronales, los árboles de decisión u otras herramientas estadísticas.
  5. Evaluación: con tests que verifiquen la validez del modelo desarrollado, probando su fiabilidad en otras muestras.

CRISP-DM (Cross Industry Standard Process for Data Mining)

CRISP-DM supone un avance con respecto a KDD y SEMMA en el campo de los procesos de minería de datos para el análisis en Big Data, en el sentido de que anticipa la repercusión de los hallazgos obtenidos en el negocio. Las tareas de analítica se asumen como un proyecto que se documenta exhaustivamente para que todos los equipos de una organización puedan continuar trabajando a partir de él.

La visión de negocio es imprescindible en el análisis en Big Data y la minería de datos con CRISP-DM

CRISP-DM se estructura en seis fases:

  1. Comprensión del negocio: asunción de sus necesidades y objetivos y selección de los que van a motivar el análisis en Big Data.
  2. Comprensión de los datos: primera aproximación a los datos para realizar agrupaciones, identificar patrones notorios y lanzar hipótesis preliminares.
  3. Preparación de los datos: incluyendo selección de muestras, limpieza, normalización y transformación.
  4. Modelado: con técnicas de analítica y data mining acordes al tipo de pregunta o preguntas a las que se pretende responder (qué ha ocurrido, por qué, qué sucederá a continuación o cómo deberíamos actuar ahora).
  5. Evaluación: para, de nuevo, vigilar el nivel de fiabilidad de los resultados obtenidos y cerciorarnos de que el modelo toma en consideración todas las circunstancias del negocio.
  6. Despliegue: generación del informe o entregable final o implantación en un entorno de producción.

Herramientas de análisis en Big Data

Los analistas de Big Data acometen estos procesos con la ayuda de una serie de herramientas tecnológicas que automatizan las tareas menos creativas de la explotación de datos. En datahack impartimos cursos específicos para aprender a manejar algunas de ellas, como:

Y si estás buscando una formación integral, ¿por qué no te atreves con nuestro Máster en Big Data & Analytics? 100% online y adaptado a ti para que te conviertas en un experto en tan solo 15 de semanas. ¡Contacta con nosotros e infórmate ahora!

Redes sociales y big data. Las redes sociales son no solo un lugar donde compartir nuestros contenidos y novedades e interactuar con nuestros usuarios. También son la mejor herramienta para obtener datos relevantes para nuestra empresa, como por ejemplo:

PERCEPCIÓN DE NUESTRA MARCA Y ANÁLISIS DEL SENTIMIENTO

Podemos monitorizar sentimientos, opiniones y actitudes negativos, neutrales o positivos respecto a nuestra marca o nuestros productos, precios, servicios de atención al cliente… Redes sociales y big data. Gracias a ello podemos reaccionar y adaptarnos en consecuencia. También podemos detectar temas tabú o asuntos de los que podemos hablar, relacionados con nuestro sector, que generen sentimientos positivos en el consumidor.

SEGMENTACIÓN Y FIDELIZACIÓN DE NUESTRO CONSUMIDOR

Analizando las conversaciones, su comportamiento, las marcas que sigue… podemos definir más fácilmente nuestras buyer personas por categorías mucho más afinadas que la mera demografía, como sus gustos, actitudes, intereses, aficiones… Esto nos permite dar en la diana cuando nos comuniquemos con él y ofrecerle una experiencia más personalizada que ayudará a fidelizarle y facilitará que avance en su ciclo de compra.

MOMENTOS PROPICIOS PARA LA VENTA

Redes sociales y big data. Gracias a las redes sociales podemos detectar los picos de actividad y cuándo los usuarios son más propicios a hacer click en nuestras publicaciones.

DETECCIÓN DE CONSUMIDORES POTENCIALES

Podemos detectar gente que, aunque aún no sea nuestro cliente, tenga patrones similares a los que sí lo son. Una vez detectados, podemos aprovechar lo que sabemos para llevarlos a nuestro terreno y convertirles en clientes, ya sea mediante una promoción o mediante estrategias de ventas más directas.

DETECCIÓN DE INFLUENCERS

Con las redes sociales podemos averiguar no solo a quién siguen nuestros clientes, sino también las personas que más les influencian, que no necesariamente son las que más seguidores tienen. Esto nos ayudará al centrar nuestros esfuerzos e incluso a ahorrar costes (mandando muestras de producto solo a las personas que sean más influenciadoras…)

ESTUDIO DE LA COMPETENCIA

Podemos reunir información sobre cómo se posiciona nuestra competencia en comparación con nosotros e identificar puntos de mejora, en qué lo hacemos mejor que ellos, qué diferencia a sus consumidores de los nuestros…

TENDENCIAS DE CONSUMO Y MERCADO

Las redes sociales permiten vislumbrar los cambios en las tendencias analizando los contenidos y palabras más compartidos. Con esto, podemos detectar desde los colores que se van a poner de moda hasta cuándo algo ya no resulta “cool”. Incluso nos puede dar pistas sobre qué tipo de palabras o lenguaje utilizar al detectar cuáles se muestran más efectivas.

La ingente cantidad de métricas a las que podemos acceder, que para colmo no están unificadas entre las distintas redes, dificulta esta tarea. Ahí es donde entra el Big Data: lo utilizamos para recopilar, limpiar, unificar, organizar y, en definitiva, convertir esos datos en información útil para la empresa. Para ello, es necesario dominar una serie de herramientas y lenguajes de programación, tecnologías en continuo desarrollo, además de llevar a cabo un tratamiento científico de esos datos para convertirlos en información accionable y valiosa.

En nuestro máster de Big Data & Analytics, aprenderás todo esto de manera 100% práctica y de la mano de profesionales del sector, que tienen experiencia de primera mano.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

En el artículo anterior hablamos de las aplicaciones del análisis predictivo en el marketing y las ventas, pero estos modelos de machine learning tienen muchas otras aplicaciones. Sectores como el financiero, la lucha contra el crimen o la sanidad también se benefician de ello.

Gestionar el riesgo

Con esto, nos referimos tanto a escenarios macroeconómicos como a escenarios microeconómicos. A escala global, podemos predecir (y beneficiarnos) de lo que ocurrirá a los mercados en el corto plazo. A escala individual, podemos hacer un análisis de cada cliente para conocer su comportamiento futuro. De esta forma, podremos anticipar, entre otras cosas, cuáles tienen más probabilidad de no hacer sus pagos a tiempo o con cuáles no recuperaremos la inversión.

Detectar fraudes

Se usa analítica predictiva para detectar desde siniestros fraudulentos hasta créditos inapropiados, robo de identidad, evasión de impuestos, proveedores sospechosos o transacciones financieras fraudulentas. ¡Incluso para encontrar plantaciones ilegales de marihuana gracias al consumo eléctrico!

Gestión de inventarios

Gracias a las técnicas de series temporales y machine learning, podremos predecir la demanda de un producto para gestionar el inventario. Así, anticiparemos tanto la cantidad de materia prima necesaria como el espacio de almacenamiento que necesitaremos.

Compraventa de acciones en bolsa

Hoy ya se utilizan los algoritmos predictivos para invertir en bolsa. Gracias a ello, no solo sabemos qué acciones subirán, sino también cuándo es el mejor momento para venderlas.

Gestión eficiente de los recursos públicos

Con analítica predictiva, podemos conocer los datos demográficos de la población futura en distintas zonas, así como los servicios públicos que necesitarán. Así, se podrán planificar mejor desde la gestión de las basuras hasta la creación de nuevas infraestructuras.

Combatir el crimen

El análisis predictivo va más allá de combatir el fraude cuando se trata de luchar contra el crimen. Como comentamos en el artículo Luchar contra el crimen con Big Data, podemos predecir desde crímenes leves hasta atentados, secuestros y asesinatos. También podemos anticipar qué movimientos hará el crimen organizado y predecir la probabilidad de que un criminal vuelva a delinquir, de modo que se tomen mejores decisiones respecto a su encarcelamiento.

Asistencia sanitaria

La analítica predictiva también salva vidas. Podemos anticipar qué pacientes tienen riesgo de padecer ciertas enfermedades como la diabetes o problemas de corazón. También cómo evolucionarán ciertas enfermedades, el contagio de las mismas o cómo reaccionará el paciente a cada tratamiento posible.

Gestionar el talento en la empresa

Como comentamos en los artículos sobre Big Data y Recursos Humanos, gracias al análisis predictivo podemos saber qué empleados tienen más probabilidad de marcharse y tomar medidas para fidelizarles. También podemos predecir el desempeño futuro de nuestros candidatos o encontrar al talento más merecedor de un ascenso, entre otras cosas.

Mejorar el Medio Ambiente

Ya vimos en los artículos de Big Data y Medio Ambiente que el Big Data y el análisis predictivo también pueden ayudar a crear un mundo mejor. Predecir cuál será nuestra huella en el planeta, cómo será el el cambio climático, cómo se pueden aprovechar mejor los recursos y cómo evolucionarán las distintas especies de la biosfera en vista de los cambios es el primer paso para luchar por un planeta más limpio.

Conclusiones

El análisis predictivo puede ser aprovechando en múltiples sectores. Los anteriores son solo unos pocos ejemplos de los cientos que se podrían mencionar, ya que las aplicaciones prácticas son casi infinitas. Es por eso por lo que resulta tan importante estar al día en lo que respecta a estas tecnologías y tener una base de formación en Big Data de calidad.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

El análisis predictivo es uno de los usos más frecuentes del machine learning, dado que es de los más útiles para las necesidades de las empresas y organizaciones. Pero, ¿qué tipo de algoritmos se utilizan para hacer estos análisis y cómo funcionan? Aquí se muestran algunos de los algoritmos más utilizados en los modelos de predicción.

Regresión lineal

Consiste básicamente en una línea recta que muestra el “mejor encaje” de todos los puntos de los valores numéricos. También se llama el método de los mínimos cuadrados porque calcula la suma de las distancias al cuadrado entre los puntos que representan los datos y los puntos de la línea que genera el modelo. Así, la mejor estimación será la que minimice estas distancias.

Lo bueno es que es fácil de entender y se ve claramente el porqué de esa línea. No obstante, tiende al overfitting, siendo peligrosos los valores extremos. Aparte, es demasiado simple para capturar relaciones complejas entre variables.

Regresión logística

Es una adaptación de la regresión lineal a problemas de clasificación (booleanos, grupos…),  utilizando el método de máxima verosimilitud para saber cuál es la probabilidad de que ocurra algo en cada punto determinado.

También es fácil de entender, pero, igualmente, tiene las desventajas de ser demasiado simple y de tender al overfitting.

El árbol de decisión

Es un gráfico que usa un método de ramificación basado en construcciones lógicas. Los árboles de decisión comienzan con el conjunto de datos completo y se van descomponiendo en distintas ramas en función de una serie de condiciones que se van seleccionando hasta llegar a la resolución del problema

Es muy fácil de entender e implementar, aunque resultan demasiado simples y poco poderosos para datos complejos.

Bosques aleatorios (Random forest)

Toma la media de muchos árboles de decisión hechos con muestras de los datos. Como se basa en muestras, cada árbol por separado es más débil que uno completo, pero la suma de todos logra unos resultados mejores.

Tiende a dar modelos de alta calidad, pero es difícil entender el porqué de las predicciones.

Potenciación del gradiente (Gradient Boosting)

Hace como el modelo anterior, pero usando árboles de decisión incluso más débiles. Luego, optimiza la muestra de datos utilizados en cada paso.

Tiene un alto desempeño, pero cualquier pequeño cambio en el conjunto de datos puede generar cambios radicales en el modelo, por no hablar de que es muy difícil comprender las predicciones.

Redes neuronales

Imitando el comportamiento del cerebro, son unidades (“neuronas”) interconectadas en varias capas que pasan mensajes de unas a otras.  Se utilizan cuando no se conoce la naturaleza exacta de la relación entre los valores de entrada y de salida.

Pueden resolver tareas extremadamente complejas como reconocimiento de imágenes, pero son muy lentas, requieren mucha potencia y sus resultados son predicciones casi imposibles de comprender.

K-vecinos más cercanos (k-NN o Nearest Neighbor)

Es un algoritmo de agrupamiento (clutering) no jerárquico, de los más utilizados, aunque no el único. Mediante métodos estadísticos de reconocimiento de patrones, se calcula la distancia de un dato a los vecinos más cercanos del conjunto de entrenamiento. El resultado está basado en la probabilidad de que un elemento pertenezca a la clase.

El mayor problema que tiene es que funciona mal con muestras pequeñas.

Clasificador bayesiano ingenuo (Naïve Bayes)

Este algoritmo asume que la presencia o ausencia de una característica no está relacionada con la presencia o ausencia de cualquier otra.  De este modo, cada una de las características del conjunto contribuye de forma independiente a la probabilidad de que el conjunto sea un objeto concreto.

Lo bueno es que solo requieren una pequeña cantidad de datos, aunque  a menudo falla a la hora de producir una buena estimación de las probabilidades de clase correctas.

Algoritmos de reducción de dimensionalidad

Estos algoritmos no son predictivos como tal. Se utilizan para reducir el número de variables a analizar encontrando las que realmente son relevantes para el análisis. Por ello, muchas veces se utilizan junto a los algoritmos anteriores, especialmente en conjuntos de datos muy grandes.


Déborah Fernández, responsable de marketing y comunicación de datahack

FASES DE LA ANALÍTICA BIG DATA. Queremos implementar la analítica Big Data en nuestra empresa pero ¿cómo hacerlo? En principio, sistematizar la analítica de datos puede parecer una tarea ingente, pero por suerte cualquier método analítico sigue una serie de pasos que detallamos a continuación:

OBTENCIÓN DE DATOS

FASES DE LA ANALÍTICA BIG DATA. Lo primero es asegurarnos de que obtenemos datos de calidad de los que pueda salir un análisis veraz, útil y fiable. Es importante, en esta fase, que la empresa identifique sus objetivos para que sepa qué datos necesita y cómo conseguirlos.

LIMPIEZA Y FILTRADO DE DATOS

FASES DE LA ANALÍTICA BIG DATA. Una vez tenemos los datos “en bruto”, hacemos una primera manipulación para hacerlos manejables. En esta fase eliminamos duplicados o errores y los trasladamos al formato más adecuado para su procesamiento.

PROCESAMIENTO DE DATOS

FASES DE LA ANALÍTICA BIG DATA. Aquí lo que hacemos es integrar los datos, manipulándolos masivamente para estructurarlos y diferenciarlos (a veces, en función de lo que necesitemos, extraeremos subconjuntos relevantes para manipularlos y analizarlos sin afectar al resto), de forma que podamos extraer información valiosa de ellos en fases posteriores.

MODELADO Y ALGORITMOS

FASES DE LA ANALÍTICA BIG DATA. En este paso construiremos un modelo analítico y elegiremos las metodologías a utilizar según el resultado que busquemos (datos estadísticos, regresiones, predicciones…). Una vez decidido esto, procederemos a crear los algoritmos necesarios para poner en marcha el modelo de machine learning.

TESTEO Y ENTRENAMIENTO DEL MODELO

FASES DE LA ANALÍTICA BIG DATA. Creados los algoritmos, ejecutamos el modelo contra un conjunto de datos parciales para probar su precisión. Entrenaremos el modelo hasta llegar al nivel de precisión deseado, momento en el cual finalizamos esta fase.

EJECUCIÓN DEL MODELO

Es el momento de ejecutar el conjunto de datos completo, bien sea una vez, si se trata de una necesidad de información puntual y específica, o de forma continua, mediante una automatización a medida que se actualizan los datos, si es una necesidad recurrente.

VISUALIZACIÓN DE LOS RESULTADOS

Los resultados y, en general, toda la información útil extraída, ha de llegar al usuario final de forma que pueda comprenderla: mediante informes, gráficos u otro tipo de soporte de visualización. Para ello, usaremos software de análisis y visualización de datos Big Data como Power BI.

CONCLUSIÓN

Seguir los pasos para conseguir implementar una analítica Big Data es relativamente sencillo. Lo que no es tan sencillo es tener los conocimientos necesarios para llevar a cabo la realización de los algoritmos necesarios para los modelos, o para mostrar los resultados en potentes visualizaciones.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

El análisis de datos nos proporciona grandes ventajas competitivas, desde el apoyo en la toma de decisiones o la segmentación de partners y clientes hasta mejoras en la gestión interna. Pero, ¿cómo extraer todos estos beneficios de los datos?

No basta con recopilar y almacenar de forma masiva tantos datos como sea posible y enriquecer tu base de datos sin ton ni son. Para sacar valor de dichos datos, tenemos que analizarlos y, para ello, debemos tener claros los objetivos de dicho análisis y qué tipo de información es valiosa para nosotros.

EL BIG DATA EN LA ANALÍTICA DE DATOS

TIPOS DE ANALÍTICA BIG DATA. La analítica tradicional está limitada a un pequeño número de datos estructurados, por lo que los resultados de los análisis pueden resultar un poco pobres. Con Big Data, podemos analizar grandes cantidades de datos, aunque no estén estructurados, y construir modelos a partir de patrones que no siempre se aprecian a simple vista.

ANALÍTICA DESCRIPTIVA

TIPOS DE ANALÍTICA BIG DATA. Responde a la pregunta “¿qué sucedió?” analizando el pasado y el desempeño de las actividades de nuestra empresa, para lo que utiliza datos históricos.

Básicamente, simplifica y resume los datos para darnos una visión y contexto con los que entenderlos. Para ello, usa herramientas como inteligencia de negocio, análisis estadísticominería de datos, aunque es relativamente sencilla de hacer, por lo que es el tipo de analítica más extendido.

ANALÍTICA DIAGNÓSTICA

TIPOS DE ANALÍTICA BIG DATA. Responde a la pregunta “¿por qué sucedió?”. Al igual que la descriptiva, tiene en cuenta el desempeño pasado del comercio pero suma al análisis datos del contexto. Gracias a eso, da un paso más allá de la anterior y permite descubrir tendencias o relaciones causales.

ANALÍTICA PREDICTIVA

TIPOS DE ANALÍTICA BIG DATA. Responde a la pregunta “¿qué podría pasar?” contrastando datos recientes e históricos con técnicas como la minería de datos, modelos de machine learning y estadísticas, para ofrecer escenarios y comportamientos de clientes futuros posibles basados en probabilidades.

ANALÍTICA PRESCRIPTIVA

Esta va mucho más allá y nos responde a la pregunta “¿qué deberíamos hacer?”. No sólo permite vislumbrar escenarios futuros probables, también sugiere decisiones a tomar frente a estos escenarios y el impacto de cada posible curso de acción que se tome.

Para llevarla a cabo se utilizan herramientas de machine learning como la optimización, Análisis de Decisión Multicriterio o la simulación.

CONCLUSIÓN

Por supuesto, los cuatro tipos de analítica Big Data son fácilmente combinables entre sí, no son excluyentes. No obstante, el uso de unas u otras depende de la cantidad de datos disponible y de nuestras capacidades técnicas. Para conseguir dichas capacidades técnicas necesitamos un conocimiento avanzado de herramientas de Big Data que nos permitan elaborar modelos de machine learning capaces de llevar el análisis de nuestros datos al máximo nivel.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

Tras ver qué podemos hacer conectando twitter y R y cómo hacerlo, además de algunas de las funciones más importantes, y cómo segmentamos seguidores, toca mostrar algunas de las funciones que nos permiten analizar publicaciones y hashtags.

ANÁLISIS DE PALABRAS MÁS REPETIDAS JUNTO A UN HASHTAG

Ver qué palabras tienen asociadas ciertos hashtags relevantes nos permiten no solo encontrar más hashtags para añadir a nuestra publicación, sino a detectar nuevas temáticas relacionadas y afinar las palabras que usamos en nuestras publicaciones. Lo primero que debemos hacer es instalar y llamar todas las librerías que vimos anteriormente, conectar con la API de twitter, usar la función para sacar la información del hashtag que nos interesa y convertirlo en un dataframe. Luego, lo convertimos en un string y hacemos todas las operaciones que mencioné en el artículo anterior para limpiar el texto al máximo y sacar una tabla de frecuencias con las palabras más repetidas ordenadas. Todas las instrucciones para hacer esto están en los artículos anteriores, por eso pasamos rápido por este punto.

QUÉ USUARIOS SON LOS QUE MÁS USAN ESE HASHTAG

Detectar los usuarios más activos en un tema nos ayuda no solo a detectar seguidores potenciales, sino también a influencers en el tema y a personas que pueden generar contenidos que nos interesa compartir con nuestra audiencia. Hacerlo es muy sencillo: sobre el dataframe que creamos inicialmente para sacar las publicaciones de un determinado hashtag, hacemos lo siguiente:

#qué usuarios son los que más han empleado el hashtag:
#eliminamos los retweet y nos quedamos sólo con los nombres de los usuarios que han escrito el tweet
usuarios <-subset(dataframehashtag,isRetweet==FALSE)$screenName
#Opción 1: los tabulamos y ordenamos.
usuarios<-sort(table(usuarios),decreasing=T)
#Opción 2: ver directamente los x iniciales
usuarios[1:x]

QUÉ CONTENIDOS DE UN HASHTAG SON MÁS POPULARES

En twitter, la medida de popularidad de una publicación está en la interacción que tiene (respuestas, favoritos y retweets, en especial estos dos últimos) así que sacar las publicaciones más populares de un hashtag es tan sencillo como crear un filtro en el dataframe para sacar las publicaciones en las que haya al menos x interacciones

#contenido más retuiteado
#retuiteado + fav
contenido_popular<-filter(dataframehashtag, dataframehashtag[["favoriteCount"]]>x, dataframehashtag[["retweetCount"]]>x)
#solo retuiteado
contenido_popular2<-filter(dataframehashtag, dataframehashtag[["retweetCount"]]>x)

Hay que tener presente que, según el sector, a veces la gente no hace retweet pero sí fav, o al revés, o no hace ninguna de las dos pero sí responde a las publicaciones. También, según el tipo de hashtag, x deberá ser mayor o menor. Así pues, es tan fácil como ajustar el código a las circunstancias. Luego, sobre eso, podemos hacer un nuevo filtro para sacar las palabras más populares del contenido más popular, lo que nos indicará qué no debe faltar en nuestras publicaciones para tener potencial de éxito.

ANÁLISIS DE SENTIMIENTOS DE UN HASHTAG

El análisis de sentimientos nos permite monitorizar opiniones sobre determinados temas, saber hasta qué punto en un sector se utilizan un tipo de mensajes u otros (aprovechando miedos de los consumidores para vender determinados productos frente a ventas atrayendo a los seguidores con los beneficios, por ejemplo)... Para hacerlo, además de las anteriores, necesitamos instalar y ejecutar las librerías SnowballC, tm y syuzhet. Con ellas hay que tener un poco de paciencia, a veces fallan y hay que ejecutarlas varias veces, aunque suelen funcionar de forma correcta. Hecho esto, creamos un dataframe con los datos del hashtag que nos interesa y, quedándonos solo con la columna text, eliminamos hashtags, @, url y toda la información que no es relevante para el análisis mediante la función gsub, que mostré en el artículo anterior. Luego comenzamos a trabajar con definiciones de sentimientos. Por ejemplo, podemos crear una tabla en la que nos muestre si las publicaciones contienen palabras asociadas a los sentimientos principales y cuántas hay.

#Insertando palabras de definición de sentimientos
word.df <- as.vector(dataframehashtag)
emotion.df <- get_nrc_sentiment(word.df)
emotion.df2 <- cbind(bigdata.df2, emotion.df)

Saldrá algo parecido a esto:

análisis datos twitter

También podemos sacar publicaciones donde predomine un sentimiento mediante este código:

#extrayendo puntuación de sentimientos
sent.value <- get_sentiment(word.df)
#más positivos (si queremos los más negativos, cambiamos max por min
most.positive <- word.df[sent.value == max(sent.value)]
#simplemente positivos (si queremos negativos o neutros, poner < o == respectivamente)
positive.tweets <- word.df[sent.value > 0]
#tabla resumen
category_senti <- ifelse(sent.value < 0, "Negative", ifelse(sent.value > 0, "Positive", "Neutral"))
table(category_senti)

Y este es el resumen del código utilizado en la charla de Analizando datos de twitter con R, impartida por Déborah Fernández el pasado día 27. Si queréis ver la charla completa con explicaciones más detalladas y ejecución de parte del código en directo, podéis visitar nuestro canal de youtube.

¿QUIERES APLICAR TODO ESTE CONOCIMIENTO? COMIENZA A A PROGRAMAR EN R

En nuestro curso de Análisis de datos con R aprenderás de forma rápida a utilizar este lenguaje.

Ya hemos hablado en otra entrada de qué es R y de su potencial. Hoy, nos centraremos en cómo puede esta herramienta ayudarnos a sacar el máximo partido de nuestros datos de twitter. Cada vez hay más librerías relacionadas con twitter que podemos utilizar para extraer y analizar estos datos, pero para este caso utilizaremos Twitter. ANÁLISIS DE DATOS DE TWITTER CON R

DATOS DE LOS TEXTOS GENERADOS

Cada tweet creado nos da mucha información relevante: desde su origen en según qué plataformas hasta cuántas interacciones posee, aparte del propio texto. En esta imagen, podemos ver qué información nos dan algunos de los tweets de datahack. ANÁLISIS DE DATOS DE TWITTER CON R

datos que podemos sacar de un tweet para análisis

DATOS DE LOS USUARIOS

Entre los datos más relevantes de cada usuario, podemos sacar desde su propia autodescripción, su nivel de influencia (seguidores-seguidos), cómo de activo es, procedencia… En esta imagen podemos ver la información de nuestro usuario @datahack_

datos que podemos sacar de un usuario para análisis

ANÁLISIS RELEVANTES

Con todo lo recogido, podemos sacar información bastante útil para optimizar nuestro posicionamiento y el tipo de mensajes que mandamos en las redes sociales y podemos realizar:

CÓMO EMPEZAR EL ANÁLISIS DE DATOS DE TWITTER CON R

Para conectar twitter con el programa en el que estemos ejecutando el lenguaje R, lo primero que necesitamos es una cuenta en la API de twitter. Una vez que la tengamos, podremos conectarnos gracias a las claves que nos proporcione.

La API de twitter tiene algunas limitaciones, como un número máximo de tweets recuperados por consulta y una limitación de tiempo mínimo entre consulta y consulta. Si nos pasamos podemos ser bloqueados, así que tenemos que tener cuidado y poner siempre un tamaño de muestra inferior a 200, sin hacer varias consultas en la misma ejecución. Si necesitamos muestras más grandes, podemos hacer varias consultas periódicamente en las que vayamos descargando datos (son en orden cronológico) y uniéndolos, por ejemplo. ANÁLISIS DE DATOS DE TWITTER CON R

En cualquier caso, lo más interesante del análisis de datos en twitter es la inmediatez, para ver las tendencias de cada momento, ya que los hashtags populares y las palabras asociadas a los mismos, por ejemplo, pueden cambiar de un día para otro, por lo que con una muestra de 100 es más que suficiente.

Conectaremos la API de twitter con R mediante el siguiente código:

# Cargar las credenciales
consumer_key <- "xxx"
consumer_secret <-"xxx"
access_token <-"xxx"
access_secret <-"xxx"
setup_twitter_oauth(consumer_key, consumer_secret, access_token=access_token, access_secret=access_secret)

FUNCIONES BÁSICAS

Una vez hecho esto, podemos ponernos a trabajar. Algunas de las funciones más básicas que debemos aprender son las llamadas para recuperar información y cómo convertirlas en dataframes   con los que trabajar. No olvidemos que, para trabajar con los datos de twitter, tendremos que instalar y llamar las librerías twitteR, base64enc y tidyverse

SACAR TODA LA INFORMACIÓN DEL TIMELINE Y CARACTERÍSTICAS DE UN USUARIO

#sacar tweets de un usuario:
usuario<- userTimeline('usuario',n=100)

Para conseguir solo algunos de los datos más importantes, como seguidores y seguidos, podemos usar este código (sin olvidar convertirlo después en un dataframe):

#Sacar información de un usuario:
usuario<- getUser('usuario')
#conseguir sus seguidores
usuario_seguidores <- usuario$getFollowers(retryOnRateLimit=120)
#conseguir sus seguidos
usuario_seguidores <- usuario$getFriends(retryOnRateLimit=120)

SACAR TODA LA INFORMACIÓN DE UN HASHTAG

#buscamos el hashtag, limitamos la búsqueda a 100 tweets desde el 01 de junio de 2018.
hashtag<-searchTwitter("#hashtag", n=100, since='2018-06-01')

HACER LOS DATAFRAMES

No hay que olvidar que toda esta información que saquemos, para trabajar con ella, hay que convertirla en un dataframe con la función do.call o twListToDF. Esta es la estructura de ambas:

do.call("rbind", lapply(xxx, as.data.frame))
twListToDF(xxx)

ANÁLISIS DE DATOS DE TWITTER CON R. Una vez que tenemos todo esto, podemos comenzar a trabajar en el análisis de toda esa información, que es lo que mostraremos en los próximos artículos:

¿QUIERES APLICAR TODO ESTE CONOCIMIENTO? COMIENZA A A PROGRAMAR EN R

En nuestro curso de Análisis de datos con R aprenderás de forma rápida a utilizar este lenguaje.

 

No cabe duda de que el mundo de la analítica avanzada de datos requiere de técnicas complejas, donde se puede tardar bastante tiempo en llegar a conclusiones interesantes para el negocio. A veces se olvida que las herramientas informáticas, así como la estadística, son un medio de obtener valor, y no un fin en sí mismas. El valor para el negocio se obtiene cuando, a partir de conclusiones basadas en datos, se toman decisiones consecuentes.  Normalmente también hay que trazar un plan de acción (cambios a introducir) para llevarlas a cabo y, posteriormente, medir si se obtiene el valor esperado. Cuando hablamos de valor, habitualmente nos referimos a un concepto que se puede expresar en cifras económicas. No obstante es extensible a otro tipo de valor, como el aumento de la esperanza de vida o la reducción de la delincuencia.

Una de las claves para obtener valor medible es partir de las preguntas adecuadas, y dedicar un cierto tiempo a formularlas y reflexionar, antes de ponerse manos a la obra con la implementación. En este artículo presento ciertas características de dichas preguntas, para que se pueda completar todo el ciclo de retorno del valor, y ejemplos pensando en contextos de actividad comercial.

Preguntas que debemos hacernos para obtener valor y sus características:

¿Son relevantes para cierta audiencia?

Debemos estudiar si las preguntas están orientadas a unos destinatarios determinados. También quiénes tienen potestad para tomar decisiones y esponsorizar los cambios posteriores. No es lo mismo orientarse a los inversores de una startup, al equipo de ventas, o al de tecnología. Por ejemplo, un responsable de ventas puede estar interesado en esta pregunta: ¿Cómo afectará a nuestras ventas el aumento de un 5% de precios de unos determinados productos? Mientras, el inversor quiere saber: ¿Cuál es el retorno de la inversión previsto si el ciclo económico sigue expansivo?

¿Para qué preguntas actualmente no hay respuesta establecida?

Esto resulta muy claro en los estudios científicos. Si nos preguntamos por la correlación entre los niveles de CO2 en la atmósfera y la incidencia de ciertas enfermedades respiratorias, vamos a poder encontrar muchos estudios rigurosos con evidencias al respecto. Y si es necesario podemos seguir profundizando sin partir de cero, por ejemplo, restringir el estudio a una ciudad específica donde todavía no haya estadísticas fiables.

Llevado al mundo de los negocios, una pregunta del tipo "¿Cuáles son nuestros 10 mejor clientes?" seguramente es una lista que alguien ya ha elaborado en el pasado. Se trata de saber bajo qué hipótesis se realizó, e incluso si existe ya un procedimiento automatizado para disponer de la información. Además, es una pregunta que quizás se pueda contestar sin recurrir  a técnicas analíticas avanzadas y, partiendo de ella, calcular el valor del ciclo de vida completo del cliente, que sí que requiere realizar estimaciones de futuro.

Nota: No saquemos la conclusión de que listar los 10 principales clientes es siempre algo sencillo. Poner de acuerdo a varios departamentos sobre qué se considera un mejor cliente, y de una manera medible para que sea automatizable, puede ser una tarea de semanas. Recopilar datos con la suficiente calidad para medirlo de manera efectiva también supondrá semanas o meses. E incluso un cálculo básico puede hacer conveniente el uso de Big Data, para ganar velocidad de proceso y alta disponibilidad. No se trata de no entregar información durante meses, podremos tener resultados antes. Pero que se admita cómo válida, corporativa  y estable requiere mucho esfuerzo y gestión.

¿Son preguntas plausibles?

Aquí se trata de entender cómo funciona el negocio. Por ejemplo, plantear hipótesis sobre relaciones causa-efecto que se puedan justificar. Por poner algún caso extremo, en internet se encuentran correlaciones absurdas, como los datos de importación de crudo noruego vs los accidentes de tren. En el fondo esto tiene que ver con poner el foco correcto en qué datos son relevantes a priori para tomar decisiones basadas en los mismos.

Aunque tiene sentido implementar un “data lake” en ciertos contextos, no debemos caer en el llamado “síndrome de Diógenes de los datos”. Si empezamos a hacer cálculos estadísticos al azar con todos los datos disponibles, acabaremos por encontrar correlaciones irrelevantes para el negocio. Recordemos aquí una máxima fundamental, correlación no implica causalidad. Por esto es importante que los perfiles científicos de datos tengan un cierto conocimiento del negocio, o bien trabajen de manera muy cercana con otros perfiles mixtos.

¿Qué preguntas pueden ser respondidas?

Esto parece una obviedad, pero lo cierto es que los proyectos tienen como mínimo restricciones de coste y tiempo. Una vez excedidos, lo normal es que se consideren fracasados. También es posible que no contemos con datos relevantes para responder esas preguntas, y que recopilarlos no sea factible.

De nuevo un caso extremo puede ser el buscar un método para viajar hacia atrás en el tiempo. Si bien es una pregunta interesante, y donde tengo entendido que las leyes de la relatividad podrían permitirlo, es algo que con casi total seguridad no se va a implementar a 50 años vista, empezando por la falta de materiales adecuados. Podría ser algo peor, y que al final se demuestre inviable. Volviendo a ejemplos más cotidianos, una pregunta del tipo "¿cuál es la probabilidad de fuga de cada uno de mis clientes a un mes vista?" no es algo que vayamos a responder en dos semanas contratando a un Científico de Datos y a un Ingeniero de Big Data, si es la primera vez que abordamos un proyecto de este tipo. Quizás podamos establecer una prueba de concepto ayudándonos de tecnologías en la nube, pero no esperemos una precisión récord.

¿Son preguntas concretas y específicas?:

Es muy diferente preguntar "¿Cómo es el sentimiento de cliente acerca de nuestra marca?" a preguntar "¿Qué porcentaje de opiniones de twitter son negativas respecto a nuestro nuevo modelo de producto?" Ambas preguntas son legítimas en el contexto de negocio. Pero, en el segundo caso, es algo que vamos a poder empezar a implementar antes, ya que acota mejor las tecnologías a utilizar y los datos relevantes. Es decir, hemos acotado el alcance. Y cabe esperar que en el segundo caso podamos tomar también decisiones más rápidas, en el supuesto de que haya excesivas opiniones negativas, detectando si las mismas se asocian a aspectos de precio, calidad, soporte, incluso si existen o no intereses particulares, etc.

¿Qué preguntas permiten respuestas accionables?

Imaginemos que nos interesa conocer los segmentos “clusters” de nuestros clientes, para dirigir una campaña comercial específica a algunos de ellos. Mediante aprendizaje no supervisado descubrimos que hay un segmento que principalmente nos compra cuando hay descuentos disponibles, y raramente lo hace a precios normales. Sin embargo, a la empresa no le es posible técnicamente enviar un cupón de descuento solo a estos clientes, porque no dispone de los correos electrónicos actualizados de los mismos, sino que publicita cupones de descuento mediante banners de publicidad en sitios de terceros.

Aunque el conocer los segmentos tiene interés, y quizás se puede intentar un envío parcial o que el banner se muestre solo en ciertas circunstancias, al final se pierde gran parte del valor potencial al no poder contactar con muchos de los clientes de manera directa. En esta ocasión queremos utilizar técnicas avanzadas pero todavía no hemos resuelto otros aspectos más básicos como disponer de datos de calidad.


 José Julio López, Business Intelligence, Data Science, IT Project Manager. SCRUM Master, PMP y exalumno del máster de Big Data & Analytics de datahack

Nota: Este artículo es de mi autoría original, si bien las propias características de las preguntas han sido obtenidas de un vídeo de la Universidad Johns Hopkins en Coursera.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

chevron-down