Cada día son más las organizaciones y empresas que son conscientes de la importancia del Big Data. El procesamiento de datos es una herramienta muy poderosa para la toma de decisiones empresariales. Además, su uso supone un elemento diferenciador en el competitivo entono digitalizado. Por este motivo, desde datahack hemos puesto en marcha distintos proyectos de Big Data para entidades de diveros sectores productivos.

Nuestras colaboraciones con empresas están enfocada al diseño de itinerarios formativos tanto para los trabajadores de las empresas como para los usuarios de organizaciones o entidades públicas. Para ello, creamos programas de formación adaptados a cada proyecto. Con este objetivo ponemos toda nuestra experiencia y pasión al servicio de nuestros partners.

Proyectos de Big Data para la formación de trabajadores y usuarios

La capacitación de profesionales en Big Data & Analytics es nuestra especialidad. Nuestro entusiasmo y vocación de servicio nos han llevado un paso más allá en la formación de profesionales convirtiéndonos en un partner de referencia para aquellas empresas y organizaciones que buscan introducir la cultura del Big Data en sus flujos de trabajo. A continuación, analizamos dos de los proyectos de formación de Big Data más relevantes puestos en marcha por datahack.

Colaboración con Barcelona Activa

Barcelona Activa es un proyecto del Ayuntamiento de Barcelona. Su objetivo es convertir a la ciudad en un referente internacional en términos de empleabilidad y emprendimiento desde una perspectiva de respeto social y medioambiental. Para alcanzar esta meta, los ciudadanos tienen a su disposición una serie de programas destinados al impulso del empleo, el emprendimiento y el mantenimiento del tejido empresarial.

Datahack ha diseñado un proyecto de Big Data para el Ayuntamiento de Barcelona
Datahack ha diseñado un proyecto de Big Data para el Ayuntamiento de Barcelona

Los programas de formación son uno de los pilares del Barcelona Activa y es ahí precisamente donde datahack se ha convertido en su colaborador de referencia. El objetivo de la colaboración es impulsar la empleabilidad y la reorientación laboral. Para ello, hemos coordinado de manera conjunta 5 cursos dirigidos a personas desempleadas en el último año.

Las temáticas de los programas formativos puestos en marcha responden a las demandas de las empresas en el ámbito del Big Data. En consecuencia, se han centrado en la capacitación profesional en 4 ámbitos:

A través de los distintos proyectos de Big Data puestos en marcha de la mano de Barcelona Activa más de 150 personas se han beneficiado de una formación de calidad en el campo del análisis de datos.

Colaboración con el Banco Santander

El Big Data ha supuesto toda una revolución en los mercados financieros. Las herramientas disponibles facilitan enormemente el procesamiento de los datos. De esta manera, se acortan considerablemente los plazos de clasificación lo que supone una mejora sin precedentes en la eficiencia de los procesos. Por este motivo, la relación entre el Big Data y las finanzas es cada vez más estrecha.

En este contexto no es de extrañar que las entidades financieras más punteras apuesten por la formación de sus trabajadores para su capacitación a la hora de diseñar proyectos de Big Data a la altura de sus necesidades. Con este fin, el Banco Santander ha elegido a datahack como su partner de formación para su equipo de Madrid.

Datahack ha diseñado un proyecto de Big Data para el Banco Santander
Datahack ha diseñado un proyecto de Big Data para el Banco Santander

Así, más de 100 trabajadores han participado en los diferentes itinerarios formativos diseñados por datahack en los que han adquirido conocimientos sobre fundamentos de Big Data, Python o Spark. Además, la colaboración entre datahack y el Banco Santander continuará con una nueva serie de cursos planificados para septiembre, en los que participarán al menos 50 trabajadores más.

En datahack somos expertos en el diseño de proyectos formativos en Big Data para empresas. Nuestra experiencia y compromiso con la formación de calidad aporta un valor añadido con un enfoque práctico y transversal adaptado a las necesidades específicas de cada modelo de negocio. 

El pasado 28 de noviembre, se celebraron las Jornadas de Big Data organizadas por Impro, donde había una mesa redonda moderada por nuestra CEO, Lourdes Hernández Vozmediano. Lo primero que hicimos fue conocer a los ponentes y los proyectos que están desarrollando:

José Antonio Moreno Muñoz, Jefe de servicio de Gestión de la Información del instituto de estadística y cartografía.

La base de datos de personas de Andalucía

Nos habló de su proyecto estrella, la base de datos de personas de Andalucía. Desde 1996, almacenan datos procedentes de los padrones municipales de habitantes. Además, se van enriqueciendo con la información procedente de los boletines de partos y defunciones para adelantarse a lo que más adelante llega a través del padrón. Sobre eso, van integrando más datos: demandantes de empleo y contrataciones, titulaciones universitarias, e incluso datos sobre afiliación a la seguridad social y pensiones contributivas.

Incorporan además datos de Muface. Se trata de un proyecto a partir del cual se difunde toda la información derivada de esos registros a un nivel de desagregación territorial “máximo”, ya que se publican datos en lo que se denomina la malla estadística, que está integrada por celdillas de 250 por 250 metros.

Además, plantea que una de las líneas que se van a empezar a abordar es la evaluación de políticas públicas e incluso, ya, están trabajando con los datos de egresados, seguridad social y los de contratos y demandantes de empleo, para hacer una primera evaluación del impacto que tiene la formación en la insercción laboral.

Otros proyectos

En otra línea de trabajo, nos cuenta que en el ámbito de la compra pública innovadora van a plantear un proyecto que tiene como objetivo desarrollar un conjunto de librerías y componentes que se insertarían en las aplicaciones móviles corporativas y a través de los cuales les proporcionarían los datos a una plataforma de gestión y normalización de dichos datos para poder analizarlos y ponerlos en valor. Se trata de un proyecto Big Data orientado a complementar con información de ese origen a la administrativa ya existente para ofrecer información más actual y a la par, ofrecer datos para sectores a los que la estadística pública le resulta más complicado llegar, como es el caso de la movilidad, turismo, usos del tiempo de la población, etc.

Leonor Rodríguez Catalán: jefa de la división de transformación digital en EMASESA Metropolitana

Nos comentó su proyecto de Business Intelligence donde miden el ciclo de vida del agua. Está trabajando también en la transparencia de datos y en el portal de datos abiertos.

Otros proyectos que están abordando son la lectura de contadores inteligentes, y un repositorio virtual para la mejora de la biodiversidad y el medio ambiente. 

Antonio García Vázquez: Gerente de EPOCSA diputación de Cádiz:

Su proyecto estrella es el destino turístico inteligente, que pretende posicionar a Cádiz como uno de los destinos turísticos favoritos, dado que es una de las mayores fuentes de ingresos de la ciudad.

También están con el sistema de recaudación tributaria, donde aún tienen los datos por explotar, y lo que sí tienen hace tiempo es un sistema de Business Intelligence con los datos del back office: institucional, nóminas, información de rrhh, etc. 

Beneficios de los proyectos

Al preguntar a los ponentes por los beneficios obtenidos de los proyectos, los tres coincidieron en que aún es difícil medir el retorno de la inversión de estos, porque estamos en una fase incipiente aún. No obstante, sin duda son proyectos que todas las empresas y los organismos públicos deben abordar en el corto o medio plazo.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

Según un informe de McKinsey, la inteligencia artificial (IA) generará un crecimiento de 13 billones de $ en el PIB global para 2030, que se producirá en sectores como la manufactura, agricultura, energía, logística y educación, entre otros. Así, el actual auge de la IA presenta una oportunidad para que los ejecutivos de todas las industrias puedan diferenciar y defender sus negocios. Sin embargo, antes de lanzarse al mundo de la Inteligencia Artificial, hay que entender qué es realmente la IA (se explicó en un artículo anterior de este blog) y qué aspectos hay que tener en cuenta, a la hora de planificar e implementar la IA, de forma exitosa.

Todo esto lo comentaremos en una serie de dos artículos. En este primero, se hablará de cómo planificar la integración de la Inteligencia Artificial en la empresa. En el segundo, la forma de llevarla a cabo.

INTEGRACIÓN DE LA INTELIGENCIA ARTIFICIAL EN LA EMPRESA

Lo primero, antes de todo, es pensar en el negocio, es decir, planificar la integración de Inteligencia Artificial pensando primero en los objetivos de negocio. Así, siempre será mejor incorporar la IA en el plan estratégico de la empresa que construir una estrategia de Inteligencia Artificial en sí misma. Para esto, hay que ver como la IA puede ayudar a conseguir los objetivos de negocio, no convertirla en un objetivo en sí mismo.

De este modo, hay que tener claro que las empresas se tienen que servir de los sistemas de Inteligencia Artificial para funcionar de manera inteligente, aprovechar sus datos y mejorar su rentabilidad. Las empresas no necesitan la IA para convertirse en algo nuevo, que aún no comprenden. La necesitan para desarrollar sus fortalezas y convertirse en lo que ya son, pero mejor.

Así, la mejor forma de empezar es preguntándose:

La Inteligencia Artificial puede ayudar a conseguir todas estas cosas y mucho más. Pero para tener éxito, esta debe formar parte de un plan de negocios general, y no al revés.

A medida que la IA se vaya incorporando en el plan de negocios, hay que pensar qué puede y qué no puede hacerse con ella,  qué pasos hay que seguir y qué problemas pueden darse durante su adopción. La Inteligencia Artificial puede hacer grandes cosas, pero es importante verla desde un punto de vista realista, entendiendo los desafíos que supone su uso y adopción

¿QUÉ HACE BIEN LA INTELIGENCIA ARTIFICIAL?

Lo primero es entender qué hace bien la IA, y tener claro dónde puede ser más efectiva.

La IA es muy buena para resolver problemas específicos y bien definidos.

Esto es así porque se ha visto que los algoritmos de Inteligencia Artificial funcionan muy bien en entornos controlados y bien definidos.

Nos fijamos en uno de los casos de aplicación IA que más se habla actualmente, los vehículos autónomos: Waymo (Google / Alphabet), Uber, Tesla y otros. Podremos ver que es un problema específico, no bien definido. Sin embargo, puede dividirse en varios problemas específicos, bien definidos: planificar una ruta, identificar señales, detectar obstáculos (otros vehículos y peatones), controlar los frenos, etc. Problemas que en conjunto pueden parecer mucho, pero al verlos por separado y poder acotarlos, pueden ser resueltos con técnicas de Inteligencia Artificial.

Otro caso, que sirve para explicar este principio, es el caso de Chorus.ai , una IA que es capaz de transcribir las llamadas que escucha e identificar y anotar los elementos importantes que haya en las mismas. Sus creadores no han tratado de construir una máquina que “haga ventas”, un objetivo que no está ni bien definido ni es específico. Lo que hicieron fue transcribir una conversación (un problema difícil pero bien entendido) y buscar señales específicas que indiquen elementos interesantes en esa transcripción. Siendo así, un asistente de los vendedores, que realiza tareas rutinarias pero necesarias.

Potenciando a los humanos

Otro aspecto clave a tener en cuenta, cuando se va hacer uso de la Inteligencia Artificial, es hacerlo de forma que sirva para potenciar y ayudar a los humanos, no para reemplazarlos. Usar la IA para reemplazar a los humanos probablemente nos llevará a que hagamos un mal uso de la misma. Y, con esto, a que no aprovechemos las oportunidades que se abren, a la hora de hacer una buena integración de la IA con los humanos.

Si se usa la Inteligencia Artificial para la detección de fraudes, probablemente aumentará la cantidad de posibles casos detectados y no se necesitarán tantas personas para analizar los datos, pero sí para gestionar los casos que encuentren. De este modo, la IA puede usarse para realizar la parte más monótona y repetitiva del trabajo, y así poder dedicar más personal (y con un mayor nivel de cualificación) a las partes menos rutinarias y más creativas.

DIFICULTADES PARA SU IMPLEMENTACIÓN

Otro aspecto importante es entender las dificultades que pueden presentarse a la hora de llevar a cabo el desarrollo e integración de la IA, y los costes que ello supone.

Política de gestión de datos

El entrenamiento de un modelo de Inteligencia Artificial requiere datos. Probablemente muchos datos. La realidad es que es poco probable que en el punto de partida se tengan datos útiles si no se ha definido y puesto en marcha, previamente, una buena política de gestión de datos en la empresa.

Los pasos necesarios para desarrollar una buena política de gestión de datos para Inteligencia Artificial son:

  1. Identificar fuentes de datos
  2. Crear canales de transferencia de datos
  3. Limpiar y preparar datos
  4. Identificar los indicadores potenciales en los datos
  5. Y medir el resultado de los mismos

Entrenamiento y Reentrenamiento

Para obtener un buen modelo de Inteligencia Artificial, primero hay que entrenar los algoritmos que lo componen. Este entrenamiento consiste en ir alimentando a los algoritmos con un conjunto de datos “conocidos” (se sabe lo que ha pasado, es decir, quién ha hecho fraude y quién no), hasta que se obtengan unos resultados adecuados. El resultado de este proceso será un modelo, es decir, conjunto de algoritmos que han sido entrenados con datos. A continuación, a este se le pasarán un conjunto de datos “no conocidos” (prueba en real), y se verá si los resultados obtenidos siguen siendo satisfactorios. Si lo son, se daría por finalizado el entrenamiento, si no, habría que hacer modificaciones y repetir el entrenamiento.

Así, puede verse que el entrenamiento del modelo, puede requerir una parte importante los recursos dedicados a la fase de desarrollo de un proyecto de Inteligencia Artificial. Por tanto, a la hora de plantearse la realización de cualquiera de estos proyectos, hay que tener en cuenta el tiempo de entrenamiento, y que este puede verse afectado por una serie de problemas, entre los que se incluyen:

Los sistemas de Inteligencia Artificial son inescrutables

Los sistemas de IA tienen la reputación de ser inescrutables, es decir, dan resultados, pero normalmente no pueden decir por qué han dado esos resultados. En algunos casos, esto no es demasiado importante, pero en otros, como es el caso del análisis de imágenes médicas, el porqué es tan importante como el qué.


LO SIGUIENTE

Si todo lo que hemos visto hasta ahora te ha quedado claro y sigues con la idea de embarcarte en el mundo de la IA, puede decirse que estás listo para empezar la planificación de tu proyecto de Inteligencia Artificial, que tiene que ir acompañada de un buen equipo humano, que desarrolle unas buenas prácticas para trabajar con datos, tiempo suficiente para realizar los entrenamientos de los modelos y la consciencia de los problemas que pueden darse en el camino. No hay nada mágico en la IA.

MÁSTER EXPERTO EN BIG DATA & ANALYTICS

Gracias al Master en Big Data Analytics 100% Online tendrás amplios conocimientos sobre las herramientas y técnicas analíticas necesarias para la modelización de los principales retos de negocio, con el fin de mejorar la toma de decisiones a través de los datos y el conocimiento.

Mario nos mostró la lista de las principales compañías del ámbito financiero en España que están abordando proyectos BigData.

Las principales áreas en las que se están llevando a cabo estos proyectos son:

Ámbito Regulatorio: las entidades tienen que realizar un análisis de los potenciales clientes antes de que empiecen a trabajar con ellos, para evitar que provengan del ámbito de la delincuencia, el blanqueo de capitales, etc. Hasta ahora, algunas utilizaban técnicas muy rudimentarias y poco fiables, como pegar en la ficha del cliente el pantallazo que le devuelve Google al poner su nombre. Tal vez tengamos a un cliente como público objetivo óptimo de una campaña, pero no estemos validando cuál es su nivel de riesgo.

Proyectos BigData

Data&Beers - Proyectos BigData reales en españa - Mario Renau

IFRS9, una normativa, como continuación de Basilea II, que pretende establecer unas pautas de control para evitar la posible caída de determinados bancos, que pueden suponer el colapso de un país o incluso de un continente entero.

Plataforma estratégica de contabilidad, donde cargan y almacenan todos los movimientos contables para poder realizar análisis adicionales a los propios de contabilidad, detectar desviaciones, comportamientos erróneos, etc.

Visión 720º de un cliente. Hay un 10% de clientes que se van y no sabemos por qué. Quizá no estemos cruzando bien toda la información de las distintas áreas y no nos demos cuenta de que podemos estar dando un mal servicio al cliente, ni nos estemos fijando en el impacto que este cliente tiene sobre su comunidad, familia, empresa o seguidores. Una visión 720º del cliente exige tener la visión 360º dentro de nuestra entidad y de otros 360º fuera de ella: 720º.

Proyectos BigData

Data&Beers - Proyectos BigData con Mario Renau

Por lo general son proyectos BigData con un impacto estratégico en las entidades, por lo que requieren la participación de un Program Manager. No utilizan las últimas versiones, dado que son proyectos con un cierto recorrido y las entidades necesitan certificar el software que utilizan. El ir certificando las nuevas versiones que salen es un proceso largo.

Los resultados son fabulosos, como demuestra uno de los casos concretos que Mario Renau expuso, donde un proceso PL/SQL, cuyo código llegaba desde Madrid a Vigo, pasó de tardar en ejecutarse 23 horas a hacerlo en 23 minutos, a lo que hay que sumar los notables ahorros en software e infraestructura, lo que hace que los proyectos se financien solos.

En general, hay una tendencia a realizar el almacenamiento en Data Lakes multicapa o SandBoxes, donde se almacenan los datos en crudo. Luego hay distintas capas de negocio: analítica, datos agregados y procesados y así sucesivamente. Se incluye la lógica de negocio en todas las capas. De momento, la mayoría de proyectos BigData, va en esa línea.

Si quieres asistir al próximo Data&Beers, consulta nuestros Eventos Datahack

chevron-down