Bayesian Voice Emotion Detection Applied to Robotics: Adding Uncertainty Measures to a Robotic Brain

Bayesian Voice Emotion Detection Applied to Robotics Adding Uncertainty Measures to a Robotic Brain

En este artículo queremos contaros la noticia de que, un año más, nos han aceptado una charla en el ahora llamado Big Things y previamente conocido como Big Data Spain. Una nueva oportunidad para encontrarnos con amigos, antiguos alumnos del máster de Datahack, profesores… Y sobre todo para ver qué trabajos se están haciendo en el sector de la Inteligencia Artificial o el Big Data. Este año parece que el espectro está más abierto porque se incluyen áreas como el Internet of Things. O el Quantum Computing (del que podéis encontrar una serie de hasta la fecha 6 entradas que hemos escrito en el blog). 

Nuestras primeras participaciones

Si echamos la vista atrás, hemos tenido la suerte (a la que quizás algo ha ayudado el trabajo y las horas de dedicación :P) de poder asistir como ponentes desde el mismo año de creación del área de Labs dentro de Datahack. En 2017 pudimos presentar una charla sobre cómo aplicar algoritmos de Actor-Critic de Reinforcement Learning para conseguir que un malware “aprendiese” a evadir las medidas de detección de un motor AntiVirus. El título de la charla era “Attacking Machine Learning used in AntiVirus with Reinforcement Learning”.

Antes de dedicarme a probar cómo combinar modelos de Deep Learning con robótica trabajé durante unos cuantos años (más de 10, no sabía si poner la cifra porque los años vuelan y eso es que nos hacemos mayores) en temas de hacking ofensivo y esta charla me permitió aunar 2 mundos, el de la ciberseguridad y el de la Inteligencia Artificial. Si tenéis curiosidad podéis verla en este enlace.

DIA4RA

En 2018 ya estábamos metidos de lleno con el proyecto DIA4RA (siglas de Desarrollo de Inteligencia Artificial para Robótica Asistencial) en el que colaboramos con el departamento de Robótica de la Universidad Rey Juan Carlos de Fuenlabrada (Intelligent Robotics Labs @IntellRobotLabs). Aprovechamos para felicitarles porque recientemente han ganado el SCIROC Challenge.

El objetivo de este proyecto es el de combinar modelos de Deep Learning con algoritmos de Robótica para dotar a un robot Pepper (al nuestro le hemos puesto el nombre AIDA, podéis encontrar más información sobre el por qué de dicho nombre y sobre anécdotas del proyecto en el blog) de las capacidades necesarias para ayudar a terapeutas a tratar a pacientes con Alzheimer. 

Uno de los módulos del proyecto consistía en desarrollar un sistema que permitiese al robot reconocer nuevas identidades empleando una única imagen del rostro de la persona que acabe de conocer. El modelo de Deep Learning que empleamos para solucionar esta tarea sirvió como propuesta para el CFP del Big Data Spain 2018. Además, incluimos a la charla una introducción a una alternativa basada más en investigaciones de neurociencia como son las Spiking Neural Networks. También tuvimos la fortuna de poder contar este proyecto. Más información y el vídeo de la charla puede encontrarse en estos enlaces

La charla de este año

Avanzamos hasta 2019. Uno de los principales retos que nos encontramos a la hora de desplegar en un entorno real modelos de visión artificial, speech2text, text2speech, detección de emociones a partir de la combinación de expresiones faciales, del tono de la voz y del contenido del mensaje es que es muy complicado que la distribución del conjunto de entrenamiento de dichos modelos capture la distribución de los datos que se va a encontrar el robot en tiempo de inferencia.

Aquí es donde vimos la necesidad de contar con una medida adicional que nos informase del grado de certeza en las predicciones del modelo y de trabajar con distribuciones de datos en vez de solo con ejemplos puntuales. 

Para abordar esta necesidad, vimos que un comienzo sería emplear técnicas Bayesianas para añadir a las predicciones de los modelos de Deep Learning medidas del del grado de falta de certeza Aleatoria y Epistémica. En particular, la idea de la charla es presentar los retos que nos hemos ido encontrando al aplicar modelos de Deep Learning sobre un robot que debe interacturar con personas en un entorno abierto. Y cómo el aplicar estas técnicas Bayesianas que proporcionan información sobre la falta de certeza en las predicciones al modelo de detección de emociones a partir del tono de voz de una persona con la que esté tratando el robot. Además de cómo esta información adicional puede ayudar a tomar mejores decisiones en la interacción robot-persona.

¡Nos vemos en Big Things!

El título que le hemos puesto a la charla es: Bayesian Voice Emotion Detection Applied to Robotics: Adding Uncertainty Measures to a Robotic Brain. Si tenéis curiosidad sobre el tema o si queréis que hablemos sobre Inteligencia Artificial, Neurociencia, Quantum Computing o simplemente echarnos unas risas, nos vemos en el próximo Big Things el 20 y el 21 de Noviembre en el Kinépolis de Madrid.


Rubén Martínez, Data engineer en datahack

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *