Identificación de señales multimodales para reconocimiento de emociones en el contexto de interacción humano-robot

Abstract

En este trabajo se presenta una propuesta para detección de emociones a partir de señales multimodales, específicamente expresiones faciales y voz, en el contexto de interacción humano-robot. El problema planteado hace parte de la tendencia actual que busca sistemas que permitan comunicación entre humanos y robots de forma natural. El sistema propuesto aplica técnicas de aprendizaje de máquina para lograr la detección de emociones en una persona mientras interactúa con un robot. La propuesta está dividida en tres módulos: el primero consiste en una red convolucional (CNN) que clasifica la emoción a partir de una secuencia de imágenes; el segundo módulo es un clasificador multiclase construido a partir de clasificadores SVM One Class para la señal de audio y el tercer módulo se encarga de combinar los resultados de los clasificadores unimodales. Adicionalmente se detallan los resultados obtenidos durante la etapa de construcción de los clasificadores unimodales y la validación del sistema combinado, en el cual se evidencia que para los datos adquiridos para el entrenamiento y posterior prueba el sistema logra detectar de manera correcta la emoción de la persona en todos los casos. Por último se presentan los resultados de la integración del sistema de detección de emociones con un robot humanoide que cumple el rol de asesor de ventas, realizando pruebas con usuarios para determinar la satisfacción y comodidad durante la interacción humano-robot