Aprendizaje de instrucciones multimodales para interacción humano robot

Abstract

Este trabajo muestra el diseño, implementación y evaluación de un sistema de interacción humano-robot que le permite a un robot aprender instrucciones multimodales de voz y gesto corporal emitidas por un usuario. El aprendizaje puede realizarse en dos modalidades: Un aprendizaje inicial (entrenamiento) o un refuerzo del aprendizaje conforme se presentan interacciones con el robot. El sistema está dividido en diferentes módulos que cumplen funciones especificas como la detección en tiempo real de actividad en las entradas multimodales, la caracterización de las entradas, el entrenamiento automático de modelos de inteligencia computacional, la predicción de etiquetas de clasificación, los procedimientos de interacción humano-robot y la gestión de comunicaciones. Además se presenta el diseño y aplicación de múltiples pruebas con el fin de evaluar las funciones específicas y el sistema en general. Los resultados permiten evidenciar las características y capacidades del aprendizaje, la interacción y la calidad de la experiencia de usuario