Reconocimiento en tiempo real de la lengua dactilológica colombiana basado en aprendizaje supervisado usando la cámara 3D RealSense

Abstract

Se propone un algoritmo de reconocimiento del alfabeto Dactilológico Colombiano usando técnicas de machine learning multiclase. La adquisición de señales se realiza mediante cámaras 3D con tecnología real sense y el desarrollo del algoritmo se divide en dos etapas fundamentales: aprendizaje y evaluación. En la etapa de aprendizaje el algoritmo recopila muestras de letras estáticas, dinámicas y ejecuciones de algunas palabras con una y dos manos, por medio de videos adquiridos con una cámara 3D. A partir de estos parámetros de entrada, se extraen las muestras con posiciones relevantes de las articulaciones de las manos, referenciadas a la cara para cada instante de tiempo. Estos datos se utilizan para entrenar clasificadores que son usados en la etapa de evaluación, donde el usuario introduce la seña del alfabeto y el clasificador la etiqueta haciendo una traducción de la seña reconocida al idioma español