Estudio de técnicas de visión artificial para la identificación automática del lenguaje de señas colombiano

Resumen

 El reconocimiento de imágenes es un área de creciente interés en gran medida impulsado por los recientes avances en Inteligencia Artificial. En este trabajo de investigación se abordan algunas técnicas basadas en Redes Neuronales Convolucionales (CNN) para el reconocimiento de lenguaje de señas colombiano. Como una primera fase de investigación se realizó el ajuste de hiper-parámetros de una CNN para el reconocimiento de manos. A partir de una arquitectura preliminar se diseñó un experimento para evaluar el porcentaje de clasificación en el reconocimiento de mano derecha e izquierda usando diferentes tamaños de filtros en cada una de las capas de Convolución. Los resultados obtenidos han permitido ajustar la red para lograr una clasificación del 100% en pocas épocas de entrenamiento. 

En una segunda fase del presente proyecto se está usando la biblioteca de MediaPipe liberada recientemente por Google que a su vez está implementada usando CNN en su arquitectura interna. Con esta biblioteca se extraen las coordenadas principales que permiten identificar las manos y sus diferentes posturas. Actualmente se logran identificar las cinco vocales analizando las distancias entre coordenadas.

Como una tercera fase que se encuentra en desarrollo, se espera lograr el reconocimiento de todas las letras del abecedario en lenguaje de señas colombiano, incluyendo aquellas que presentan movimiento, para esto se está entrenando una Red Neuronal con las coordenadas previamente generadas por la biblioteca de MediaPipe como entradas.