Modelo computacional para reconocimiento de lenguaje de señas en un contexto colombiano
Open Access
- 15 May 2020
- journal article
- Published by Instituto Tecnologico Metropolitano (ITM) in TecnoLógicas
- Vol. 23 (48), 197-232
- https://doi.org/10.22430/22565337.1585
Abstract
Este documento presenta la implementación de un software de reconocimiento de lenguaje de señas colombiano para personas sordas. Para este propósito, el Aprendizaje de Máquina será usado como base del sistema específico. Hoy en día no existe un repositorio público de imágenes o video que contenga estas señas ni la información necesaria para alcanzar esta meta, siendo uno de los principales impedimentos para iniciar la tarea. Por esta razón, se comenzó con la construcción de un repositorio. Pese a las dificultades de tiempo de los participantes, cinco personas realizaron las señas ante una cámara de video, de donde se obtuvieron las imágenes que compondrían el repositorio. Una vez hecho esto, las imágenes se usaron como datos de entrenamiento de un modelo computacional óptimo que puede predecir el significado de una nueva imagen presentada. Evaluamos el rendimiento del método utilizando medidas de clasificación y comparando diferentes modelos. La medición conocida como Accuracy fue un factor importante para medir los diferentes modelos obtenidos y así elegir el más adecuado. Los resultados muestran que es posible proporcionar nuevas herramientas a las personas sordas para mejorar la comunicación con otras personas que no conocen el lenguaje de señas. Una vez que se han elegido los mejores modelos, se prueban con nuevas imágenes, similares a las del entrenamiento, donde se puede ver que el mejor modelo logra una tasa de éxito de alrededor del 68 % de las 22 clases utilizadas en el sistema.Keywords
This publication has 12 references indexed in Scilit:
- RETRACTED ARTICLE: A study on Arabic sign language recognition for differently abled using advanced machine learning classifiersJournal of Ambient Intelligence and Humanized Computing, 2020
- Towards an open platform for machine translation of spoken languages into sign languagesMachine Translation, 2019
- Recognition of Hand Gestures and Conversion of Voice for Betterment of Deaf and Mute PeopleCommunications in Computer and Information Science, 2019
- Building the first comprehensive machine-readable Turkish sign language resource: methods, challenges and solutionsLanguage Resources and Evaluation, 2019
- Hand Sign Recognition for Thai Finger Spelling: an Application of Convolution Neural NetworkJournal of Signal Processing Systems, 2018
- Toward Machine Translation Linguistic Issues of Indian Sign LanguagePublished by Springer Science and Business Media LLC ,2017
- Caracterización de población con discapacidad visual, auditiva, de habla y motora para su vinculación a programas de pregrado a distancia de una universidad de ColombiaRevista Electrónica Educare, 2017
- Automatic recognition of the American sign language fingerspelling alphabet to assist people living with speech or hearing impairmentsJournal of Ambient Intelligence and Humanized Computing, 2017
- Deep Hand: How to Train a CNN on 1 Million Hand Images When Your Data is Continuous and Weakly LabelledPublished by Institute of Electrical and Electronics Engineers (IEEE) ,2016
- Indian sign language recognition using SVMPattern Recognition and Image Analysis, 2016