Interfaz humano-computador basada en gestos faciales y orientada a la aplicación WhatsApp para personas con limitación motriz de miembros superiores
Open Access
- 30 January 2021
- journal article
- Published by Instituto Tecnologico Metropolitano (ITM) in TecnoLógicas
- Vol. 24 (50), e1722
- https://doi.org/10.22430/22565337.1722
Abstract
En el caso de personas con limitación motriz de miembros superiores, los gestos faciales son la principal forma de comunicarse con el mundo. Sin embargo, las interfaces actuales basadas en gestos no tienen en cuenta la reducción de movilidad que la mayoría de las personas con limitación motriz experimentan durante sus periodos de recuperación. Como alternativa para superar esta limitación, se presenta una interfaz humana-computador basada en técnicas de visión por computador sobre dos tipos de imagen: la imagen del rostro capturada mediante webcam y la captura de pantalla de una aplicación de escritorio en primer plano. La primera imagen es utilizada para detectar, seguir y estimar la pose del rostro con el fin de desplazar y ejecutar comandos con el cursor; la segunda imagen es utilizada para lograr que los desplazamientos del cursor sean realizados a zonas específicas de interacción de la aplicación de escritorio. La interfaz es programada totalmente en Python 3.6 utilizando bibliotecas de código abierto y se ejecuta en segundo plano dentro del sistema operativo Windows. El desempeño de la interfaz se evalúa con videos de personas utilizando cuatro comandos de interacción con la aplicación WhatsApp versión de escritorio. Se encontró que la interfaz puede operar con varios tipos de iluminación, fondos, distancias a la cámara, posturas y velocidades de movimiento; la ubicación y el tamaño de la ventana de WhatsApp no afecta la efectividad de la interfaz. La interfaz opera a una velocidad de 1 Hz y utiliza el 35 % de la capacidad de un procesador Intel Core i5 y 1,5 GB de RAM para su ejecución lo que permite concebir esta solución en equipos de cómputo personales.Keywords
This publication has 27 references indexed in Scilit:
- Identifying facial gestures to emulate a mouse: navigation application on FacebookIEEE Latin America Transactions, 2017
- Basic statistical tools in research and data analysisIndian Journal of Anaesthesia, 2016
- Face tracking: State of the artPublished by Institute of Electrical and Electronics Engineers (IEEE) ,2015
- A survey on face detection in the wild: Past, present and futureComputer Vision and Image Understanding, 2015
- 300 Faces in-the-Wild Challenge: The First Facial Landmark Localization ChallengePublished by Institute of Electrical and Electronics Engineers (IEEE) ,2013
- Hands-free vision-based interface for computer accessibilityJournal of Network and Computer Applications, 2008
- Computer Vision Interaction for People with Severe Movement RestrictionsHuman Technology: An Interdisciplinary Journal on Humans in ICT Environments, 2006
- FaceMouse: A Human-Computer Interface for Tetraplegic PeopleLecture Notes in Computer Science, 2006
- The Camera Mouse: visual tracking of body features to provide computer access for people with severe disabilitiesIEEE Transactions on Neural Systems and Rehabilitation Engineering, 2002
- A Decision-Theoretic Generalization of On-Line Learning and an Application to BoostingJournal of Computer and System Sciences, 1997