Loading...
Publication
Aplicação de tradução de Língua Gestual Portuguesa (LGP) para português com recurso a inteligência artificial
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 11.46 MB | Adobe PDF |
Authors
Abstract(s)
Neste trabalho, propõe-se o desenvolvimento de um sistema para a tradução em tempo real de gestos da Língua Gestual Portuguesa (LGP) para texto, com o objetivo de facilitar a comunicação entre pessoas surdas e ouvintes. O reconhecimento automático de gestos é uma área fundamental para promover a inclusão social, especialmente pela disponibilidade crescente de ferramentas tecnológicas que melhorem a acessibilidade comunicacional. A solução apresentada envolve a criação de uma aplicação móvel que reconhece em tempo real os gestos das letras da Língua Gestual Portuguesa (LGP), exibindo a tradução quase instantaneamente após o gesto ser realizado. Esta aplicação integra dois métodos principais:
o primeiro utiliza o MediaPipe, onde a imagem capturada pela câmara do dispositivo é enviada para um servidor remoto. O servidor processa a imagem, deteta os pontoschave (landmarks) das mãos e utiliza um Multilayer Perceptron (MLP) para classificar as letras. O segundo método é um modelo de Rede Neuronal Convolucional (CNN) que analisa diretamente as imagens capturadas pela câmara, sendo otimizado para funcionar em dispositivos móveis através do TensorFlow Lite. A aplicação foi desenvolvida em Flutter, oferecendo uma interface intuitiva e acessível. Os testes realizados demonstraram que, com a utilização combinada dos dois modelos, ou seja, o modelo baseado no MediaPipe integrado com Multilayer Perceptron (MLP) e o modelo Rede Neuronal Convolucional (CNN), a aplicação é capaz de reconhecer gestos com boa precisão e rapidez, traduzindo gestos em tempo real de forma eficiente. A abordagem adotada permite flexibilidade na adaptação a diferentes cenários e condições de uso, sendo uma solução escalável que pode ser expandida para reconhecer outros gestos ou línguas gestuais. As implicações deste trabalho são significativas para a inclusão social, promovendo a comunicação entre diferentes grupos linguísticos e facilitando a integração das comunidades surdas na sociedade.
Abstract This work proposes the development of a system for real-time translation of Portuguese Sign Language (LGP) gestures into text, with the aim of facilitating communication between deaf and hearing individuals. Automatic gesture recognition is a crucial field for promoting social inclusion, particularly given the growing need for technological tools that improve communication accessibility. The proposed solution involves the creation of a mobile application capable of recognizing LGP letter gestures in real-time. The application integrates two primary methods: the first uses MediaPipe, where the image captured by the device’s camera is sent to a remote server. The server processes the image, detects key hand points (landmarks), and uses a MLP to classify the letters. The second method is a Convolutional Neural Networks (CNN) model that directly analyzes the images captured by the camera, optimized for mobile devices using TensorFlow Lite. The application was developed in Flutter, offering an intuitive and accessible interface. The tests conducted demonstrated that, through the combined use of both models, namely the MediaPipe integrated with an Multilayer Perceptron (MLP) and the Convolutional Neural Network (CNN) model, the application can recognize gestures with good accuracy and speed, translating them into text efficiently in real-time. This approach allows flexibility in adapting to different scenarios and conditions, providing a scalable solution that can be expanded to recognize other gestures or sign languages. The implications of this work are significant for social inclusion, fostering communication between different linguistic groups and aiding the integration of the deaf community into society.
Abstract This work proposes the development of a system for real-time translation of Portuguese Sign Language (LGP) gestures into text, with the aim of facilitating communication between deaf and hearing individuals. Automatic gesture recognition is a crucial field for promoting social inclusion, particularly given the growing need for technological tools that improve communication accessibility. The proposed solution involves the creation of a mobile application capable of recognizing LGP letter gestures in real-time. The application integrates two primary methods: the first uses MediaPipe, where the image captured by the device’s camera is sent to a remote server. The server processes the image, detects key hand points (landmarks), and uses a MLP to classify the letters. The second method is a Convolutional Neural Networks (CNN) model that directly analyzes the images captured by the camera, optimized for mobile devices using TensorFlow Lite. The application was developed in Flutter, offering an intuitive and accessible interface. The tests conducted demonstrated that, through the combined use of both models, namely the MediaPipe integrated with an Multilayer Perceptron (MLP) and the Convolutional Neural Network (CNN) model, the application can recognize gestures with good accuracy and speed, translating them into text efficiently in real-time. This approach allows flexibility in adapting to different scenarios and conditions, providing a scalable solution that can be expanded to recognize other gestures or sign languages. The implications of this work are significant for social inclusion, fostering communication between different linguistic groups and aiding the integration of the deaf community into society.
Description
Trabalho de Projeto para obtenção do Grau de Mestre em Engenharia Informática e Multimédia
Keywords
Língua gestual portuguesa Reconhecimento de gestos Tradução de gestos Aplicação móvel Redes neuronais TensorFlow Lite MediaPipe Inclusão social Portuguese Sign Language Gesture recognition Gesture translation Mobile application Neural networks TensorFlow lite Social inclusion
Citation
FONSECA, Gonçalo Caré – Aplicação de tradução de Língua Gestual Portuguesa (LGP) para português com recurso a inteligência artificial. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.