Loading...
Publication
Utilização de inteligência artificial na tradução de língua gestual para língua verbal
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 6.85 MB | Adobe PDF |
Authors
Abstract(s)
Numa altura em que o ser humano tem a capacidade de comunicar em qualquer língua, com sistemas de tradução disponíveis a um clique de distância, as línguas gestuais permanecem excluídas. O principal objetivo deste projeto é desenvolver um sistema prático e moderno, que permita a tradução de língua gestual para língua verbal, de forma tão acessível e imediata quanto as traduções entre línguas verbais. Para tal, é proposto a utilização de modelos de Inteligência Artificial que, através da utilização de uma câmara e de uma saída ajustada ao recetor, seja um visor ou um auscultador, captam os gestos em língua gestual e traduzem para língua verbal. Assim, no processo de identificação dos elementos de comunicação, este sistema define-se como o canal, ou seja, o emissor é filmado enquanto comunica a mensagem em língua gestual, e o recetor, através de um visor ou auscultador, recebe a mensagem já traduzida em língua verbal. Para o desenvolvimento deste sistema, foram treinadas várias redes neuronais utilizando a base de dados SIGNUM, de Língua Gestual Alemã. Além disso, recorreu-se à ferramenta MediaPipe para a tarefa de pré-processamento dos dados, garantindo uma manipulação de dados de tamanho reduzido em comparação com imagens ou vídeos. Por fim, selecionou-se os modelos que obtiveram os melhores resultados, e desenvolveu-se uma aplicação que traduz língua gestual para língua verbal.
Abstract In an era where humans can comunicate in any language with a translation systems available at the click of a button, sign languages remain largely excluded. The main objetive of this project, is to develop a pratical and modern system, that enables the translation of sign language into spoken language, in a manner that is as accessible and instantaneous as current spoken language translation. For that, the proposed solution involves the use of Artificial Intelligence models, which, by utilizing a camera and a display or sound device, capture signs and translate them into words. So, in this communication process, the system functions as a channel, where the sender is recorded while communicating his message in sign language, and the receiver, through a display or sound device, receives a translated message. To develop this system, several neural networks were trained using the SIGNUM dataset, a German Sign Language dataset. Additionally, the MediaPipe tool was used for data preprocessing tasks, allowing the handling of a data smaller than images or videos. In the end, the models that achieved the best results were selected, and an application was implemented to translate sign language into spoken language.
Abstract In an era where humans can comunicate in any language with a translation systems available at the click of a button, sign languages remain largely excluded. The main objetive of this project, is to develop a pratical and modern system, that enables the translation of sign language into spoken language, in a manner that is as accessible and instantaneous as current spoken language translation. For that, the proposed solution involves the use of Artificial Intelligence models, which, by utilizing a camera and a display or sound device, capture signs and translate them into words. So, in this communication process, the system functions as a channel, where the sender is recorded while communicating his message in sign language, and the receiver, through a display or sound device, receives a translated message. To develop this system, several neural networks were trained using the SIGNUM dataset, a German Sign Language dataset. Additionally, the MediaPipe tool was used for data preprocessing tasks, allowing the handling of a data smaller than images or videos. In the end, the models that achieved the best results were selected, and an application was implemented to translate sign language into spoken language.
Description
Dissertação para obtenção do Grau de Mestre em Engenharia Informática e Multimédia
Keywords
Língua gestual Tradução SIGNUM Aprendizagem automática Redes neuronais Transformer MediaPipe Reconhecimento de língua gestual contínuo Sign language Translation Machine learning Neural networks Continuous sign language recognition
Citation
GONÇALVES, Tiago Filipe da Silva – Utilização de inteligência artificial na tradução de língua gestual para língua verbal. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.