Publication
Utilização de inteligência artificial na tradução de língua gestual para língua verbal
| authorProfile.email | biblioteca@isel.pt | |
| dc.contributor.advisor | Abrantes, Arnaldo Joaquim Castro | |
| dc.contributor.advisor | Jorge, Pedro Miguel Torres Mendes | |
| dc.contributor.author | Gonçalves, Tiago Filipe da Silva | |
| dc.date.accessioned | 2025-03-10T11:54:47Z | |
| dc.date.available | 2025-03-10T11:54:47Z | |
| dc.date.issued | 2024-12 | |
| dc.description | Dissertação para obtenção do Grau de Mestre em Engenharia Informática e Multimédia | |
| dc.description.abstract | Numa altura em que o ser humano tem a capacidade de comunicar em qualquer língua, com sistemas de tradução disponíveis a um clique de distância, as línguas gestuais permanecem excluídas. O principal objetivo deste projeto é desenvolver um sistema prático e moderno, que permita a tradução de língua gestual para língua verbal, de forma tão acessível e imediata quanto as traduções entre línguas verbais. Para tal, é proposto a utilização de modelos de Inteligência Artificial que, através da utilização de uma câmara e de uma saída ajustada ao recetor, seja um visor ou um auscultador, captam os gestos em língua gestual e traduzem para língua verbal. Assim, no processo de identificação dos elementos de comunicação, este sistema define-se como o canal, ou seja, o emissor é filmado enquanto comunica a mensagem em língua gestual, e o recetor, através de um visor ou auscultador, recebe a mensagem já traduzida em língua verbal. Para o desenvolvimento deste sistema, foram treinadas várias redes neuronais utilizando a base de dados SIGNUM, de Língua Gestual Alemã. Além disso, recorreu-se à ferramenta MediaPipe para a tarefa de pré-processamento dos dados, garantindo uma manipulação de dados de tamanho reduzido em comparação com imagens ou vídeos. Por fim, selecionou-se os modelos que obtiveram os melhores resultados, e desenvolveu-se uma aplicação que traduz língua gestual para língua verbal. | por |
| dc.description.abstract | Abstract In an era where humans can comunicate in any language with a translation systems available at the click of a button, sign languages remain largely excluded. The main objetive of this project, is to develop a pratical and modern system, that enables the translation of sign language into spoken language, in a manner that is as accessible and instantaneous as current spoken language translation. For that, the proposed solution involves the use of Artificial Intelligence models, which, by utilizing a camera and a display or sound device, capture signs and translate them into words. So, in this communication process, the system functions as a channel, where the sender is recorded while communicating his message in sign language, and the receiver, through a display or sound device, receives a translated message. To develop this system, several neural networks were trained using the SIGNUM dataset, a German Sign Language dataset. Additionally, the MediaPipe tool was used for data preprocessing tasks, allowing the handling of a data smaller than images or videos. In the end, the models that achieved the best results were selected, and an application was implemented to translate sign language into spoken language. | eng |
| dc.identifier.citation | GONÇALVES, Tiago Filipe da Silva – Utilização de inteligência artificial na tradução de língua gestual para língua verbal. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado. | |
| dc.identifier.tid | 203806042 | |
| dc.identifier.uri | http://hdl.handle.net/10400.21/21649 | |
| dc.language.iso | por | |
| dc.peerreviewed | yes | |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | Língua gestual | |
| dc.subject | Tradução | |
| dc.subject | SIGNUM | |
| dc.subject | Aprendizagem automática | |
| dc.subject | Redes neuronais | |
| dc.subject | Transformer | |
| dc.subject | MediaPipe | |
| dc.subject | Reconhecimento de língua gestual contínuo | |
| dc.subject | Sign language | |
| dc.subject | Translation | |
| dc.subject | Machine learning | |
| dc.subject | Neural networks | |
| dc.subject | Continuous sign language recognition | |
| dc.title | Utilização de inteligência artificial na tradução de língua gestual para língua verbal | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| oaire.citation.endPage | 92 | |
| oaire.citation.startPage | 1 | |
| oaire.version | http://purl.org/coar/version/c_be7fb7dd8ff6fe43 |