Publication
Reconhecimento automático de tabelas em documentos
| authorProfile.email | documentacao@isel.pt | |
| dc.contributor.advisor | Rodrigues, José Alberto de Sousa | |
| dc.contributor.advisor | Silva, Luís Manuel Ferreira da | |
| dc.contributor.author | Fonseca, Diana Sofia Picado | |
| dc.date.accessioned | 2025-02-12T14:14:31Z | |
| dc.date.available | 2025-02-12T14:14:31Z | |
| dc.date.issued | 2024-11 | |
| dc.description | Relatório de Estágio para obtenção do grau de mestre em Matemática Aplicada para a Indústria na Área de Especialização de Tratamento de Dados | |
| dc.description.abstract | A extração de dados em formato digital tem vindo a ser uma necessidade comum a muitas empresas e é necessária para o funcionamento adequado das operações em muitos setores, devido ao aumento significativo do volume de dados em formato digital, verificado nos últimos anos. Os métodos manuais de inserção de informações de dados tabulares resultam em erros frequentes e, muitas vezes, a rapidez com que a tarefa manual da extração dos dados tabulares é realizada não permite atender aos requisitos da maior parte das empresas. Com isto, a Closer teve a necessidade de recorrer a um software da Microsoft, o Azure Forms Recognizer. O software tem custos elevados, para a escala em que é necessária a utilização deste por parte dos clientes e é ainda necessária a implementação de restrições que permitem agrupar os dados da tabela que são erradamente separados e para que seja possível extrair os valores de que os clientes normalmente precisam. Esta tese tem como objetivo o desenvolvimento de uma base de implementação de um algoritmo de inteligência artificial (IA) que supere a adversidade dos custos elevados, onde será realizada a deteção, o reconhecimento da estrutura e a extração das informações para um documento estruturado. Esta metodologia explora a utilização de modelos de deteção de objetos, nomeadamente, o modelo YOLOv8, tanto na tarefa de deteção das tabelas como no reconhecimento de estruturas que auxiliam na obtenção das células das tabelas. Este modelo é reconhecido por realizar deteções com alta precisão e por ser muito rápido no processamento de grandes volumes de imagens. Para a implementação da metodologia, foram realizados os treinos de vários modelos YOLO, com um conjunto de imagens que contêm tabelas de diferentes fornecedores e foram aplicadas restrições aos resultados das redes neuronais para que fosse possível atender aos requisitos. | por |
| dc.description.abstract | Abstract The extraction of data in digital format has become a common necessity for many companies and is essential for the proper functioning of operations across various sectors, due to the significant increase in the volume of digital data observed in recent years. Manual methods for inputting tabular data information result in frequent errors, and often the speed at which the manual task of extracting tabular data is performed fails to meet the requirements of most companies. Consequently, Closer had to resort to Microsoft’s software, Azure Forms Recognizer. The software incurs high costs for the scale at which it needs to be used by clients, and additional constraints must be implemented to group table data that is erroneously separated, allowing for the extraction of the values typically required by clients. This thesis aims to develop an implementation base for an artificial intelligence (AI) algorithm that overcomes the challenges of high costs, where the detection, structure recognition, and extraction of information into a structured document will be carried out. This methodology explores the use of object detection models, particularly the YOLOv8 model, both in the task of table detection and in recognizing structures that assist in obtaining the table cells. This model is known for achieving high precision in detections and for its speed in processing large volumes of images. For the implementation of the methodology, several YOLO models were trained using a set of images containing tables from different suppliers, and constraints were applied to the results of the neural networks to meet the necessary requirements. | eng |
| dc.identifier.citation | FONSECA, Diana Sofia Picado – Reconhecimento automático de tabelas em documentos. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado. | |
| dc.identifier.tid | 203787137 | |
| dc.identifier.uri | http://hdl.handle.net/10400.21/21439 | |
| dc.language.iso | por | |
| dc.peerreviewed | sim | |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | YOLOv8 | |
| dc.subject | OCR | |
| dc.subject | Inteligência artificial | |
| dc.subject | Extração automática de dados | |
| dc.subject | Imagens de tabelas | |
| dc.subject | Artificial inteligence | |
| dc.subject | Automatic data extraction | |
| dc.subject | Table images | |
| dc.title | Reconhecimento automático de tabelas em documentos | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| oaire.citation.endPage | 138 | |
| oaire.citation.startPage | 1 | |
| oaire.version | http://purl.org/coar/version/c_ab4af688f83e57aa |