| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 21.34 MB | Adobe PDF |
Authors
Abstract(s)
Com o passar dos anos tem-se vindo a tornar um desafio cada vez maior gerir
a quantidade de dados gerados pelas várias indústrias tecnológicas, sendo uma
das maiores produtoras de conteúdo a área de entretenimento desportivo. Tendo
como exemplo o futebol, podemos verificar que é completamente impossível para
o consumidor destes conteúdos visualizar todos os jogos, dada a quantidade de
equipas existentes e a duração desses jogos.
Existe a necessidade de sumarizar os jogos de futebol num conjunto de segmentos
de vídeo que consigam, de forma resumida e estruturada, apresentar ao utilizador
um resumo conciso do que de relevante ocorreu no jogo, ao fazer com que
este não perca nenhum momento chave mas ao mesmo tempo garantindo que
não existe uma sobre-exposição relativa a eventos que não apresentam interesse
justificativo.
Parte dos trabalhos existentes sobre a automatização da sumarização dos vídeos
assentam apenas sobre o processamento de características audiovisuais que permitem
a extração de semânticas relevantes e a sua consequente classificação. É
proposto um sistema que adiciona novas características de classificação como a
variabilidade do ritmo cardíaco e emoções anotadas manualmente pelo utilizador.
Um dos problemas abordados pelo sistema proposto foi a correta e fiável captação
da informação relativa à variabilidade do ritmo cardíaco e das emoções sentidas
pelo utilizador a determinada altura do jogo. Para resolver este problema
foi implementada como parte do sistema uma aplicação para ser executada exclusivamente
em dispositivos móveis Android que permite ao utilizador gravar
as suas emoções e informação de batimento cardíaco para depois poderem ser
processados e utilizados na classificação dos planos.O sistema proposto incluí o processamento de características visuais para efetuar
a segmentação do vídeo em planos, como o cálculo dos histogramas das várias
imagens por forma a detetar transições instantâneas e graduais. Estas características
são também utilizadas para inferir acontecimentos de relevância como a
presença da grande área em determinado plano e a amostragem de cartões amarelos
e vermelhos.
Toda esta informação irá ser utilizada em conjunto para melhorar a fiabilidade e
robustez dos algoritmos existentes de segmentação e classificação de planos em
vídeos relativos a jogos de futebol.
Over the years it has become increasingly challenging to manage the sheer amount of data generated by the many technological industries, one of the largest content producers being the sports entertainment area. Taking football as an example, we can see that it is completely impossible for the average consumer of these contents to visualize all the matches in which it has interest, given the number of existent teams and the long duration of a match. Given this cenario, there is the need to summarize the football matches in a set of video segments that can, in a short and structured way, tell the consumer of this type of content the "story" of the game to make sure it does not miss any key moments of the match but at the same time ensure that there is no overexposure relating to events that do not present justifying interest. Much of the existing work on automating video summarization rely only on audiovisual features processing wich allow the extraction of relevant semantics and their consequent classification. We propose a system that builds on these themes already studied adding new features such as heart rate variability and emotions manually entered by the user. One of the problems addressed by the proposed system is the correct and reliable captation of the information on the heart rate variability and the emotions felt by the user at a certain point in the match. To solve this problem a mobile Android application was developed as part of the proposed system that allows the user to record his emotions and heart rate information to be proccessed and used on the shot classification. The proposed system includes the processing of visual characteristics to perform segmentation of the video into shots, such as calculating the histograms of the various images to detect instantaneous and gradual transitions. These characteristics are also used to infer relevant events such as the presence of the penalty box and yellow and red cards on a shot. All of this information will then be combined and used to improve reliability and robustness of the existing algorithms regarding segmentation and classification of shots on football match videos.
Over the years it has become increasingly challenging to manage the sheer amount of data generated by the many technological industries, one of the largest content producers being the sports entertainment area. Taking football as an example, we can see that it is completely impossible for the average consumer of these contents to visualize all the matches in which it has interest, given the number of existent teams and the long duration of a match. Given this cenario, there is the need to summarize the football matches in a set of video segments that can, in a short and structured way, tell the consumer of this type of content the "story" of the game to make sure it does not miss any key moments of the match but at the same time ensure that there is no overexposure relating to events that do not present justifying interest. Much of the existing work on automating video summarization rely only on audiovisual features processing wich allow the extraction of relevant semantics and their consequent classification. We propose a system that builds on these themes already studied adding new features such as heart rate variability and emotions manually entered by the user. One of the problems addressed by the proposed system is the correct and reliable captation of the information on the heart rate variability and the emotions felt by the user at a certain point in the match. To solve this problem a mobile Android application was developed as part of the proposed system that allows the user to record his emotions and heart rate information to be proccessed and used on the shot classification. The proposed system includes the processing of visual characteristics to perform segmentation of the video into shots, such as calculating the histograms of the various images to detect instantaneous and gradual transitions. These characteristics are also used to infer relevant events such as the presence of the penalty box and yellow and red cards on a shot. All of this information will then be combined and used to improve reliability and robustness of the existing algorithms regarding segmentation and classification of shots on football match videos.
Description
Dissertação para obtenção do grau de mestre em Engenharia de Redes de Comunicação e Multimédia
Keywords
Variabilidade do ritmo cardíaco Heart rate variability Processamento de vídeo Video processing Características audiovisuais Audiovisual characteristics Segmentação Shot segmentation Classificação Shot classification
Citation
LOURENÇO, David André da Silva - Sumarização de vídeos de jogos de futebol baseada em características audiovisuais e biométricas. Lisboa: Instituto Superior de Engenharia de Lisboa, 2019. Dissertação de mestrado.
Publisher
Instituto Superior de Engenharia de Lisboa