Loading...
Publication
Real-time human activity recognition with KANs
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 4.67 MB | Adobe PDF |
Authors
Abstract(s)
Abstract
Kolmogorov-Arnold Networks (KANs) represent a breakthrough in deep learning by generalizing the Kolmogorov-Arnold Theorem (KAT) to networks of arbitrary depth and width. This theorem facilitates the decomposition of multivariate functions into constituent one-dimensional elements, with learnable activation functions on weights and the sum operator on nodes. KANs have been shown to exhibit robust performance in function approximation, validated across mathematical, physical, and practical domains such as traffic prediction and medical diagnostics. This study focuses on 3 objectives: (1) validating that KANs may be used in classification tasks applied to the real-world by comprehensive evaluations on OpenML, Kaggle and UCI datasets, (2) enhancing Human Activity Recognition (HAR) systems using KANs, and (3) applying these networks to Real-Time HAR in mobile devices. Tests were conducted to evaluate KANs with 7 different kernels. They demonstrate high classification performance compared to conventional machine learning approaches and MLP, and showcase reasonable latency for real-time HAR detection. These findings underscore KANs’ potential as scalable, interpretable tools in modern machine learning applications given their favorable neural scaling laws.
As redes de Kolmogorov-Arnold representam um avanço na aprendizagem profunda ao generalizar o teorema da representação de Kolmogorov-Arnold para redes de profundidade e largura arbitrárias. Este teorema facilita a decomposição de funções multivariadas nos seus elementos unidimensionais constituintes, com funções de ativação passíveis de serem treinadas nos pesos e o operador de soma nos nós. Foi demonstrado que as KANs exibem um desempenho robusto na aproximação de funções, nos domínios da matemática, física e em problemas do mundo real, como a previsão de tráfego e o diagnóstico médico. Este estudo foca-se em 3 objetivos: (1) validar que as KANs podem ser usadas em tarefas de classificação aplicadas ao mundo real através de avaliações abrangentes em conjuntos de dados abertos do OpenML, Kaggle e UCI, (2) melhorar sistemas de reconhecimento de actividade humana (RAH) utilizando as KANs, e (3) aplicar estas redes ao RAH em tempo real em dispositivos móveis. Foram realizados testes para avaliar as KANs com 7 tipos de funções núcleo. Estes demonstram um alto desempenho de classificação em comparação com abordagens convencionais de aprendizagem automática e perceptrões multi-camada, e apresentam uma latência razoável para RAH em tempo real. Estes resultados destacam o potencial das KANs como ferramentas escaláveis e interpretáveis nas aplicações modernas de aprendizagem automática, dadas as suas leis de escalabilidade neural favoráveis.
As redes de Kolmogorov-Arnold representam um avanço na aprendizagem profunda ao generalizar o teorema da representação de Kolmogorov-Arnold para redes de profundidade e largura arbitrárias. Este teorema facilita a decomposição de funções multivariadas nos seus elementos unidimensionais constituintes, com funções de ativação passíveis de serem treinadas nos pesos e o operador de soma nos nós. Foi demonstrado que as KANs exibem um desempenho robusto na aproximação de funções, nos domínios da matemática, física e em problemas do mundo real, como a previsão de tráfego e o diagnóstico médico. Este estudo foca-se em 3 objetivos: (1) validar que as KANs podem ser usadas em tarefas de classificação aplicadas ao mundo real através de avaliações abrangentes em conjuntos de dados abertos do OpenML, Kaggle e UCI, (2) melhorar sistemas de reconhecimento de actividade humana (RAH) utilizando as KANs, e (3) aplicar estas redes ao RAH em tempo real em dispositivos móveis. Foram realizados testes para avaliar as KANs com 7 tipos de funções núcleo. Estes demonstram um alto desempenho de classificação em comparação com abordagens convencionais de aprendizagem automática e perceptrões multi-camada, e apresentam uma latência razoável para RAH em tempo real. Estes resultados destacam o potencial das KANs como ferramentas escaláveis e interpretáveis nas aplicações modernas de aprendizagem automática, dadas as suas leis de escalabilidade neural favoráveis.
Description
Dissertação para obtenção do Grau de Mestre em Engenharia Informática e de Computadores
Keywords
Classification Kolmogorov-Arnold networks Kernel function Multivariate functions Human activity recognition Real-time classification Classificação Redes de Kolmogorov-Arnold Função núcleo
Citation
COSTA, Samuel Sampaio – Real-time human activity recognition with KANs. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.