Loading...
Publication
Interpretability and explainability in machine learning
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 19.31 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Abstract
As machine learning models become increasingly complex, the need for interpretability and explainability has grown significantly. This thesis investigates the use of machine learning and explainability techniques, namely DT (Decision Trees), SHAP (SHapley Additive exPlanations), EBM (Explainable Boosting Machines), and LIME (Local Interpretable Model-agnostic Explanations), to identify and analyze the most influential features in predictive models. On our study, we consider tabular and image data. Using the Iris and Adult datasets for tabular data, we apply these algorithms to discern where models derive their predictive power and which features contribute most significantly to outcomes. For image data, we address a multiclass classification problem using the Cats and Dogs dataset, employing saliency maps to pinpoint the most relevant pixels influencing model accuracy. Our findings demonstrate that these interpretability techniques e!ectively unveil the underlying mechanisms of machine learning models, enhancing our understanding and trust in their predictive capabilities.
À medida que os modelos de aprendizagem automática se tornam cada vez mais complexos, a necessidade de interpretabilidade e explicabilidade tem crescido significativamente. Esta tese investiga o uso de técnicas de aprendizagem automática e explicabilidade, nomeadamente árvores de decisão, SHAP (SHapley Additive exPlanations), EBM (Explainable Boosting Machines) e LIME (Local Interpretable Model-agnostic Explanations), para identificar e analisar as características mais influentes em modelos preditivos. No nosso estudo, consideramos dados tabulares e de imagem. Para dados de imagem, abordamos um problema de classificação multiclasse utilizando o conjunto de dados Cats and Dogs, utilizando mapas de saliência para identificar os píxeis mais relevantes que influenciam a precisão do modelo. As nossas descobertas demonstram que estas técnicas de interpretabilidade revelam eficazmente os mecanismos subjacentes dos modelos de aprendizagem automática, aumentando a nossa compreensão e confiança nas suas capacidades preditivas.
À medida que os modelos de aprendizagem automática se tornam cada vez mais complexos, a necessidade de interpretabilidade e explicabilidade tem crescido significativamente. Esta tese investiga o uso de técnicas de aprendizagem automática e explicabilidade, nomeadamente árvores de decisão, SHAP (SHapley Additive exPlanations), EBM (Explainable Boosting Machines) e LIME (Local Interpretable Model-agnostic Explanations), para identificar e analisar as características mais influentes em modelos preditivos. No nosso estudo, consideramos dados tabulares e de imagem. Para dados de imagem, abordamos um problema de classificação multiclasse utilizando o conjunto de dados Cats and Dogs, utilizando mapas de saliência para identificar os píxeis mais relevantes que influenciam a precisão do modelo. As nossas descobertas demonstram que estas técnicas de interpretabilidade revelam eficazmente os mecanismos subjacentes dos modelos de aprendizagem automática, aumentando a nossa compreensão e confiança nas suas capacidades preditivas.
Description
Dissertação para obtenção do Grau de Mestre em Engenharia Informática e Multimédia
Keywords
Decision trees EBM Explainability Feature importance Interpretability LIME Machine learning Saliency maps SHAP Aprendizagem automática Árvores de decisão Explicabilidade
Citation
CUNHA, João Paulo Carrilho – Interpretability and explainability in machine learning. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.