Browsing by Author "Fernandes, Pedro de Oliveira"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
- Processamento paralelo e distribuído baseado em workflowsPublication . Fernandes, Pedro de Oliveira; Assunção, Luís Manuel da CostaAs infraestruturas de computação distribuídas de larga escala suportadas em virtualização e plataformas de computação na nuvem (Cloud) permitem a execução de aplicações de processamento de dados modeladas por decomposição em múltiplas tarefas que interagem entre si, segundo modelos representados por grafos, usando um paradigma designado por Scientific Workflows. Na última década, surgiram imensas propostas de sistemas de workflow. No entanto, apesar da maior ou menor popularidade de alguns sistemas, continuam a persistir algumas questões em aberto, passíveis de serem melhoradas. O trabalho descrito neste documento é uma contribuição para encontrar respostas para algumas questões em aberto, propondo um modelo de workflow com as seguintes características: i) descentralização do controlo de execução das múltiplas tarefas de um workflow; ii) execução de um workflow com múltiplas iterações; iii) possibilidade de especificar réplicas de uma tarefa para suportar equilíbrio de carga; iv) encapsulamento de tarefas em containers, possibilitando a sua execução em múltiplos nós computacionais; v) especificação flexível de workflows independentemente da infraestrutura tecnológica de execução. A partir do modelo proposto é apresentada uma arquitetura conceptual de suporte ao modelo, culminado com o desenvolvimento de um protótipo que permite experimentação e validação do modelo, com estudo de casos de aplicações concretas modeladas segundo o paradigma de workflow. O protótipo de experimentação executa-se numa infraestrutura computacional que utiliza máquinas virtuais, formando um cluster virtual com múltiplos nós computacionais (máquinas virtuais) alojados na Google Cloud Platform. Os múltiplos nós computacionais partilham ficheiros através do sistema de ficheiros distribuídos Gluster. As múltiplas tarefas de um workflow, ativadas no contexto de componentes autónomas designadas Activities, executam-se encapsuladas em containers Docker, permitindo uma grande flexibilidade de desenvolvimento e reutilização dessas Tasks em múltiplos casos de aplicação. O trabalho termina com uma forte componente experimental de casos concretos de aplicação, nomeadamente uma aplicação que permite detetar objetos e textos em imagens, uma aplicação que implementa o modelo MapReduce para realizar o histograma de ocorrência de palavras em ficheiros de texto. A experimentação com o protótipo implementado permite concluir que o modelo é suficientemente genérico, desacoplado de detalhes tecnológicos, permitindo o desenvolvimento de workflows em múltiplas áreas das ciências e engenharia.