Loading...
Publication
Scale processing architecture for banking operations
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 9.53 MB | Adobe PDF |
Authors
Abstract(s)
Abstract
Pervasive to most digital transformation stacks is the overwhelming presence of massive parallel processing (MPP) ecosystems. An MPP ecosystem is here defined as a set of special purpose MPP engines with socio-technical value, cooperatively combined to deliver end-to-end mission-critical performance with near-optimal constancy at scale. Maintaining an optimal utilization threshold of all computing power without jeopardizing workload or component functioning, safety, or design conditions is a central challenge. This project explores digital advantage towards the outline of a Scale Processing Architec ture founded on an MPP/SQL paradigm to support banking platform needs for scalability, availability, and high-performance data processing. The architecture’s central components are Trino and Singlestore. Trino is an open-source distributed query engine capable of adapting to changing workload demands and performing massively parallel virtualized data processing. SingleStore is a recent translytical database optimized for hybrid ransaction al/analytical processing. The present work aims to enhance Trino workload management alongside SingleStore, facilitating big data processing and analysis at multiple timescales and consumption archetypes while combining and contrasting dominant design patterns, including data warehouse, lakehouse, transactional, translytical, embedded, and streaming.
Presente na maioria das conjuntos de transformação digital é a presença avassaladora de ecossistemas de processamento paralelo em massa (MPP - massive parallel systems). Um ecossistema MPP é aqui definido como um conjunto de motores MPP especializados com valor sociotécnico, combinados de forma cooperativa para fornecer desempenho crítico de propósito específico com constância quase ótima em grande escala. Manter um limiar de utilização ótimo de toda a capacidade de processamento sem comprometer o funcionamento da carga de trabalho ou dos componentes, as condições de segurança ou de design, é um desafio central. Este projeto explora a vantagem digital em direção ao esboço de uma Scale Processing Architecture , fundada em um paradigma MPP/SQL para atender às necessidades de escalabilidade, disponibilidade e processamento de dados de alto desempenho de uma plataforma bancária. Os componentes centrais da arquitetura são Trino e SingleStore. Trino é um mecanismo de consulta distribuído open-source, capaz de se adaptar às de mandas de carga de trabalho em mudança e realizar rocessamento de dados virtualizado massivamente paralelo. SingleStore é um banco de dados translitico recente, otimizado para processamento transacional/analítico híbrido. O presente trabalho visa aprimorar o gerenciamento de carga de trabalho do Trino em conjunto com o SingleStore, facilitando o processamento e análise de big data em múltiplas escalas temporais e arquétipos de consumo, ao mesmo tempo em que combina e contrasta padrões de design dominantes, incluindo data warehouse, lakehouse, transacional, embedded e streaming.
Presente na maioria das conjuntos de transformação digital é a presença avassaladora de ecossistemas de processamento paralelo em massa (MPP - massive parallel systems). Um ecossistema MPP é aqui definido como um conjunto de motores MPP especializados com valor sociotécnico, combinados de forma cooperativa para fornecer desempenho crítico de propósito específico com constância quase ótima em grande escala. Manter um limiar de utilização ótimo de toda a capacidade de processamento sem comprometer o funcionamento da carga de trabalho ou dos componentes, as condições de segurança ou de design, é um desafio central. Este projeto explora a vantagem digital em direção ao esboço de uma Scale Processing Architecture , fundada em um paradigma MPP/SQL para atender às necessidades de escalabilidade, disponibilidade e processamento de dados de alto desempenho de uma plataforma bancária. Os componentes centrais da arquitetura são Trino e SingleStore. Trino é um mecanismo de consulta distribuído open-source, capaz de se adaptar às de mandas de carga de trabalho em mudança e realizar rocessamento de dados virtualizado massivamente paralelo. SingleStore é um banco de dados translitico recente, otimizado para processamento transacional/analítico híbrido. O presente trabalho visa aprimorar o gerenciamento de carga de trabalho do Trino em conjunto com o SingleStore, facilitando o processamento e análise de big data em múltiplas escalas temporais e arquétipos de consumo, ao mesmo tempo em que combina e contrasta padrões de design dominantes, incluindo data warehouse, lakehouse, transacional, embedded e streaming.
Description
Dissertação para obtenção do Grau de Mestre em Engenharia Informática e de Computadores
Keywords
Massive parallel processing MPP ecosystem Data-intensive Workload Trino SingleStore Object storage Embedded Scale processing architecture Banking OLAP OLTP Ecossistema MPP Banca
Citation
MACHADO, Afonso Araújo – Scale processing architecture for banking operations. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.