Publication
Monitoring the Science, Technology and Society (RCTS) network using perfSONARMonitoring the Science, Technology and Society (RCTS) network using perfSONAR
| authorProfile.email | biblioteca@isel.pt | |
| dc.contributor.advisor | Luís, Nuno Miguel Abreu | |
| dc.contributor.advisor | Pires, Luis Miguel Rego | |
| dc.contributor.author | Inácio, Edgar Cerqueira | |
| dc.date.accessioned | 2025-02-27T14:12:35Z | |
| dc.date.available | 2025-02-27T14:12:35Z | |
| dc.date.issued | 2024-07 | |
| dc.description | Dissertação para obtenção do Grau de Mestre em Engenharia de Eletrónica e Telecomunicações | |
| dc.description.abstract | Abstract Effective network monitoring is crucial for maintaining the integrity, performance, and reliability of any advanced networking infrastructure. As network demands grow and the complexity of network systems increases, continuous monitoring becomes a essential step to ensure seamless operations and service quality. Network monitoring enables real-time detection and troubleshooting of issues, helping to prevent potential disruptions that could impact users. By providing detailed insights into network performance, monitoring tools like Performance focused Service Oriented Network monitoring ARchitecture (perfSONAR) play a pivotal role in upholding Service Level Agreement (SLA) and ensuring that users receive consistent and reliable network services. This dissertation details the implementation of the perfSONAR network across Portugal’s higher education institutions, focusing on enhancing network performance monitoring and optimization. The project was structured in phases, starting with a Proof Of Concept (POC) to validate perfSONAR tests in a controlled environment, followed by an intermediate phase involving strategic placement of test-point servers in different geographical locations. The final phase expanded the network nationwide, offering comprehensive coverage for performance analysis. Significant challenges were encountered and overcome, particularly in database management. The OpenSearch database initially struggled with shard capacity due to daily index creation. This issue was resolved by transitioning to datastreams, improving scalability and performance. Additionally, the integration of Grafana for data visualization played a key role in simplifying the interpretation of complex network data, facilitating more effective troubleshooting. The project’s potential for future enhancements includes expanding the range of perf-SONAR tests and collaborating with entities like Gigabit European Academic Network (GÉANT). One area of focus is developing tests for monitoring eduroam authentication processes. These advancements are expected to refine network performance monitoring and contribute to the field of network and data communications. The successful deployment of the perfSONAR network marks a significant advancement in network infrastructure for Portugal’s educational and research institutions. It enhances current capabilities and provides a scalable foundation for future technological developments. The project highlights the importance of strategic planning, innovative problem-solving, and adaptability in evolving network performance and optimization. | eng |
| dc.description.abstract | A implementação da rede perfSONAR nas instituições de ensino superior de Portugal representa um marco significativo no avanço da infraestrutura digital do país. Esta dissertação descreve de forma abrangente o processo de implementação da rede perfSONAR, um projeto que se destaca na interseção da inovação tecnológica, do planeamento estratégico e das necessidades dinâmicas da paisagem digital. O objetivo do projeto não foi apenas melhorar a monitorização e otimização do desempenho da rede, mas também estabelecer um precedente nos domínios académico e de pesquisa sobre como a infraestrutura digital pode ser eficazmente alavancada. Diversos aspectos técnicos e de configuração foram fundamentais na implementação deste projeto. Adicionalmente, a integração do Grafana como ferramenta de visualização marcou um significativo avanço técnico. Esta plataforma open-source foi utilizada para criar dashboards interativos, melhorando a visualização e interpretação das métricas de desempenho do perfSONAR. O processo de implementação envolveu a configuração da base de dados OpenSearch e integração de um plugin de visualização Matrix no sistema Grafana existente na FCCN. Estes passos conduziram ao desenvolvimento de dashboards dinâmicos que proporcionaram uma interface amigável para os administradores de rede, simplificando a interpretação de dados de rede complexos. A implementação do perfSONAR em Portugal, desde o seu conceito até à implementação nacional, serve como um marco importante para o avanço da qualidade da rede de inovação e tecnologia Portuguesa oferecida pela FCCN. O projeto foi meticulosamente executado em fases distintas, cada uma com o seu foco específico e conjunto de desafios. A fase inicial, a Prova de Conceito (POC), estabeleceu as bases para o sistema de monitorização de desempenho da rede. Esta fase foi crucial na demonstração da viabilidade e impacto potencial da rede perfSONAR, validando os conceitos subjacentes ao projeto. Posteriormente, o projeto avançou para uma fase intermédia, marcada pela distribuição estratégica de servidores de pontos de teste em várias localizações geográficas. Esta etapa foi instrumental para ampliar o escopo do projeto, permitindo uma avaliação mais abrangente do desempenho da rede em diferentes ambientes e configurações. A fase final, a implementação nacional, foi um empreendimento monumental que estendeu o alcance da rede para cobrir o espectro educacional de Portugal. Esta fase caracterizou-se não só pelos seus feitos técnicos, mas também pela demonstração da escalabilidade e adaptabilidade do projeto. Permitiu uma coleta extensiva de dados e percepções, proporcionando um entendimento profundo da eficiência e saúde da rede em todo o país. Ao longo do projeto, vários desafios foram encontrados, especialmente na gestão de bases de dados e coordenação logística. Os desafios iniciais com o sistema de base de dados OpenSearch, particularmente as limitações de capacidade dos seus fragmentos, apresentaram obstáculos técnicos significativos. A solução inovadora, envolvendo uma mudança para uma metodologia de fluxos de dados mais eficiente, melhorou significativamente o desempenho e a escalabilidade da base de dados. Em termos de desafios logísticos, a implementação nacional exigiu planeamento e execução cuidadosos. Cada implementação de servidores de pontos de teste perfSONAR em várias regiões teve de considerar desafios geográficos, infraestrutura de rede local e requisitos institucionais. A execução meticulosa de cada configuração de ponto de teste foi um testemunho do compromisso do projeto com a precisão e eficiência. A dissertação fornece uma análise comparativa do perfSONAR com outros sistemas de monitorização implementados na FCCN. Destaca as vantagens do perfSONAR em fornecer medições ativas detalhadas de métricas de desempenho de rede, como latência, perda de pacotes e taxa de transferência, e sua capacidade de automatizar testes de desempenho de rede. Isso representou um avanço significativo em relação às configurações manuais tradicionais de equipamentos de rede. A integração da Telemetria em Fluxo com o perfSONAR criou um quadro abrangente para monitorização de desempenho de rede, melhorando as capacidades gerais de detecção de falhas e mitigação da rede. O impacto e os resultados da implementação da rede perfSONAR foram significativos, melhorando a monitorização e otimização do desempenho da rede nos setores educacional e de investigação em Portugal. A implementação bem-sucedida do projeto levou a uma infraestrutura de rede robusta e resiliente, crucial para as comunidades académicas e de pesquisa. A implementação nacional, em particular, não foi apenas uma conquista técnica, mas também um testemunho da capacidade do projeto de se adaptar a ambientes e demandas de rede diversos. Olhando para o futuro, o potencial de expansão dos testes perfSONAR é considerável. As colaborações com organizações como a GÉANT são antecipadas para liderar o desenvolvimento de novos e inovadores testes. Um foco notável é o monitoramento e validação dos processos de autenticação do Eduroam. A integração desses novos testes com ferramentas avançadas como o Grafana espera-se que melhore ainda mais as capacidades de monitorização da rede. Isso permitiria a criação de visualizações detalhadas e personalizáveis que auxiliam na tomada de decisões e eficaz nas resoluções de problemas. A integração destes novos testes com ferramentas avançadas como o Grafana é esperada para melhorar ainda mais as capacidades de monitorização da rede, permitindo a criação de visualizações detalhadas e personalizáveis que auxiliam na tomada de decisões eficazes e na resolução de problemas. A implementação bem-sucedida da rede perfSONAR em Portugal representa um avanço significativo na infraestrutura de rede para as instituições educacionais e de pesquisa do país. Este projeto sublinhou a importância do planeamento estratégico, da inovação na resolução de problemas e da adaptabilidade num domínio em rápida evolução como o da otimização e desempenho de redes. Refletindo sobre esta jornada, a dissertação destaca o poder transformativo da tecnologia, realçando as capacidades inerentes das comunidades académicas e de pesquisa. A implementação da rede perfSONAR, desde a sua concepção até à implementação em todo o país, serve como um testemunho do espírito colaborativo, da competência técnica e da abordagem proativa que são essenciais para o avanço da infraestrutura digital na era moderna. | por |
| dc.identifier.citation | INÁCIO, Edgar Cerqueira – Monitoring the Science, Technology and Society (RCTS) network using perfSONAR. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado. | |
| dc.identifier.tid | 203797108 | |
| dc.identifier.uri | http://hdl.handle.net/10400.21/21611 | |
| dc.language.iso | eng | |
| dc.peerreviewed | yes | |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | perfSONAR | |
| dc.subject | Network monitorization | |
| dc.subject | Data visualization | |
| dc.subject | Network infrastructure | |
| dc.subject | Network diagnostics | |
| dc.subject | Network management | |
| dc.subject | Monitorização de rede | |
| dc.subject | Visualização de dados | |
| dc.subject | Infraestrutura de rede | |
| dc.title | Monitoring the Science, Technology and Society (RCTS) network using perfSONARMonitoring the Science, Technology and Society (RCTS) network using perfSONAR | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| oaire.citation.endPage | 136 | |
| oaire.citation.startPage | 1 | |
| oaire.version | http://purl.org/coar/version/c_be7fb7dd8ff6fe43 |