Publicação
Cross-device platform for collaborative educational experiences in mixed reality
| authorProfile.email | biblioteca@isel.pt | |
| datacite.subject.fos | Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática | |
| dc.contributor.advisor | Costa, Carla Maria Duarte da Silva e | |
| dc.contributor.advisor | Jorge, Pedro Miguel Torres Mendes | |
| dc.contributor.author | Lucas, Letícia Inês da Silva Barbedo | |
| dc.date.accessioned | 2026-01-27T10:48:44Z | |
| dc.date.available | 2026-01-27T10:48:44Z | |
| dc.date.issued | 2025-11-18 | |
| dc.description.abstract | Abstract This dissertation presents the design and implementation of a cross-device platform for collaborative educational experiences in Mixed Reality (MR). While these technologies have the potential to transform learning, turning abstract concepts into something tangible, their generalized adoption is hindered by some persistent challenges: device fragmentation and the lack of interoperability between different systems. With different devices providing incompatible capabilities, truly inclusive and scalable classroom experiences are difficult to attain. To address this, the project proposes a modular client-server architecture enabling seamless collaboration between heterogeneous platforms. On the client side, OpenXR provides the foundational layer for interoperability, enabling unified user interaction across devices. On the server side, a dual approach is adopted: a Unity server coordinates multiplayer sessions, object alignment and scene management, while a Python server handles computer vision tasks. The latter integrates a custom object detection pipeline capable of personalized marker recognition and communicates with clients via sockets for real-time responses. The developed platform is validated through a representative educational scenario focused on renewable energies, where users employing Magic Leap 2 and Meta Quest 3 devices - examples of Augmented and Virtual Reality, respectively - collaboratively manipulate synchronized virtual objects (a Sun and clouds), anchored to physical markers (miniature photovoltaic panel replicas). Results demonstrate that the proposed approach achieves real-time synchronization, robust object tracking, and extensibility for integrating both new devices and educational experiences in the future. This work provides an open-source framework that enables educators and developers to create their own custom Mixed Reality experiences, without requiring extensive technical knowledge. Beyond its immediate educational applications, the platform establishes a foundation for future research in cross-platform Mixed Reality systems, especially those that foster collaboration and creativity in learning. | eng |
| dc.description.abstract | Esta dissertação apresenta processo de implementação de uma plataforma multi-dispositivo para experiências educativas colaborativas em Realidade Mista (RM). Embora estas tecnologias tenham o potencial de transformar a aprendizagem, ao tornar conceitos abstratos em algo tangível, uma adoção generalizada é dificultada por alguns desafios: nomeadamente a fragmentação tecnológica e a falta de interoperabilidade entre diferentes sistemas. Com dispositivos distintos a oferecer capacidades incompatíveis, experiências de sala de aula verdadeiramente inclusivas e expansíveis tornam-se difíceis de alcançar. Para contornar estes obstáculos, o projeto propõe uma arquitetura modular cliente-servidor para permitir colaboração entre plataformas heterogéneas. Do lado do cliente, o OpenXR fornece os alicerces fundamentais para a interoperabilidade, permitindo unificar a interação dos utilizadores independentemente do dispositivo. Do lado do servidor, é adotada uma abordagem dupla: um servidor Unity coordena sessões multijogador, alinhamento de objetos e gestão de módulos, enquanto um servidor Python trata das tarefas de visão computacional. Este último integra um esquema de deteção de objetos personalizado capaz de reconhecer marcas específicos, e comunica com os clientes via sockets para respostas em tempo real. A plataforma é validada através de um cenário educativo representativo focado em energias renováveis, onde utilizadores com dispositivos Magic Leap 2 e Meta Quest 3 - exemplos de Realidade Aumentada e Realidade Virtual, respetivamente - colaboram na manipulação de objetos virtuais sincronizados (um Sol e nuvens), ancorados a marcadores físicos (réplicas em miniatura de painéis fotovoltaicos). Os resultados demonstram que a abordagem proposta atinge sincronização em tempo real, rastreamento de objetos e adaptabilidade para integrar novos dispositivos e experiências educativas no futuro. Este trabalho fornece uma framework open-source que permite que educadores e desenvolvedores criem as suas próprias experiências em Realidade Mista, mesmo sem conhecimento técnico avançado. Para além das suas vantagens educativas, a plataforma estabelece uma base para futuras pesquisas em sistemas de Realidade Mista multi-platforma, especialmente aqueles que promovem colaboração e criatividade na aprendizagem. | por |
| dc.identifier.tid | 204162610 | |
| dc.identifier.uri | http://hdl.handle.net/10400.21/22583 | |
| dc.language.iso | eng | |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject | Collaborative mixed reality | |
| dc.subject | Cross-device development | |
| dc.subject | Educational platform | |
| dc.subject | Immersive experiences | |
| dc.subject | Object detection | |
| dc.subject | Colaboração em realidade mista | |
| dc.subject | Desenvolvimento multi-dispositivo | |
| dc.subject | Deteção de objetos | |
| dc.subject | Experiências imersivas | |
| dc.subject | Plataforma de ensino | |
| dc.title | Cross-device platform for collaborative educational experiences in mixed reality | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Dissertação para obtenção do Grau de Mestre em Engenharia Informática e Multimédia |