Loading...
Publication
SAR-to-Optical domain transformation for easier image recognition
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 17.98 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Abstract
Optical imaging systems work by capturing the light’s photons, that upon interaction with objects, scatter randomly. By sensing and processing the received particles it’s possible to create meaningful representations in the form of images. These systems offer rich spectral information, as they capture the frequencies in the visible band, which makes it desirable when being visually analyzed by humans as these reflect how humans see. Yet one of the biggest limitations is that these are heavily affected by weather and lighting conditions. Some cloud coverage or the lack of light can be enough to block the image acquisition, making these systems unusable unless coupled with other types of sensors such as Infrared. Sythenthic Aperture Radar(SAR) are remote sensing systems, that offer significant advantages in land monitoring, scientific research, security applications, and others. It is an active remote sensing technique that uses microwave signals to obtain high-resolution images of the Earth’s surface. Because of the frequencies that are usually used these are less susceptible to weather conditions, meaning it’s possible to obtain images whether day or night and no matter the cloud coverage. However, inherent limitations, such as speckle noise or geometric distortions, and the fact that it loses some crucial information like color information, make human interpretation of these a complex task. This thesis proposes a Convolutional Neural Network (CNN)-based autoencoder that extracts the relevant information from the SAR image and reconstructs the optical counterpart, therefore enabling image interpretation by non-specialized personnel.
Num mundo constantemente a evoluir, com desafios como alterações climáticas, levou ao desenvolvimento de sistemas espaciais capazes de captar imagens aérias de zonas de interesse. Sistemas óticos são sistemas passivos que utilizão a radiação emitida pelo sol para captar imagens. Estes sistemas operam na banda do visível, que para um ser humano oferece imagens que refletem a nossa visão, o que facilita a sua interpretação. No entanto, a sua eficácia depende de condições luminosas e meteorológicas. Para superar estas limitações, os radares de abertura sintética (SAR) foram desenvolvidos, uma vez que, devido ao facto de serem ativos e à frequência de operação, torna-os independentes das condições climatéricas. No entanto, os sistemas SAR captam o retroespalhamento do sinal, observável numa imagem grayscale, o que dificulta a interpretação. Para combinar as vantagens de ambos, foi criado um modelo de convoluções neuronais, baseado em autoencoders, que converte imagens SAR em imagens óticas. O modelo, composto por um codificador e um descodificador, comprime a informação das imagens SAR numa representação latente e tenta reconstruir a versão ótica correspondente. Um problema destes modelos é a perda de contexto à medida que a imagem passa pelos layers da rede. Para superar este desafio "skip connections" foram implementados. Estes transportam informação de camadas do codificador para o descodificador, melhorando a reconstrução da imagem. Para testar o modelo, utilizou-se métricas, como o erro quadrático médio, que compara pixel a pixel a diferença entre o valor real e o produzido para cada banda de cor. Outra função avaliada foi o índice de similaridade estrutural, que para além de captar a informação de cor, capta também a informação estrutural da imagem como o contraste. Foram também obtidas imagens manuais de Sentinel-1 e Sentinel-2, devido à escassez de datasets. Apesar das limitações computacionais que impediram o uso de redes mais complexas, a abordagem demonstrou ser capaz de converter imagens SAR em imagens óticas.
Num mundo constantemente a evoluir, com desafios como alterações climáticas, levou ao desenvolvimento de sistemas espaciais capazes de captar imagens aérias de zonas de interesse. Sistemas óticos são sistemas passivos que utilizão a radiação emitida pelo sol para captar imagens. Estes sistemas operam na banda do visível, que para um ser humano oferece imagens que refletem a nossa visão, o que facilita a sua interpretação. No entanto, a sua eficácia depende de condições luminosas e meteorológicas. Para superar estas limitações, os radares de abertura sintética (SAR) foram desenvolvidos, uma vez que, devido ao facto de serem ativos e à frequência de operação, torna-os independentes das condições climatéricas. No entanto, os sistemas SAR captam o retroespalhamento do sinal, observável numa imagem grayscale, o que dificulta a interpretação. Para combinar as vantagens de ambos, foi criado um modelo de convoluções neuronais, baseado em autoencoders, que converte imagens SAR em imagens óticas. O modelo, composto por um codificador e um descodificador, comprime a informação das imagens SAR numa representação latente e tenta reconstruir a versão ótica correspondente. Um problema destes modelos é a perda de contexto à medida que a imagem passa pelos layers da rede. Para superar este desafio "skip connections" foram implementados. Estes transportam informação de camadas do codificador para o descodificador, melhorando a reconstrução da imagem. Para testar o modelo, utilizou-se métricas, como o erro quadrático médio, que compara pixel a pixel a diferença entre o valor real e o produzido para cada banda de cor. Outra função avaliada foi o índice de similaridade estrutural, que para além de captar a informação de cor, capta também a informação estrutural da imagem como o contraste. Foram também obtidas imagens manuais de Sentinel-1 e Sentinel-2, devido à escassez de datasets. Apesar das limitações computacionais que impediram o uso de redes mais complexas, a abordagem demonstrou ser capaz de converter imagens SAR em imagens óticas.
Description
Dissertação para obtenção do grau de mestre em Engenharia Informática e de Computadores
Keywords
Convolutional neural network Domain transformation Neural networks Optical remote sensing systems Synthetic aperture radar Radares de abertura sintética Redes neuronais convolucionais Sistemas de deteção remota ótica Transformações de domínio
Citation
CURINHA, Hugo Miguel Carvalho – SAR-to-Optical domain transformation for easier image recognition. Lisboa: Instituto Superior de Engenharia de Lisboa. 2024. Dissertação de Mestrado.