Fusión de imágenes de satélites de muy alta resolución

Máster Universitario en Tecnologías de Telecomunicación
Fusión de imágenes de
satélites de muy alta
resolución
Estado del arte
Anabella Medina Machín
Mayo 2011
Fuentes de información
●
●
Remote Sensing of Environment
ISPRS Journal of Photogrammetry and remote
sensing
●
IEEE Transactions on geoscience and remote sensing
●
IEEE Geoscience and remote sensing letters
●
Photogrammetric engineering and remote sensing
international journal of remote sensing
Contenidos
●
Introducción
●
Algoritmos de fusión de imágenes
●
Índices de calidad
●
Inventario de cubiertas vegetales
●
Conclusiones
●
Bibliografía
Introducción
Objetivos
● Fuente de datos
● Características de las imágenes de satélites
● Satélites de alta resolución
● Preprocesado de datos crudos
●
Fuente de datos
Satélites de muy alta resolución
Características de las imágenes
Diferentes resoluciones
●
Resolución temporal
●
Resolución espacial
●
Resolución radiométrica
●
Resolución espectral
Diferentes resoluciones
Resolución espacial
Resolución radiométrica
Resolución espectral
Satélites de muy alta resolución
●
Ikonos
●
QuickBird
●
GeoEye-1
Satélite Ikonos
Fecha de lanzamiento
24 Septiembre 1999
Propietario
GeoEye
Peso
720 Kg
Altitud
681 Km
Sensor PAN
1m
Sensor MS
4 bandas, 4 m
Ancho de barrido
11,3 Km (nadir),
13,8 Km (26º off-nadir)
Tiempo de revisita
1 a 3 días
Tamaño de escena
Pedido mínimo 49 Km2 de
archivo y 100 Km2 de
programación
Resolución
radiométrica
8 ó 11 bits/píxel
Satélite QuickBird
Fecha de lanzamiento
18 Octubre 2001
Propietario
DigitalGlobe
Peso
900 Kg
Altitud
450 Km
Sensor PAN
0.7 m
Sensor MS
4 bandas, 2.8 m
Ancho de barrido
16.5 Km
Tiempo de revisita
1 a 3.5 días
16 X 16 Km
Pedido mínimo 25 Km2 de
Tamaño de escena
archivo y 90 Km2 de
programación
Resolución radiométrica 11 bits/píxel
Satélite GeoEye-1
Fecha de lanzamiento
6 Septiembre 2008
Propietario
GeoEye
Peso
1959 Kg
Altitud
681 Km
Sensor PAN
0.41 m
Sensor MS
4 bandas, 1.65 m
Ancho de barrido
15.2 Km
Tiempo de revisita
Menos de 3 días
Tamaño de escena
Pedido mínimo 49 Km2 de archivo y
100 Km2 de programación
Resolución
radiométrica
11 bits/píxel
Preprocesado datos crudos
Correcciones geométricas
Corregistración: la geometría de una imagen
se convierte a planimétrica
●
Georeferenciación: es el proceso mediante
el cual se determinar de forma precisa la
posición geográfica de los píxeles de la
imagen.
●
Correcciones radiométricas
●
Corrección atmosférica
●
Restauración de líneas o píxeles perdidos
●
Corrección del bandeado de la imagen
Métodos de fusión de
imágenes
●
Objetivo
●
Esquema general
●
Ajuste radiométrico
●
Métodos basados en operaciones algebráicas
●
Métodos basados en sustitución de componentes
●
Métodos basados en TWD
Objetivos de la fusión
PAN 0.7m
MS 2.8 m
FUSIONADA 0.7m
Mejorar la identificación visual
● Mejorar procesos de segmentación
● Mejorar la clasificación de texturas en imágenes
●
Objetivos de la fusión
Objetivos de la fusión
Objetivos de la fusión
Esquema general
Proceso general de fusión
Ajuste radiométrico
Igualar el histograma de la PAN al de cada una de las bandas de la MS
• Ajuste de histograma basado en la distribución acumulada de frecuencias
• Ajuste basado en medias y desviación típica: trata de igualar estadísticas
como la media y la desviación típica
NDPANX, son los niveles digitales de la imagen PAN transformada
NDPAN, son los niveles digitales de la imagen PAN original
X, imagen de referencia
ND PANX =a⋅ND PAN b
donde
X
a=
,
 PAN
X
b= X −
⋅PAN
 PAN
σX : es la desviación estándar de la imagen X
σPAN : es la desviación estándar de la imagen PAN
X , PAN : son los valores medios de sus ND
Ajuste radiométrico
MATCH (transformación lineal cte.): igualando medias y desviaciones estándar
MATCH (transformación lineal por intervalos de ND): igualando frecuencias acumuladas
Transformación
Algoritmos de fusión
●
Algoritmos
basados en
operaciones
aritméticas
Métodos basados en operaciones
algebraicas
Operaciones algebraicas píxel a píxel entre bandas de la imagen MS y PAN
BROVEY
N⋅NDbi
ND i , FUS =
⋅ND PAN
ND b1ND b2 ...ND bN
N: es el número de bandas espectrales.
Ventajas: Fácilmente aplicable. Bajo coste computacional. Imágenes de alta calidad
espacial.
Desventaja: Imágenes de baja calidad espectral.
Algoritmos de fusión
●
Algoritmos basados en sustitución de
componentes
Métodos basados en sustitución de
componentes
La transformación RGB-IHS logra “desacoplar” la información espectral en las
componentes H y S, y gran parte de la información espacial en la componente I
Transformada IHS
[ ]
1
3
I
1
V1 =
6
V2
1
2
[]
1
3
1
6
−1
2
−1
H =tan 
1
3
−2 R
⋅G
6
 B
0
V2

V1
[]
[]
RGB
[ ]
1
3
R
1
G =
3
B
1
3
1
6
1
6
−2
6
1
2
−1 I
⋅V1
2
 V
2
0
V 1 =S⋅cos H 
V 2 =S⋅sin  H 
S = V 21V 22
RGB
RGB->->IHS
IHS
IHS
IHS->RGB
->RGB
I
H
S
Ventajas: Fácilmente aplicable. Imágenes de alta calidad espacial.
Desventaja: Limitado a tres bandas. Imágenes de baja calidad espectral.
[]
Métodos basados en sustitución de
componentes
Método de fusión rápido basado en esta transformación IHS lineal
Transformada eFIHS
●
Reducción del coste cómputo
[ ][
][ ] [
][ ] [ ]
'
1 −1/  2 1/  2 I  I ' −I  1 −1/  2 1/  2 I  R
R
V1
= 1 −1/  2 −1/  2 ⋅ V 1 = G
G ' = 1 −1/  2 −1/  2 ⋅
B
V2
V2
0
1
0
B' 1
 2
 2
●
Extensible a cuatro bandas
[ ][ ]
R'
R 
'
G
G 
' =
B
B 
'
NIR
NIR 
=I ' −I =PAN −I
I = RGBNIR/4
Métodos basados en sustitución de
componentes
Teniendo en cuenta la Respuesta Espectral de los sensores (SRF)
Transformada eFIHS-SRF
Probabilidad
Probabilidadde
deque
queun
unfotón
fotónemitido
emitidooo reflejado
reflejadoaaun
unfrecuencia
frecuenciaννsea
seadetectado
detectadopor
porelelsensor.
sensor.
La probabilidad de que un fotón a esa frecuencia ν sea detectado por el sensor PAN, en un
evento p:
 SRF del sensor PAN
P  p=  d 
∫
La probabilidad de que un fotón a frecuencia ν sea detectado por el sensor MS, en un evento mi :
P m i =∫ i d 
i  SRF de la banda i del sensor MS
Métodos basados en sustitución de
componentes
Transformada eFIHS-SRF
La probabilidad de que un
fotón detectado por el
sensor PAN (evento p)
sea también detectado
por el sensor MS (evento
mi) viene dada por el
cociente entre el área
intersección de el área
total:
P m ∩ p
P m i / p=
i
P  p
La probabilidad de que un
fotón detectado por el
sensor MS (evento mi)
sea también detectado
por el sensor PAN (evento
p):
El número total de fotones
detectados simultáneamente
por ambos sensores (np,i) es:
n p , i =P m i / p⋅n p
n p ,i =P  p /mi ⋅ni
P mi ∩ p
P  p /mi =
P mi 
Si combinamos ambas ecuaciones se puede predecir,
dado el np detectados por el sensor PAN, el número
de fotones n'i que debería detectar el sensor MS:
P m i / p
n=
⋅n
P  p /mi  p
'
i
Métodos basados en sustitución de
componentes
Basado en el FIHS: depende del grado de solape entre curvas del sensor PAN y MULTI
Método de fusión eFIHS-SRF
Se estima la imagen I' que observaría el sensor MS si trabajara a la resolución espacial del
sensor PAN
i=4
I = ∑ ni / 4
i=1
i=1
i=4
donde
=∑
i=1
[ ][
'
i=4
i=4
I =∑ n /4=∑
'
P m i / p
P  p /mi 
nB
n B ⋅n B / n 
'
nG ⋅n G / n 
nG
=
'
n R ⋅n R / n 
nR
'
n NIR n NIR ⋅n NIR / n 
]
'
i
i=1
P mi / p 1
⋅n p
P  p/m i  4
1
I ' =⋅ ⋅n p
4
Depende de la SRF de los sensores PAN y MS
i=4
n =∑ ni /4=I
i=1
i=4
1
=I −I = ⋅⋅n p −∑ ni 
4
i=1
'
Métodos basados en sustitución de
componentes
Transformada PCA
Análisis de CPs
●
Matriz de covarianza (PCA no
estandarizada) o matriz de correlación
(PCA estandarizada)
RGBNIR
●
Autovalores, Autovectores
●
Componentes principales
CP1
CP2
CP3
CP4
Métodos basados en sustitución de
componentes
Análisis de CPs
●
Con la matriz de varianza-covarianza ΣX
〚
 11  12
 21  22
X = .
.
.
.
 p1  p2
●
  1p
  2p
 .
 .
  pp
〛
n
X =
i
1
2
[ x ik −E  X i ]
∑
n k=1
n
X
i
X
j
=
1
[ x ik −E  X i ][ x jk −E  X j ]
∑
n k =1
Con la matriz de correlación ρX
〚
11 12
21 22
X= .
.
.
.
 p1  p2
 1p
 2p
 .
 .
  pp
〛
X
i
X
j
=
X
i
X
j
 X ⋅ X
i
j
Métodos basados en sustitución de
componentes
Cálculo de las CPs
Y 1 =a t1 X =a 11 X 1 a 21 X 2a p1 X p
t
Y 2=a 2 X =a 12 X 1a 22 X 2 a p2 X p
.
.
Y p=a tp X =a 1p X 1a 2p X 2 a pp X p
Autovalores:
Sabiendo:
Var Y 1 =1
Var Y 2 =2
⋮
Var Y p = p
ait : autovectores
Y1,Y2,...,Yp,: nuevas CPs
X1, . . . , Xp,: variables originales
〚
1 0 0 0
0 2 0 0
Y =
0 0 . 0
0 0 0 p
λi son los autovalores
〛
Autovectores:
∣ X − I ∣=0
T

−
I
⋅a
∣ X
∣ i =0
Transformada inversa
X =Y⋅A−1
CP1
Métodos basados en TWD
Las
Las funciones
funciones wavelet
wavelet permiten
permiten aa través
través de
de una
una
transformada
transformada integral,
integral, descomponer
descomponer datos
datos oo funciones
funciones en
en
componentes
componentesde
dedistinta
distintafrecuencia.
frecuencia.
En una imagen, componentes de baja frecuencia: zonas o regiones de
intensidades (ND) uniformes.
Componentes de alta frecuencia: zonas de cambio brusco de intensidad,
bordes→ Detalle Espacial
●
Algoritmo Decimado: TWD mallat
●
Algoritmo No Decimado: átrous
Métodos basados en TWD
Algoritmo Mallat
Nivel 0. Imagen original, “f” y “c”.
Resolución espacial: r
Nivel 1. Aproximación, “f/2” y “c/2”.
Las
Lasimágenes
imágenesaproximación
aproximaciónse
seobtienen
obtienenutilizando
utilizando
funciones
funcionesde
deescala
escalaφφ(x)
(x)asociadas
asociadasaauna
una
Wavelet
WaveletMadre
MadreΨΨ(x).
(x).
Las
Lastransformaciones
transformacioneswavelet
waveletpermiten
permitendeterminar
determinar
laladiferencia
diferenciaentre
entredos
dosniveles
nivelessucesivos
sucesivos
⇒⇒elelDETALLE
DETALLEESPACIAL
ESPACIALque
quese
sepierde
pierdealalpasar
pasar
de
deun
unnivel
nivelaaotro
otro
Resolución espacial: r/2
Nivel 2. Aproximación, “f/4” y “c/4”.
Resolución espacial: r/4
......
Nivel N. Aproximación, “f/2N” y “c/2N”.
Resolución espacial: r/2N
Algoritmo de Mallat
Análisis
Imagen original A2j (x,y)f,c
Síntesis
Aproximación
Detalle Vertical
A2  x , y  f / 2, c /2
j1
D 12  x , y  f / 2, c / 2
j1
2
Detalle horizontal D 2  x , y  f /2, c/ 2
j1
Detalle diagonal
D 32  x , y f / 2, c/ 2
j 1
Métodos basados en TWD
Implementación práctica del algoritmo de Mallat utilizando FPA, FPB
Algoritmo de mallat
Filtros h, H: asociados a la función de escala φ (x) , de paso bajo, baja frecuencia
Filtros g, G: asociado a la función wavelet ψ (x), de paso alto, alta frecuencia
Función wavelet: Daubechies “db4”
h:
{
{
g: −
1−  3 3−  3 3  3 1  3
,
,
.
4 2 4 2 4 2 4 2
}
1  3 3  3
3−  3 1−  3
,
,−
.
42 42
4 2 4 2
}
Métodos basados en TWD
Algoritmo de mallat: Fase de análisis
Métodos basados en TWD
Algoritmo de mallat:
Fase de síntesis
Métodos basados en TWD
Método de fusión basado en el algoritmo de mallat
Métodos basados en TWD
Algoritmo átrous
Nivel 0. Imagen original, “f” y “c”.
Resolución espacial: r
Las imágenes aproximación se obtienen
utilizando funciones de escala φ
El detalle espacial que se pierde al pasar de un
nivel al nivel consecutivo se obtiene
directamente restando las imágenes
aproximación de dichos niveles → Planos
wavelet o coeficientes wavelet
Nivel 1. Aproximación, “f” y “c”.
Resolución espacial: r/2
Nivel 2. Aproximación, “f” y “c”.
Resolución espacial: r/4
......
Nivel N. Aproximación, “f/” y “c”.
Resolución espacial: r/2N
Métodos basados en TWD
Implementación práctica del algoritmo atrous
Algoritmo atrous
Filtrado
Función de escala
Spline B3
Diferencia
n
A j  x , y = A jn  x , y∑ C jk  x , y 
k=1
C j1  x , y =A j  x , y −A j1  x , y 
Obtención de planos wavelet o coeficientes wavelet
Métodos basados en TWD
Método de fusión átrous AW (additive wavelet)
Métodos basados en TWD
Método Wavelet Aditivo sobre la componente
Intensidad (AWI)
Métodos basados en TWD
Método Wavelet Aditivo sobre la Primera Componente
Principal (AWPC)
Métodos basados en filtros
direccionales
Medidas de calidad de
las imágenes
fusionadas
Métodos cualitativos (medidas subjetivas)
● Métodos cuantitativos
● Coeficiente de correlación
● Índice Zhou
● Universal image quality index
● ERGAS
●
Método cuantitativos
Método cuantitativos
Coeficiente de correlación
 XY
r=
 X⋅ Y
De forma práctica:
∑  FUS i−FUS m ⋅ MS i−MS m 
r=
i


2
FUS
−FUS

∑
i
m ⋅
i
Calidad Espectral
2

MS
−MS

∑ i
m
i
FUSi : valor de intensidad de la banda i de la imagen FUS
MSi : valor de intensidad de la banda i de la imagen MS
FUSm e MSm : valores de intensidad medios de las imágenes FUS y MS
Método cuantitativos
Índice Zhou
Filtro laplaciano para extraer la componente paso alto de la PAN y la FUS
〚
−1 −1 −1
−1 8 −1
−1 −1 −1
〛
Mide la calidad espacial
∑  FUS i−FUS m ⋅ PAN i−PAN m 
r=
i
FUS i −FUS m 2⋅ ∑  PAN i −PAN m 2
∑


i
Calidad Espacial
i
donde FUSi es el valor de intensidad de la banda i de la imagen fusionada filtrada, PANi es el valor de intensidad
de la banda i de la imagen PAN filtrada y FUSm y PANm son los valores de intensidad medios de las imágenes
FUS y PAN filtradas respectivamente
Método cuantitativos
Universal image quality index
Q=
1
x =
N
N
∑ xi ,
i=1
N
1
y =
N
 2x  2y [ x 2  y2 ]
N
∑ yi
i=1
1
2
 =
 xi − x  ,
∑
N −1 i=1
2
x
4  xy x y
N
1
2
 =
 y i − y 
∑
N −1 i=1
2
y
N
 xy =
 xy
2⋅ x  y
2⋅x y
Q=
⋅ 2
⋅ 2
2
 x  y  x   y  x  2y
1
∑  x − x  y i− y 
N −1 i=1 i
x : valores de intensidad de la banda i de la imagen FUS
y : valores de intensidad de la banda i de la imagen MS
●
Pérdida de correlación
●
Distorsión lumínica
●
Distorsión del contraste
Método cuantitativos
ERGAS espectral
Mide la calidad espectral de la imagen FUS
ERGAS Espectrak =100⋅
h
l

1
N
N
∑
i=1
RMSE  B i 2
Calidad Espectral
2
 M MS i 
Donde Mi representa el valor medio de la banda Bi , h la resolución espacial del sensor
PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y RMSE
es:
1
RMSE Espectral B i =
n

n
∑  MS i k −FUS i k 2
k=1
Método cuantitativos
ERGAS espacial
Mide la calidad espacial de la imagen FUS
h
ERGAS Espacial =100⋅
l

1
N
N
∑
i=1
RMSE B i 2
Calidad Espacial
2
 M PAN i 
Donde MPAN i representa el valor medio de la imagen PAN, h la resolución espacial del
sensor PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y
RMSE es:
RMSE Espacial  B i =
1
n

n
2
PAN
k
−FUS
k

∑
i
i
k =1
Inventario de cubiertas
vegetales
Índice de vegetación
Normalized Difference Vegetation Index (NDVI)
Permite
Permiteidentificar
identificarmasas
masasvegetales
vegetales
NDVI =
Infrarrojocercano−Rojo
InfrarrojocercanoRojo
Inventario de cubiertas vegetales
A partir del NDVI: Obtenemos imágenes de vegetación
Inventario de cubiertas vegetales
Conclusiones
●
●
●
●
●
Las técnicas de fusión permiten mejorar el detalle espacial
de las imágenes multiespectrales.
Se pueden fusionar imágenes procedentes de diferentes
sensores a bordo de un mismo o diferente satélite
Existen infinidad de técnicas y cada una mejora aspectos
distintos de una imagen (detalle espacial ó espectral).
Existen una serie de índices de calidad que permiten medir
la calidad cuantitativa de una imagen aunque no parece
que haya consenso entre los investigadores.
Aplicación principal de estas técnicas es que mejora
considerablemente la detección e identificación visual de
diferentes cubiertas.
Bibliografía
●
●
●
●
●
●
●
●
●
Choi, M.; A New Intensity-Hue-Saturation Fusion Approach to Image Fusion with a Tradeoff Parameter. IEEE
Transactions on Geoscience and Remote Sensing: 44, 1672-1682 (2006).
Mitchell H.B.,. Image Fusion: Theories, Techniques and Applications. Berlin: Springer-Verlag, (2010)
Garzelli, A., F. Nencini y L. Alparone; Pan-Sharpening of Multispectral Images: A Critical Review and Comparison,
IEEE International Geoscience and Remote Sensing Symposium, 81-84 (2004).
Gónzalez-Audicana, M., J. L. Saleta, R. García Catalán y R. García; Fusion of Multiespectral and Panchromatic
Images Using Improved IHS and PCA Mergers based on Wavelet Decomposition, IEEE Transactions on Geosciences
and Remote Sensing: 42 (6), 1291-1297 (2004).
Stathaki T., Image Fusion. Algorithms and Applications. London: Elsevier Ltd, (2008)
González-Audicana, M., X. Otazu, O. Fors y A. Seco; Comparison Between the Mallat’s and the àtrous Discrete
Wavelet Transform Based Algorithms for the Fusion of Multispectral and Panchromatic Images, International Journal of
Remote Sensing; 26: 597-616 (2005).
Gonzalo, C. y M. Lillo-Saavedra; Fusión de Imágenes Quickbird Mediante una Representación Conjunta
Multirresolución-Multidirección. IEEE Latin America Transaction: 5(1) 32-35 (2007).
Lillo-Saavedra M. y C. Gonzalo; Spectral or Spatial Quality for Fused Satellite Imagery? A Trade-Off Solution Using
Wavelet à trous Algorithm. International Journal of Remote Sensing: 27(7), 1453-1464 (2006).
Hong, G. and Zhang, Y., Comparison and improvement of wavelet-based image fusion, International Journal of
Remote Sensing, 29 (3), 673-691, (2008)
Máster Universitario en Tecnologías de Telecomunicación
Fusión de imágenes de
satélites de muy alta
resolución
Estado del arte
Anabella Medina Machín