Rafael Molina Soriano Ciencias - Departamento de Ciencias de la

Rafael Molina Soriano
Ciencias de la Computación
e Inteligencia Artificial
Universidad de Granada
Areas de Investigación
Departamento de
Ciencias de la Computación
e Inteligencia Artificial
http://decsai.ugr.es/diata
El objetivo de esta presentación es describir los
temas de investigación en los que me encuentro trabajando. Las publicaciones relacionadas
con estos temas pueden encontrarse a partir
de mi página http://decsai.ugr.es/~rms.
Rafael Molina
1
Areas de Investigación
• Restauración de imágenes astronómicas.
• Estimación de parámetros en restauración
de imágenes.
• Eliminación de artificios en imágenes comprimidas.
• Estimación simultánea de emborronamiento
e imagen.
• Restauración multicanal de imágenes.
• Extracción de imágenes y secuencias de
alta resolución a partir de secuencias de
video comprimidas de baja resolución.
• Reconstrucción de imágenes SPECT.
Rafael Molina
2
Areas de Investigación
Rafael Molina
3
Areas de Investigación
Métodos Bayesianos
f
Imagen original.
g
imagen observada.
Necesitamos
P (f )
donde incorporamos información sobre la estructura
esperada en una imagen.
P (g |f )
La inferencia sobre f deberı́a estar basada en
P (f |g) ∝ P (f )P (g|f )
Estimación MAP
f̂
Rafael Molina
maximiza
P (f | g )
4
Areas de Investigación
Restauración de imágenes astronómicas
Describiendo P (g|f )
1. Emborronamiento
h1(r) ∝ (1 + (r/R)2)−β
2. Ruido
g | f ∼ N (H f , diag(a + b(H f )))
con
a ≈ 200
b = 0.2 o 0.7
Modelo a priori P (f )
1 T
P (f ) ∝ exp{−
f (I − φN )f }
2κs
φ = 0.25
Rafael Molina
5
Areas de Investigación
(
Nij =
1 si distancia(i,j)=1
0 en otro caso
E(fi|fj , j 6= i) =
φ
X
fj
j vecino i
var(fi|fj , j 6= i) = κs
yi = log(fi + p)
con
p = 100
1 T
−2 ln P (y) =
y (I − φN )y
2κs
Rafael Molina
6
Areas de Investigación
Imagen observada y restaurada de NGC 450/UGC 807.
Rafael Molina
7
Areas de Investigación
Restauración de imágenes del HST
Modelo de imagen CAR, Modelo de ruido Poisson.
fji+1 = µij [φCf i]j + (1 − µij )fji[H t(g/Hf i)]j
con µij = fji/(fji + α−1), |φ| < 0.25, donde i
denota iteración y j componente del vector.
Rafael Molina
8
Areas de Investigación
Imagen original
Simulación emborronamiento HST
Reconstrucción usando Lucy
Reconstrucción método propuesto.
Uso de proceso de lineas
Rafael Molina
9
Areas de Investigación
l(i : j) =
1 si i y j no pertenecen a la misma región
0 en caso contrario
1 si i y j no pertenecen a la misma región
0 en caso contrario
Rafael Molina
10
m(i : j) =
Areas de Investigación
− log P (f , l, m) = const
0.25 X
2
+
{(
f
−
f
)
(1 − l(i : i + 1)) + αl(i : i + 1)}
i
i:+1
2σs2 i
0.25 X
+
{(fi − fi:+2 )2 (1 − m(i : i + 2)) + αm(i : i + 2)}
2
2σs i
Buscando el MAP
p(f , l, m|g) ∝ exp[−U (f , l, m|g)]
U (f , l, m|g) =
1
||g − H f ||2
2
2σn
0.25 X
2
{(
f
−
f
)
(1 − l(i : i + 1)) + αl(i : i + 1)}
+
i
i:+1
2σs2 i
0.25 X
+
{(fi − fi:+2 )2 (1 − m(i : i + 2)) + αm(i : i + 2)}
2
2σs i
Objetivo
p(f̂ , l̂, m̂|g) = max p(f , l, m|g)
f ,l,m
Rafael Molina
11
Areas de Investigación
• Simulated Annealing (SA).
• Iterate Conditional Mode (ICM)
observada
Rafael Molina
restauración
proceso de lı́nea.
12
Areas de Investigación
Estimación de parámetros en
restauración de imágenes
Se forma la distribución conjunta P (θ, X, Y ), con θ el
vector de hiperparametros desconocidos, X “la imagen
original” e Y “la imagen observada”.
Si utilizamos el modelo basado en la evidencia
1. P (θ, Y, X) es integrado sobre X para obtener P (θ, Y )
2. Para estimar θ
θ̂ = arg max P (θ, Y ) = arg max P (θ|Y )
θ
θ
3. La estimación de X
X̂θ̂ = arg max P (Y |X)P (X|θ̂)
X
Si utilizamos el modelo empı́rico
1. P (θ, Y, X) es integrado sobre θ para obtener P (X, Y )
2. Para estimar X
X̂ = arg max P (X, Y )
X
Rafael Molina
13
Areas de Investigación
Eliminación de artificios en imágenes comprimidas
Imagen de “Lena” original.
Imagen f .
Rafael Molina
“Lena” con bloques por compresión
JPEG a .24 bpp.
Imagen g.
14
Areas de Investigación
Modelo a priori. p(f | α)
p
p(f | α) ∝ α− 2 exp {−P (f | α)} =
p
α− 2 exp −α k Wc (uc − vc ) k2 + k Wr (ur − vr ) k2 ,
donde Wc y Wr son matrices diagonales (512 ∗ 63) ×
(512∗63) donde los componentes de la diagonal principal
ponderarán cada uno de los pixels de las fronteras de los
bloques.
Fidelidad a los datos recibidos. p(g | f , β)
p(g | f , β) ∝ β −r exp {−N (g | f , β)} =
1 −r
β exp − β k uc − xc k2 + k vc − yc k2 +
2
2
2
k ur − xr k + k vr − yr k
.
Si α y β son conocidos, entonces
f(α,β) = arg min {P (f | α) + N (g | f , β)} .
f
Rafael Molina
15
Areas de Investigación
Algoritmo propuesto
Dados α y β, f(α,β) se computa como
uc(i) =
vc(i) =
ur (i) =
vr (i) =
1
β
1
β
[1 +
]
x
(i)
+
[1
−
] yc (i)
c
2
β + 4αωc2 (i)
2
β + 4αωc2 (i)
1
β
1
β
[1 −
]
x
(i)
+
[1
+
] yc (i)
c
2
β + 4αωc2 (i)
2
β + 4αωc2 (i)
β
1
β
1
[1 +
]
x
(i)
+
[1
−
] yr (i)
r
2
β + 4αωr2 (i)
2
β + 4αωr2 (i)
1
β
1
β
[1 −
]
x
(i)
+
[1
+
] yr (i),
r
2
2
2
β + 4αωr (i)
2
β + 4αωr (i)
Ejemplo de reconstrucción
“Lena” con bloques
Rafael Molina
Imagen reconstruida.
16
Areas de Investigación
Restauración de imágenes basada en wavelet
Descomposición 2-D en cuatro canales.
t
t
t
I = Wllt Wll + Whl
Whl + Wlh
Wlh + Whh
Whh,
1
1
p(f |α) ∝
exp{−
Zprior (α)
2
X
αuv k Wuv Cf k2 },
(1)
(2)
u,v∈{l,h}
donde α denota el vector (αll , αhl , αlh , αhh ) y
Zprior (α) = |P(α)|−1/2 ,
donde P(α) =
Rafael Molina
(3)
t
t
u,v∈{l,h} αu,v C Wuv Wuv C.
P
17
Areas de Investigación
Original
Observada
Máxima verosimilitud
Cuatro canales
Rafael Molina
18
Areas de Investigación
Restauración y estimación de emborronamiento
en restauración de imágenes
h = h̄ + ∆h,
donde h̄ ∈ RN es la componente conocida ∆h ∈ RN es la
componente aleatoria que tiene media cero y covarianza
R∆h = β1 IN ×N .
g = H f + ∆g
H = H̄ + ∆H,
donde g, f , ∆g ∈ RN representan la imagen observada,
la original y el ruido de observación con media cero y
covarianza R∆g = 1γ IN ×N .
Observada
Rafael Molina
Restaurada
19
Areas de Investigación
Restauración de imágenes multibanda
El modelo a priori que usamos para la formulación multibanda
( L
X 1 X
p(f, l) ∝ exp −
(1 − 4φ)fic 2
2
c
2σw i
c=1
c
c
c
+φ(fic − fi:+1
)2 (1 − l[i,i:+1]
) + βl[i,i:+1]
+φ(fic
−
c
fi:+2
)2 (1
−
c
l[i,i:+2]
)
+
c
βl[i,i:+2]
i



i
L X
X
hc
c0
c
c0
l[i,i:+1] l[i,i:+1]
+ l[i,i:+2]
l[i,i:+2]
,
+

4


c,c0 =1 i
c6=c0
paso de información entre canales
Rafael Molina
20
Areas de Investigación
Original
Observada
Restauración sin lı́neas
Con lı́neas.
Rafael Molina
21
Areas de Investigación
Extracción de imágenes de alta resolución
a partir de secuencias de video
comprimidas de baja resolución
fk−1
fk
fk+1
gk−1
gk
gk+1
Rafael Molina
22
Areas de Investigación
Reconstrucción de imágenes SPECT
Imagen original (X)
Sinograma
Sinograma observado (Y)
P (Y |X) =
Rafael Molina
QM
i=1 exp [−(AX)i ][(AX)i ]
Yi /Y
i!
23
Areas de Investigación
Modelos a priori a utilizar
• Modelos Condicionales Autorregresivos (CAR).
• Campos aleatorios de Gauss Markov Compuestos
(CGMRF).
• Campos aleatorios de Gauss Markov Compuestos
Generalizados (GGMRF).
GGMRF
1
1 X
P (X|σ, p) =
exp{− p
bi−j |xi − xj |p }
p
Z(pσ , p)
pσ
i,j∈N
Rafael Molina
24
Areas de Investigación
Imagen original
Reconstrucción CGMRF
Proceso de lı́nea
Reconstrucción GGMRF
Rafael Molina
25
Areas de Investigación
sinograma real.
Rafael Molina
26
Areas de Investigación
reconstrucción por FBP.
Rafael Molina
27
Areas de Investigación
Reconstrucciones FBP y GGMRF del corte 17
Reconstrucciones FBP y GGMRF del corte 26
Rafael Molina
28