Clase 2 - Facultad de Ciencias Exactas

Cálculo de V(n) por simulación
Generación de trayectorias de emisión de símbolos por simulación
o muestreo computacional
Para obtener las
componentes de V(n):
s1
s2
S
.
.
si
.
.
.
tn
n
P(S(n)= si ) 
# llegadas a si en n
#total de trayectorias
incorporar trayectorias a la
simulación hasta que no se
produzcan cambios
significativos en los valores
calculados  convergencia
t
cada una de estas trayectorias constituye una
realización (posible mensaje emitido por la fuente)
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Cálculo de V(n) por simulación
Para el ejemplo anterior:
0
1
2
condiciones iniciales
(según el problema):
2/3
V0= 0
0
1
1/3
2
0
1
2
0
½ ¼ ¼
Macum=1 ¾ ¾ ½
2
1
1
1
2/3
V0acum= 2/3
1
PrimerSimb ()
{ r=rand()
for(i=0 to 2)
if (r<V0acum[i])
return i; }
converge (A[ ], B[] )
Sig-dado-Ant (col)
{r=rand()
for(i=0 to 2)
if ( r < Macum[i, col] )
return i }
{ for (i=0 to 2)
{ if (abs(A[i]-B[i]) > E )
return FALSE }
return TRUE }
Calcular Vector (int n)
{
V=(0,0,0) //cant. walkers en cada si
Vn=(0,0,0) //vector prob. actual
Vn_ant=(-1,0,0) //vector prob. ant.
#tray=0 //cant. trayectorias
pasos //cant. transiciones o pasos
while not converge (Vn, Vn_ant)
{ s=Primersimb ();
#tray++
for (pasos= 0 to n)
s=Sig-dado-Ant (s)
V[s]++
Vn_ant  Vn
Vn  V/#tray
} return Vn
}
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
1
Cálculo de V* por simulación
Cuando un proceso se encuentra en estado estacionario es más
sencillo efectuar los cálculos por muestreo computacional
S
Para obtener las
componentes de V*:
s1
s2
.
.
si
.
.
.
t
es suficiente simular una única trayectoria
(o realización del proceso)
P(S*= si ) 
# emisiones de si
#total de transiciones
agregar más transiciones o pasos a la
simulación hasta que no hayan
cambios significativos en los valores
calculados  convergencia
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Estado estacionario por muestreo comput.
Para el ejemplo anterior:
0
1
2
0
1
2
0
0
Macum= 1
2
1
2
½ ¼ ¼
¾ ¾ ½
1 1 1
condiciones iniciales
(según el problema):
2/3
V0= 0
1/3
2/3
V0acum= 2/3
1
Calcular Vector_estac
{
V= (0,0,0) //cant.walkers en cada si
V*= (0,0,0) //vector actual
V_ant=(-1,0,0) //vector anterior
pasos= 0
s=PrimerSim ();
PrimerSimb ()
{ r=rand()
for(i=0 to 2)
if (r<V0acum[i])
return i; }
converge (A[ ], B[] )
Sig-dado-Ant (col)
{r=rand()
for(i=0 to 2)
if ( r < Macum[i,col] )
return i; }
{ for (i=0 to 2)
{ if (abs(A[i]-B[i]) > E )
return FALSE }
return TRUE }
}
while no converge (V*, V_ant)(1)
{ s=Sig-dado-Ant (s)
pasos++;
V[s]++
V_ant  V*
V*  V/#pasos
} return V* //estado estac.
(1) Se puede agregar condición de cantidad mínima de
iteraciones para evitar convergencia temprana
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
2
Transición en n pasos
En una fuente markoviana homogénea, cuál es la probabilidad de
que, si la fuente emitió el símbolo i en un cierto instante, emita el
símbolo j luego de n transiciones?
Suponiendo que n=n1+n2 :
p j /i
( n1 n 2 )
  pk / i
( n1)
. pj/k
( n 2)
k
M(n1+n2) = M(n2) . M(n1)
1º ecuación de Chapman-Kolmogorov
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Transición en n pasos (cont.)
Ejemplo:
n= 2:
Matriz de transición
en 2 pasos
M
M
.
n= 3:
M2
.
Matriz de transición en
3 pasos
M
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
3
Primera transición en n pasos
Cuál es la probabilidad de que se dé la transición de un símbolo i
a un símbolo j por primera vez en n pasos?  fj/i(n)
n= 1: pj/i(1) = fj/i(1)
n= 2: pj/i(2) = fj/i(1) . pj/j(1) + fj/i(2)
 fj/i(2) = pj/i(2) - fj/i(1).pj/j(1)
n= 3: pj/i(3) = fj/i(1) . pj/j(2) + fj/i(2) . pj/j(1) + fj/i(3)
 fj/i(3) = pj/i(3) - fj/i(1).pj/j(2) - fj/i(2).pj/j(1)
En general:
f j / i ( n)  p j / i ( n) 
n 1
f
m 1
j/i
(m) . p j / j (n  m)
2º ecuación de Chapman-Kolmogorov
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Transición eventual
Cuál es la probabilidad de que eventualmente se produzca la
transición del símbolo i al símbolo j durante la evolución del
proceso?

f
n 1
j/i
( n)  F j / i
• Si Fj/i = 1  la transición de i a j se produce con seguridad
• Si Fj/i < 1  existe la posibilidad de que no se produzca la transición
de i a j
ejemplo:
F3/1 ?
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
4
Media de primera transición
Si Fj/i = 1, las {fj/i(n)} conforman una distribución de probabilidad
de la variable “número de pasos para ir de si a sj por 1° vez” se
puede calcular su media  “tiempo medio de espera”

 j / i   n . f j / i ( n)
n 1
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Primera recurrencia en n pasos
Si i=j, fi/i(n) = probabilidad de primera recurrencia del símbolo i
f i / i ( n)  p i / i ( n) 
n 1
f
m 1
i/i
(m) . pi / i (n  m)
Si Fi/i =1 (probabilidad de retorno eventual al símbolo i

 i / i   n . f i / i ( n)
Ejemplo:
n 1
Tiempo medio de
primera recurrencia
n= 1: f0/0(1) = p0/0(1) = 1/4
n= 2: f0/0(2) = 3/4 . 1 = 3/4
n= 3: f0/0(3) = 0
μ0/0= 1. ¼+2. ¾
= 7/4 = 1.75
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
5
μi/i por muestreo computacional
Procesar la cadena markoviana generada por muestreo, calculando el
número de pasos entre los retornos al símbolo i :
• sumar la cantidad de pasos entre ocurrencias sucesivas del símbolo i
• dividir por la cantidad de retornos a i para obtener μi/i
• verificar la convergencia de μi/i
Ejemplo:
µ0/0
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Indicadores Estadísticos
• Media:
 S (t )   s   si P(S (t )  si )
i
• Desvío Standard:
 (t ) 
 ( s  s)
i
2
P(S (t )  si )
i
• Autocorrelación:
R(t1, t 2)   S (t1), S (t 2)    si s j P(S (t1 )  si , S (t2 )  s j )
i
j
• Autocovarianza:
C(t1, t 2)   S (t1), S (t 2)    S (t1)  S (t 2) 
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
6
Indicadores cruzados
• Correlación cruzada:
RXY (t1, t 2)   X (t1), Y (t 2) 
•
X(t)
Y(t)
Covarianza cruzada:
C XY (t1, t 2)   X (t1), Y (t 2)    X (t1)  Y (t 2) 
• si CXY(t1,t2) = 0
 t1  t 2 , se dice que los procesos están decorrelacionados
• si RXY(t1,t2) = 0,
 t1  t 2 , se dice que los procesos son ortogonales
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Correlación cruzada- Aplicaciones
Permiten analizar el grado de relación entre 2 fuentes de información
(señales, imágenes, ...)  Valores altos indican mayor acople
Algunas aplicaciones:
o Reconocimiento de patrones
o Registración de imágenes (seguimiento satelital, fusión de imágenes médicas,…)
o Identificación biométrica (por huellas dactilares, por el iris, señal de voz, ...)
o Análisis de procesos económicos, sociales, ambientales, etc.
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
7
Cálculo analítico (resumen)
En tiempos particulares
En estado estacionario
Probabilidad de estado para t≥test
Probabilidad de estado
P(X(t) = x1)
P(X(t) = x2)
P(X(t)= x1)
P(X(t)= x2)
P(X(t) = xi) = V(t)
P(X(t)= xi)
P(X(t) = xn)
P(X(t)= xn)
…
…
…
…
En 1 paso de t a t+1
= V*
Resolver el sistema de ecuaciones
(M – I) V* = 0
 V*[i] = 1
V(t+1) = M .V(t)
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
Cálculo analítico (resumen)
pj/i(n) probabilidad
de transición en n pasos
1º ecuación de Chapman-Kolmogorov
p j /i
( nm)
  pk / i
(n)
. pj/k
( m)
M(n+m)= M(m).M(n)
k
fj/i(n) probabilidad de primera
transición en n pasos
fi/i(n) probabilidad de primera
recurrencia en n pasos
j/i
2º ecuación de Chapman-Kolmogorov
n 1
f j / i ( n)  p j / i ( n) 
f
f i / i (n)  pi / i (n) 
f
m 1
(m) . p j / j (n  m)
i/i
(m) . pi / i (n  m)
n 1
m 1

media de primera
transición
 j / i   n . f j / i ( n)
i/i
i / i 
media de primera
recurrencia
j/i
n 1

 n. f
n 1
i/i
( n)
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
8
Muestreo computacional (resumen)
En tiempos particulares
En estado estacionario
Probabilidad de estado en tn
Probabilidad de estado para t≥test
X
X
t
Varias trayectorias
V(t1)=
una trayectoria
tn
t
P(S(t n )  s1 )  # llegadas en t n a s1 # trayectorias
P(S(t)  s1 )  # emisiones de s1 # pasos
P(S(t n )  s 2 )  # llegadas en t n a s2 # trayectorias
P(S(t)  s 2 )  # emisiones de s2 # pasos
…
P(S(t n )  s n )  # llegadas en t n a sn # trayectorias
Se agregan trayectorias hasta convergencia del vector
V*=
…
P(S(t)  s n )  # emisiones de sn # pasos
Se agregan más pasos hasta convergencia del vector
Teoría de la Información 2015 - Facultad de Ciencias Exactas- UNCPBA
9