Análisis de Algoritmos

Algorítmica: Análisis de Algoritmos
Conrado Martínez
U. Politècnica Catalunya
Q1-2011-2012
Eficiencia de un algoritmo = consumo de recursos de
cómputo: tiempo de ejecución y espacio de memoria
Análisis de algoritmos ! Propiedades sobre la eficiencia
de algoritmos
Comparar soluciones algorítmicas alternativas
Predecir los recursos que usará un algoritmo o ED
Mejorar los algoritmos o EDs existentes y guiar el diseño
de nuevos algoritmos
En general, dado un algoritmo A cuyo conjunto de entradas es
A su eficiencia o coste (en tiempo, en espacio, en número de
operaciones de E/S, etc.) es una función T de A en N (o Q o R,
según el caso):
T :A!N
! T ()
Ahora bien, caracterizar la función T puede ser muy
complicado y además proporciona información inmanejable,
difícilmente utilizable en la práctica.
Sea An el conjunto de entradas de tamaño n y Tn
función T restringida a An .
Coste en caso mejor:
Tmejor (n) = mnfTn () j 2 An g:
Coste en caso peor:
Tpeor (n) = maxfTn () j 2 An g:
Coste promedio:
Tavg (n) =
=
X
2An
X
k0
Pr() Tn()
k Pr(Tn = k):
: An ! N la
1
Para todo n 0 y para cualquier 2 An
Tmejor (n) Tn () Tpeor (n):
2
Para todo n 0
Tmejor (n) Tavg (n) Tpeor (n):
Estudiaremos generalmente sólo el coste en caso peor:
1
Proporciona garantías sobre la eficiencia del algoritmo, el
coste nunca excederá el coste en caso peor
2
Es más fácil de calcular que el coste promedio
Una característica esencial del coste (en caso peor, en caso
mejor, promedio) es su tasa de crecimiento
Ejemplo
1
Funciones lineales: f (n) = a n + b ) f (2n) 2 f (n)
2
Funciones cuadráticas:
q(n) = a n2 + b n + c ) q(2n) 4 q(n)
Se dice que las funciones lineales y las cuadráticas tienen
tasas de crecimiento distintas. También se dice que son de
órdenes de magnitud distintos.
log2 n
n
1
2
3
4
5
6
2
4
8
16
32
64
n
3
2n
2
4
8
8
16
64
24
64
512
64 256
4096
160 1024 32768
384 4096 262144
4
16
256
262144
log2 n
n
2
n
6;87 1010
4;72 1021
`
`
N
L
C
Q
+1
2N
2(L + N )
4C
8Q
E
E
2
Los factores constantes y los términos de orden inferior son
irrelevantes desde el punto de vista de la tasa de crecimiento:
p
p.e. 30n2 + n tiene la misma tasa de creciemiento que
2n2 + 10n ) notación asintótica
Definición
Dada una función f : R+ ! R+ la clase O(f ) (O-grande de f )
es
+ + j 9n0 9c 8nn0 :g(n)cf (n)g
O (f )=fg :R !R
En palabras, una función g está en O(f ) si existe una constante
c tal que g < c f para toda n a partir de un cierto punto (n0 ).
Aunque O(f ) es un conjunto de funciones por tradición se
escribe a veces g = O(f ) en vez de g 2 O(f ). Sin embargo,
O(f ) = g no tiene sentido.
Propiedades básicas de la notación O:
1
2
3
4
Si lmn!1 g (n)=f (n) < +1 entonces g
= O (f )
Es reflexiva: para toda función f : R+ ! R+ , f = O(f )
Es transitiva: si f = O(g ) y g = O(h) entonces f = O(h)
Para toda constante c > 0, O(f ) = O(c f )
Los factores constantes no son relevantes en la notación
asintótica y los omitiremos sistemáticamente: p.e. hablaremos
de O(n) y no de O(4 n); no expresaremos la base de
logaritmos (O(log n), ya que podemos pasar de una base a
otra multiplicando por el factor apropiado:
bx
logc x = log
log c
b
Otras notaciones asintóticas son (omega) y (zita). La
primera define un conjunto de funciones acotada inferiormente
por una dada:
(f )= g:R+
f
!
R+ j 9n0 9c>0 8nn0 :g (n)cf (n)g
La notación es reflexiva y transitiva; si lmn!1 g (n)=f (n) > 0
entonces g = (f ). Por otra parte, si f = O(g ) entonces
g = (f ) y viceversa.
Se dice que O(f ) es la clase de las funciones que crecen no
más rápido que f . Análogamente, (f ) es la clase de las
funciones que crecen no más despacio que f .
Finalmente,
(f ) = (f ) \ O(f )
es la clase de la funciones con la misma tasa de crecimiento
que f .
La notación es reflexiva y transitiva, como las otras. Es
además simétrica: f = (g ) si y sólo si g = (f ). Si
lmn!1 g(n)=f (n) = c donde 0 < c < 1 entonces g = (f ).
Propiedades adicionales de las notaciones asintóticas (las
inclusiones son estrictas):
1
2
3
Para cualesquiera constantes < , si f es una función
creciente entonces O(f ) O(f ).
Para cualesquiera constantes a y b > 0, si f es creciente,
O((log f )a) O(f b).
Para cualquier constante c > 0, si f es creciente,
O(f ) O(cf ).
Los operadores convencionales (sumas, restas, divisiones,
etc.) sobre clases de funciones definidas mediante una
notación asintótica se extienden de la siguiente manera:
A B = fh j 9f 2 A ^ 9g 2 B : h = f gg;
donde A y B son conjuntos de funciones. Expresiones de la
forma f A donde f es una función se entenderá como
f f g A.
Este convenio nos permite escribir de manera cómoda
expresiones como n + O(log n), nO(1) , ó (1) + O(1=n).
Regla de las sumas:
(f ) + (g) = (f + g) = (maxff; gg):
Regla de los productos:
(f ) (g) = (f g):
Reglas similares se cumplen para las notaciones O y .
Análisis de algoritmos iterativos
1
2
3
El coste de una operación elemental es (1).
Si el coste de un fragmento S1 es f y el de S2 es g
entonces el coste de S1 ; S2 es f + g .
Si el coste de S1 es f , el de S2 es g y el coste de evaluar B
es h entonces el coste en caso peor de
if B then S1
elseS2
es maxff
+ h; g + hg.
4
Si el coste de S durante la i-ésima iteración es fi , el coste
de evaluar B es hi y el número de iteraciones es g
entonces el coste T de
while B do
S
es
T (n) =
Si f
i=X
g(n)
fi (n) + hi (n):
i=1
= maxffi + hig entonces T = O(f g).
Análisis de algoritmos recursivos
El coste (en caso peor, medio, . . . ) de un algoritmo recursivo
T (n) satisface, dada la naturaleza del algoritmo, una ecuación
recurrente: esto es, T (n) dependerá del valor de T para
tamaños menores. Frecuentemente, la recurrencia adopta una
de las dos siguientes formas:
T (n) = a T (n c) + g(n);
T (n) = a T (n=b) + g(n):
La primera corresponde a algoritmos que tiene una parte no
recursiva con coste g (n) y hacen a llamadas recursivas con
subproblemas de tamaño n c, donde c es una constante.
La segunda corresponde a algoritmos que tienen una parte no
recursiva con coste g (n) y hacen a llamadas recursivas con
subproblemas de tamaño (aproximadamente) n=b, donde b > 1.
Teorema
Sea T (n) el coste (en caso peor, en caso medio, ...) de un
algoritmo recursivo que satisface la recurrencia
T (n) =
(
f (n)
a T (n c) + g(n)
si 0 n < n0
si n n0 ,
donde n0 es una constante, c 1, f (n) es una función
arbitraria y g (n) = (nk ) para una cierta constante k 0.
Entonces
8 k
>
<(n ) si a < 1
T (n) = >(nk+1 ) si a = 1
:(an=c ) si a > 1:
Teorema
Sea T (n) el coste (en caso peor, en caso medio, . . . ) de un
algoritmo recursivo que satisface la recurrencia
T (n) =
(
f (n)
a T (n=b) + g(n)
si 0 n < n0
si n n0 ,
donde n0 es una constante, b > 1, f (n) es una función
arbitraria y g (n) = (nk ) para una cierta constante k 0.
Sea = logb a. Entonces
8 k
>
<(n )
T (n) = >(nk log n)
:(n )
si < k
si = k
si > k: