Variantes del algoritmo K-NN

Variantes del
algoritmo K-NN
DRA. LETICIA FLORES PULIDO
2
Variantes del algoritmo K-NN
›  Dentro
de los métodos de clasificación
basados en criterios de vecindad,
podemos encontrar varios clasificadores
diferentes.
›  Los
algoritmos basados en vecindad
basan su efectividad en la utilización de
una métrica adecuada para el problema
que se esté abordando
3
Variantes del algoritmo K-NN
›  En
sus primeras versiones, se consideraba
que para calcular la vecindad, cada
elemento debía ser tomado como igual
›  Las versiones subsecuentes, propusieron
que se agregara una especie de peso a
ciertos elementos para así elevar la
efectividad de la métrica empleada
4
Variantes del algoritmo K-NN
›  Otras
versiones asignan a cada caso de k
vecinos un peso diferente en la votación,
según diferentes criterios (cercanía,
información o características mutuas)
›  Otras
versiones tratan de reducir el
número de cálculos para encontrar los k
vecinos
5
Variantes del algoritmo K-NN
›  Otras
tratan de reducir el tamaño del modelo
tomando solo unos elementos prototipo en
base a los cuales se realizarán las
clasificaciones posteriores.
›  Todas
las técnicas anteriores se pueden
hibridar de muchas maneras, lo que nos da
una idea de lo complejo que puede llegar a
ser un sistema de clasificación por vecindad
6
Regla K-NN con rechazo
›  Esta
variante del K-NN descarta la
clasificación de aquellas muestras para las
que no se obtenga una cierta garantía de
que la clase asignada sea la correcta
›  La
clasificación solo será realizada en el caso
de que alguna de las clases reciba un
número de votos superior a un umbral
previamente fijado.
7
Regla K-NN con rechazo
›  Si
resulta por ejemplo que el número de votos
recibidos por la clase mas votada no rebasa
dicho umbral, el caso no será asignado a
ninguna de las clases del problema
›  Los
casos que se quedan sin clasificar son
aquellos dudosos, que probablemente se
encuentren próximos a las fronteras de
decisión
8
Regla K-NN con rechazo
›  El
umbral que se establece para esta regla
suele oscilar entre K/M y K,
›  Donde:
›  M
es el número de clases del problema de
clasificación que se desea abordar
›  K es valor de los k vecinos más próximos a
considerar para el proceso de clasificación
9
Regla K-NN con rechazo
›  Si
M=2 con 2 clases a clasificar
›  Si K=4 considerando a los 4 vecinos mas
próximos
›  Entonces el umbral esta en K/M y K, es
decir: 4/2 y 2
›  Es decir, el umbral está entre 2 y 2, para
este caso el umbral es = 2.
10
Regla K-NN con rechazo
›  Si
ninguna clase supera este umbral, el
caso a clasificar será asignado a la clase
de rechazo w.
11
Regla K-NN con rechazo con
k=2
Candidato
12
Regla K-NN con rechazo con
k=5
Candidato
13
REGLA K-NN por distancia
media
›  Nace
como una alternativa a la regla k-NN,
dándose, en este caso, mayor relevancia a la
distancia a la que se encuentran los k vecinos
más próximos que al voto individual de cada
vecino.
›  A
partir de los k vecinos mas próximos, a un
nuevo caso a clasificar le es asignada la
clase cuya distancia media es menor dentro
de las clases de los K vecinos más próximos.
14
Clasificador de la distancia
mínima
›  En
este caso, se eligen prototipos
representantes de cada clase
›  A partir de ellos depende la distancia que
contengan de cada nuevo elemento o
prototipo para su clasificación
›  El ejemplo de codificación se muestra a
continuación
›  La dificultad radica en la elección del
único representante de cada clase.