Proceedings Template - WORD

ESTUDIO MINERIA DE DATOS: WEKA
Luis Martin-Cobos Blanco
Ingeniería de Telecomunicaciones
Universidad Carlos III de Madrid
Av. De la Universidad, 30
28911 Leganés (Madrid)
100276565
[email protected]
Alberto Godino Martinez
Ingeniería de Telecomunicaciones
Universidad Carlos III de Madrid
Av. De la Universidad, 30
28911 Leganés (Madrid)
100275692
[email protected]
RESUMEN
En el presente artículo se analiza mediante la herramienta WEKA
y MATLAB la clasificación en clusters y sus aplicaciones.
Palabras Clave
K Means, minería de datos, Matlab , cluster.
1. INTRODUCCION
Se nos presentan una serie de países, mas de 200, con una
inmensa cantidad de atributos diferentes(tasa de mortalidad, tasa
de población joven , tasa de crecimiento de la población,…).
2. ESTUDIO DE LAS RELACIONES ENTRE
LAS CARACTERISTICAS COMUNES A UNA
SERIE DE DATOS DE ENTRADA
2.1
PRIMER ESTUDIO
Nuestro primer estudio sobre todos estos datos va a consistir en
elegir una serie de países, más de 100 para tener una buena
muestra representativa de ellos y algunas características de los
mismos:






1 Mortalidad infantil : (Child mortality (0-5 year-olds
dying per 1,000 born))
2 Tasa de alfabetización :(Literacy rate, adult total (% of
people ages 15 and above))
3 Densidad de población: Population density (per
square km)
4 Población urbana : Urban population (% of total)
5 Tasa de crecimiento de la población : Population
growth (annual %)
6 Tasa de población infantil :Population aged 0-4 years,
both sexes (%)
Vamos a utilizar la matriz de covarianzas para ver en un grafico
de colores, que nos va a proporcionar Matlab, la relación que
existe entre esas características. Lo que queremos por lo tanto
descubrir son las relaciones directas o inversas entre esas
características: por ejemplo si un elevado dato de mortalidad
infantil supone por lo general un elevado número de personas
analfabetas en ese país, o si un gran crecimiento de la población
de un país guarda relación con la proporción de habitantes de ese
mismo país en ciudades.
.
Fig 1. Matriz de covarianzas
Vamos a analizar el siguiente grafico. El color rojo indica
relaciones directas y los azules inversas; por tanto un crecimiento
de la tasa de mortalidad infantil implica un descenso en la tasa de
alfabetización (por ser azul, relación inversa); o por ejemplo un
incremento de la mortalidad infantil implica un crecimiento en la
tasa de crecimiento en el país, etc
Todas estas relaciones son lógicas: los países con mayor tasa de
mortalidad infantil presentan unos índices de alfabetización
menores o los países que suelen tener un crecimiento demográfico
grande como por ejemplo países de África o la India suelen ser
países mas subdesarrollados y por consiguiente con tasas de
mortalidad infantil mayores; demostramos por tanto, que las
matrices de covarianzas son una importante herramienta para el
análisis de la información.
(ANEXO I)
2.2
SEGUNDO ESTUDIO
En este segundo estudio vamos a emplear la matriz de
correlaciones. A diferencia que la matriz de covarianzas, este
nuevo mecanismo nos va a permitir conocer la lo fuerte o débil
que es esa relación que habíamos descubierto antes.
Fig 2. Matriz de correlaciones
Fig 5. Simulación K Means 3 clusters.
Los colores marrones y rojos indican un elevado grado de
correlación positiva entre las variables, mientras que los colores
azules indican un elevado grado de correlación inversa entre esas
variables. El mayor grado de correlación directa existe entre una
variable y si misma, valores de la diagonal de la matriz. Después
podemos observar como por ejemplo la característica 1 y 5
(mortalidad infantil y tasa de crecimiento de la población
)guardan un elevado grado de correlación positiva(tono rojizo); es
muy lógico, y la tasa de población infantil de un país con la tasa
de alfabetización(2 y 6) presentan un elevado grado de correlación
negativa, es decir, son inversas.
(ANEXO I)
En esta figura podemos comprobar como después de 5 iteraciones
el algoritmo converge. También, vemos que se han creado 3
clusters:
- Cluster 0: pertenecen a él el 28% de los países que estamos
evaluando
- Cluster 1: pertenecen a él el 45% de los países que estamos
evaluando
- Cluster 2: pertenecen a él el 26% de los países que estamos
evaluando
También podemos ver cuál es el valor de cada atributo en el
centro de cada cluster (no tener en cuenta el atributo países).
En la siguiente imagen vemos la relación entre dos de las
características que mejor nos permiten ver la separación en
clusters de los datos. En este caso hemos elegido "Child
mortality" en el eje X y "Literacy Rate" en el eje Y.
3 SIMULACION CON WEKA
3.1
CLASIFICACION EN CLUSTERS
A continuación vamos a pasar a hacer un análisis de los datos
usando la herramienta WEKA.
Hemos realizado un cluster usando el algoritmo de K Means con
3 clusters y 3 seeds (semillas). Hemos decidido que haya 3
clusters para poder dividir los países en desarrollados, sub
desarrollados y en vías de desarrollo.
Fig 6. Representacion de los 3 clusters en funcion de dos
caracteristicas
Como podemos comprobar, los datos se han dividido en 3
clusters: rojo, azul y verde. Evaluando los datos, llegamos a la
conclusión que el cluster rojo (cluster 1) sería el conjunto de
países desarrollados puesto que tienen una mortalidad infantil
baja y nivel de alfabetización alto. Comprobamos que estamos en
lo cierto seleccionando algunos puntos pertenecientes a ese cluster
y viendo que son países como Australia, España, USA o Portugal.
Los países en el cluster azul (cluster 0) corresponderían a países
en vías de desarrollo puesto que tienen una mortalidad infantil
media-baja y un nivel de alfabetización medio-alto. Vemos que
pertenecen a ese cluster países como El salvador o Turquía. Por
último vemos que los países pertenecientes al cluster verde
(cluster 2) son los países sub desarrollados ya que tienen una
mortalidad infantil media-alta y un nivel de alfabetización bajo
(Burkina Faso, Iraq).
3.2
ANÁLISIS DE DATOS: CÁLCULO DE
OTROS ATRIBUTOS A PARTIR DE LA
CLASIFICACIÓN EN CLUSTERS
A continuación, vamos a intentar estimar la población de un país
que vive en las condiciones del cluster al que pertenece. Por
ejemplo, en el caso de EEUU, podríamos intentar estimar cuanta
gente vive en las condiciones de lo que sería el punto central del
clúster, siendo su clúster el clúster de los países más ricos y
desarrollados. Para ello y sabiendo la población de cada país,
vamos a basarnos en la distancia desde el centro hasta el extremo
del cluster y la distancia desde el centro al país del que se quiere
estimar este tipo de población. Calcularemos el % de pertenencia
de un país al cluster dividiendo la distancia desde el centro a ese
país entre la distancia máxima (distancia del centro al extremo del
cluster). Para ello nos creamos un pequeño programa en Matlab
que nos calcula el grado de pertenencia de un país así como la
población que vive en esas condiciones.
3.3 ANÁLISIS DE DATOS: CONCLUSIONES A
PARTIR DEL ANÁLISIS DE LA RELACIÓN
ENTRE CARACTERÍSTICAS
En este apartado, vamos a intentar concluir cómo han
evolucionado los países del mundo a lo largo de los últimos 200
años.
3.3.1 Ingresos frente a esperanza de vida en el mundo
Las características que se van a analizar son los ingresos de los
países en el eje Y (en escala logarítmica) y la esperanza de vida en
el eje X.
A continuación vemos alguna de las simulaciones hechas para
poder realizar un análisis de ellas y sacar conclusiones.
Fig 7. Representacion de los paises año 1800
Vamos a hacer una pequeña simulación con España de ejemplo.
Vemos que introduciendo el cluster al que pertenece, las
coordenadas en las que se encuentra dentro del cluster y la
población (50 millones) nos da como resultado que 37.7 millones
de personas viven en España en condiciones altas. Nótese que
estas condiciones dependen en gran medida de la existencia
únicamente de 3 clusters, y por tanto podrán variar en función de
la clasificación realizada(puede ser algo irreal que en la actualidad
37 millones de españoles vivan en lo que se supone condiciones
altas).
>> poblacion(1,[1.4 95], 50 )
ans =
37.7309
>>
(ANEXO II)
Fig 8. Representacion de los paises año 1851
Fig 9. Representacion de los paises año 1900
Fig 12. Representacion de los paises año 2012
Fig 10. Representacion de los paises año 1949
Como podemos comprobar, desde 1800 y en rangos de 50 años,
cada vez todos los países analizados se han ido desplazando hacia
la zona derecha y arriba de la imagen. Esto nos indica que la
esperanza de vida de todos los países ha aumentado y que en
general, todos los países son más ricos que al inicio. También
vemos que al inicio, en 1800, los países estaban muy juntos y a
medida que han pasado los años, se han ido separando. Esto nos
indica que hay países que se han desarrollado mejor
económicamente (por tanto su calidad de vida es mayor
repercutiendo positivamente en la esperanza de vida, haciéndose
mas grande también) y por tanto quedan más arriba a la derecha
de la grafica. Otros no lo han hecho tanto y aunque sí que se
desplazan hacia la derecha de la grafica y un poco hacia arriba,
no lo hacen de forma tan significativa. También podemos
comprobar en la clasificación por colores, que los países que más
abajo del grupo se encuentran en general son los pertenecientes a
África y en cambio arriba se encuentra parte de América
(posiblemente del Norte) en color amarillo, o parte de Asia
(probablemente Rusia) en color naranja, rojo posiblemente
perteneciente a China y varios verdes pertenecientes a Europa.
Aunque no se encuentra en la grafica, pudimos comprobar como
por ejemplo, en 1942 (Segunda Guerra Mundial) , la esperanza de
vida de Polonia dio un gran bajón y se situó a la izquierda de la
grafica.
3.3.2 Evolución económica de los países asiáticos
Hemos decidido llevar a cabo un pequeño estudio sobre 3 países
asiáticos, en concreto Filipinas, Tailandia y China , ya que la
importancia de estos países es cada vez mayor. Vemos como a lo
largo de los ultimo años han corregido bastante su situación y por
ello cada vez son mas importantes en las economías mundiales. Se
espera que China se convierta en una potencia al nivel de los
Estados Unidos en unos años.
Fig 11. Representacion de los paises año 1981
Vemos que, en el caso de España, vamos avanzando hacia arriba
y muy poco hacia la derecha. Esto indica que cada vez había más
desempleo y la gente no ganaba más. Entonces, podemos
comprobar que durante esos años en España había una época de
cambio estructural debido a la muerte de Franco, la creación de la
Constitución, la crisis del petróleo, etc. [referencia:
http://es.wikipedia.org/wiki/Econom%C3%ADa_de_Espa%C3%
B1a#1973_.E2.80.93_1986:_Crisis_y_cambios_estructurales]
Fig 13. Evolucion economico de ciertos paises asiaticos
3.3.3 Evolución económica en España desde 1980
hasta 2007(desempleo vs ingresos por persona)
Con este ejercicio vamos a intentar analizar crisis económicas que
haya habido. Para ello vamos a centrarnos en España y los valores
a analizar van a ser el desempleo en gente mayor de 15 años (eje
Y) y los ingresos por persona (eje X).
Fig 15. Representacion evolucion de España hasta 1986
Este es el estado inicial de la simulación:
Vemos que el máximo se encuentra alrededor de 1986, que fue
cuando España entro en la Unión Europea. Esto implica
probablemente una mejora de nuestra economía y por tanto
nosotros propondríamos que España se desplazara hacia abajo y
más hacia la derecha (menos desempleo y más ingresos debido a
la mejora económica del país)
Fig 14. Representacion de los paises año 1981(contexto
economico)
A medida que vamos avanzando, en general todos los países se
van desplazando hacia abajo y a la derecha de la grafica, lo que
indica que cada vez hay menos desempleo y la gente gana más
dinero.
Fig 16. Representacion evolucion de España hasta 1990
Vemos como de nuevo se cumplen nuestras predicciones hasta
1990.
A partir de ese momento, vemos como en España se produce una
gran mejora económica traducida (final de la crisis) en un
descenso del desempleo y mayores ingresos por persona
(desplazamiento inferior y lateral hacia la derecha).
4 CONCLUSIÓN
Por tanto, podemos concluir que los países en general son cada
vez más ricos y que viven más (desplazamiento lateral hacia la
derecha y desplazamiento hacia arriba). También se puede
concluir que hay países que lo están haciendo bastante más
rápido que otros (vemos como países como China se han
desplazado mucho mas rápido comparando en 1800 y en 2012).
También, con respecto a Clustering en general, vemos como
podemos hacer reducción de dimensiones para poder clasificar
algo que no podía hacerse al inicio y nos permite a su vez, realizar
cálculos mucho mas simplemente pero que se pueden aproximar a
los reales.
ANEXO: CODIGOS MATLAB
Fig 17. Representacion evolucion de España hasta 1994
Vemos como a partir de 1990 y hasta 1994, España sube
prácticamente vertical, lo que indica mucho más paro del que
había y el mismo ingreso por personas. Por tanto podríamos
suponer que hubo alguna crisis económica en España durante esos
años. Comprobamos que así es, que durante esos años, en España,
hubo una gran crisis económica provocada por la burbuja
inmobiliaria de Japón y la crisis del petróleo provocada por la
Guerra del Golfo. También, el 13 de Mayo de 1993 se produce el
famoso
“Jueves
Negro”
[referencia:
http://es.wikipedia.org/wiki/Crisis_econ%C3%B3mica_de_1993_
en_Espa%C3%B1a ].
ANEXO I:
load datos_pais
length datos_pais
%normalizamos los datos por fila
%@media contiene la media de cada fila(fila1, caracteristica 1 de
los 200 paises)
%@varianza contiene la varianza de cada fila
%@normalizado normaliza los datos de cada fila para ser justos
normalizado = zeros(size(datos_pais,1),size(datos_pais,2));
for i = 1:size(datos_pais,1)
media = mean(datos_pais(i,:));
var = mean((datos_pais(i,:) - mean(datos_pais(i,:))) *
(datos_pais(i,:) - mean(datos_pais(i,:)))');
normalizado(i,:) = (datos_pais(i,:)-media)./sqrt(var);
end
%Matriz de covarianzas
MatrizCovarianzas = zeros(size(datos_pais,1),size(datos_pais,1));
for i = 1:size(datos_pais,1)
for j = 1:size(datos_pais,1)
result = mean((datos_pais(i,:) - mean(datos_pais(i,:))) *
(datos_pais(j,:) - mean(datos_pais(j,:)))');
MatrizCovarianzas(i,j) = result;
end
end
image(MatrizCovarianzas)
figure
Fig 18. Representacion evolucion de España hasta 2005
%Ahora calculamos la matriz de covarianzas con los datos
normalizados.
for i = 1:size(datos_pais,1)
for j = 1:size(datos_pais,1)
covarianza = mean((normalizado(i,:) mean(normalizado(i,:))) * (normalizado(j,:) mean(normalizado(j,:)))');
distanciaMax
=
coordenadasBorde(1))^2
coordenadasBorde(2))^2 );
sqrt(
(coordenadasCentro(1)+
(coordenadasCentro(2)
-
MatrizCovarianzas(i,j) = covarianza;
distanciaPais
=
sqrt(
coordenadasPaisAEvaluar(1))^2 +
coordenadasPaisAEvaluar(2))^2 );
end
end
%calculo de la matriz de correlaciones
MatrizCorrelaciones = zeros(size(datos_pais,1),
size(datos_pais,1));
for k = 1:size(datos_pais,1)
for l = 1:size(datos_pais,1)
var1 = mean((normalizado(k,:) - mean(normalizado(k,:))) *
(normalizado(k,:) - mean(normalizado(k,:)))');
var2 = mean((normalizado(l,:) - mean(normalizado(l,:))) *
(normalizado(l,:) - mean(normalizado(l,:)))');
MatrizCorrelaciones(k,l) =
MatrizCovarianzas(k,l)/sqrt(var1*var2);
end
end
imagesc(MatrizCorrelaciones)
ANEXO 2:
function
[poblacion]
=
poblacion
(
coordenadasPaisAEvaluar, poblacionPaisAEvaluar)
cluster,
%el punto mas alejado del cluster de los desarrollados (1) =
armenia con X = 3.2 e Y = 98
%el punto mas alejado del cluster de los medio desarrollados (0)
= egipto X = 3.8 e Y = 48
%el punto mas alejado del cluster de los subdesarrollados (2) =
rwanda con X = 8.2 e Y = 50.0
%los centros de los clusters estan en:
% cluster 0 x = 3.5621 e Y = 76,2414
% cluster 1 x = 1.9196 e Y = 96.4348
% cluster 2 x = 6.3889 e Y = 45.22
%ejemplo: Las coordenadas de España estan en X = 1.4 e Y = 95
if cluster == 0
coordenadasCentro = [3.5621 76.2414];
coordenadasBorde = [3.8 48];
end
if cluster == 1
coordenadasCentro = [1.9196 96.4348];
coordenadasBorde = [3.2 98];
end
if cluster == 2
coordenadasCentro = [6.3889 45.22];
coordenadasBorde = [8.2 50];
end
(coordenadasCentro(1)(coordenadasCentro(2) -
poblacion = poblacionPaisAEvaluar * distanciaPais/distanciaMax;
end