Cómo medir la efectividad de la concientización

Ing. Carlos Ormella Meyer y Asoc.
Gestión y Auditoría de Riesgos y Seguridad de la Información
Tel: +54-11-4371-4638 – Cel: +54-911-6513-2751
E-mail: [email protected]
COMO MEDIR LA EFECTIVIDAD DE LA CONCIENTIZACIÓN
© Ing. Carlos Ormella Meyer
Los planes de concientización especialmente en seguridad de la información han sido muchas veces terreno
fértil de opiniones discordantes, especialmente en cuanto a su real efectividad incluso frente a la inversión
que requieren. Qué temas tratar, cómo y con cuánta regularidad.
Un sistema para medir la efectividad de las charlas/jornadas de seguridad debe proporcionar la información
necesaria para responder adecuadamente a los tres interrogantes planteados antes, así como también
facilitar el establecimiento de prioridades en cuanto a la repetición de dichas charlas.
El objetivo de este trabajo es mostrar una metodología práctica y consistente para verificar la efectividad
de los planes de concientización en cuanto por ejemplo a los diferentes Temas o Reglas de Seguridad
tratados en las charlas en cuestión.
El Nivel de Adhesión a tales Temas logrado por parte de las personas que han participado de un plan de
concientización se puede verificar según diferentes Criterios con los que se pueden considerar los Temas
en cuestión.
Tendremos entonces un cierto número de Temas, con diferentes importancias o prioridades relativas o Peso
Relativo, de modo que cada Tema se pondera porcentualmente para un total igual a uno para la totalidad de
los Temas.
De manera similar, los diferentes Criterios tendrán su importancia o prioridad relativa o Peso Relativo de
modo que cada Criterio se pondera también porcentualmente para un total igual a uno para la totalidad de
los Criterios.
En ambos casos, Temas y Criterios, la situación puede analizarse recurriendo a la Función de Valor como
el método más empleado del MCDA (Análisis de Decisiones con Múltiples Criterios).
En lo que sigue, para una mejor comprensión hemos optado por revisar primero el Proceso de Obtención
de Datos y luego el Cuadro de Resultados obtenidos con dichos datos.
Proceso de obtención de datos
Para llevar adelante todo el proceso mencionado antes se requiere establecer los Temas, los Criterios con
que se analizará el Nivel de Adhesión a los Temas, y los Pesos Relativos de cada uno de los Temas y de
cada uno de los Criterios.
Primero hay que considerar que los Temas responden a los tratados en el plan de concientización, como por
ejemplo Nivel de Adhesión a las Políticas de seguridad de la empresa, Manejo y gestión de contraseñas,
Uso del equipamiento móvil, Manejo de documentación en papel, Uso del email e Internet, Reacción ante
incidentes, etc.
En segundo término, para establecer el Nivel de Adhesión a dichos Temas se puede recurrir a técnicas
propias de la Psicología Social conforme al aporte a dicha Adhesión en cuanto, por ejemplo, a qué sabe, qué
15.11.2013 - 7:48 p.m.
© Ing. Carlos Ormella Meyer
Página 1 de 5
Ing. Carlos Ormella Meyer y Asoc.
Gestión y Auditoría de Riesgos y Seguridad de la Información
Tel: +54-11-4371-4638 – Cel: +54-911-6513-2751
E-mail: [email protected]
siente y qué hace una persona respecto de cada Tema, lo que implica respectivamente el Conocimiento, la
Actitud y el Comportamiento, aspectos éstos que involucran lo que denominamos el Factor Gente [1].
De esta manera puede medirse la adhesión o aceptación no sólo del conocimiento transferido, sino
también de la actitud que toman esas personas respecto de dicho conocimiento, y del comportamiento que
asumen cuando tienen que aplicar dicho conocimiento.
Para el caso se usan cuestionarios cerrados de dos o tres respuestas posibles tales como Verdadero/Falso
y en algunos casos también No Sabe.
A modo ilustrativo, presentamos tres ejemplos:
Tema: Políticas – Criterio: Conocimiento
“En el caso de manejo de datos sensibles es suficiente mantener la confidencialidad de los archivos
electrónicos y los documentos impresos.”
Tema: Internet – Criterio: Actitud
“Ud. puede desentenderse de la posibilidad de mensajes Spam puesto que la empresa tiene instalado un
mecanismo de detección de los mismos.”
Tema: Contraseñas – Criterio: Comportamiento
“Como Ud. tiene que usar varias contraseñas y puede olvidarlas, las guarda escritas en un lugar oculto de su
escritorio que incluso cierra con llave al retirarse al fin del día.”
Y tercero, los Pesos Relativos de cada uno de los Temas y de cada uno de los Criterios se pueden
establecer o bien a partir del conocimiento y/o experiencias propias o de terceros, o bien mediante la
aplicación del AHP (Proceso de Análisis Jerárquico).
El método AHP es el indicado cuando hay más de tres variables, y en todos los casos cuando las
comparaciones de a pares de las variables resultan de opiniones subjetivas independientes entre sí, que no
guardan relaciones directas entre sí.
La solución en estos casos implica trabajar con matrices para determinar el llamado eigenvector, donde los
valores normalizados de sus componentes darán los porcentajes buscados.
Cuadro de Resultados
Veamos la aplicación de la Función de Valor para el análisis de los diferentes Temas en cuanto a la
Adhesión a cada uno conforme Criterios establecidos, y teniendo a la vista el Cuadro de Excel que se
muestra en la página siguiente, y en el que las celdas se han semaforizado según las condiciones
establecidas en la parte inferior del mismo.
Primeramente describiremos las diferentes partes del cuadro para después comentar los valores mostrados
en el mismo.
Partes del Cuadro de Resultados
En este cuadro se presentan a la izquierda los diferentes Temas con los Pesos Relativos que les hemos
asignado en cada caso, mientras que en la parte superior de las tres columnas de Criterios, se identifican los
mismos, también con los Pesos Relativos que les hemos fijado a cada uno.
15.11.2013 - 7:48 p.m.
© Ing. Carlos Ormella Meyer
Página 2 de 5
Ing. Carlos Ormella Meyer y Asoc.
Gestión y Auditoría de Riesgos y Seguridad de la Información
Tel: +54-11-4371-4638 – Cel: +54-911-6513-2751
E-mail: [email protected]
En la parte central de este cuadro se encuentran diferentes porcentajes con valores que por ejemplo van
desde el 46% para el primer Tema y primer Criterio hasta el 29% del último Tema y último Criterio.
Dichos valores señalan los Niveles de Adhesión a cada Tema desde el punto de vista de cada Criterio.
Tales Niveles de Adhesión son el resultado de las respuestas a Cuestionarios para medir precisamente la
Adhesión o conformidad o cumplimiento por parte de los asistentes a las jornadas/charlas del plan de
Concientización y/o Capacitación correspondiente, con respecto a los diversos enfoques de los diferentes
Temas tratados durante el evento.
Por su parte, la columna de la derecha referida a cada Tema y la fila inferior correspondiente a cada Criterio
totalizan Resultados. La columna de la derecha, las Funciones de Valor para cada Tema respecto de todos
los Criterios. La fila inferior, las Funciones de Valor de todos los Temas respecto de cada Criterio.
Finalmente, el valor de la columna de la derecha y última fila (55%) corresponde a la Función de Valor
Total de todos los Temas respecto de todos los Criterios.
Valores del Cuadro de Resultados
Revisemos ahora los valores mostrados en el cuadro.
En primer lugar la Función de Valor para un Tema determinado respecto de un Criterio en particular estará
dada por el producto del Nivel de Adhesión al Tema según dicho Criterio y el Peso relativo del Criterio en
cuestión.
Por ejemplo, en el cuadro se tiene que el Nivel de Adhesión al Tema Políticas en cuanto al Criterio del
Conocimiento es del 46%.
Por lo tanto y puesto que el Peso Relativo del Criterio en cuestión se fijó en un 30%, la Función de Valor
correspondiente será igual a:
46% * 30% = 13,8%.
15.11.2013 - 7:48 p.m.
© Ing. Carlos Ormella Meyer
Página 3 de 5
Ing. Carlos Ormella Meyer y Asoc.
Gestión y Auditoría de Riesgos y Seguridad de la Información
Tel: +54-11-4371-4638 – Cel: +54-911-6513-2751
E-mail: [email protected]
Por extensión, la Función de Valor para un Tema determinado respecto de todos los Criterios será la
sumatoria de los resultados obtenidos para cada uno de los Criterios.
Tomando como ejemplo de nuevo el caso del Nivel de Adhesión al Tema Políticas, tendremos los aportes
de los tres Criterios: Conocimiento, Actitud y Comportamiento.
Sumando entonces las correspondientes Funciones de Valor para cada Criterio se obtiene la Función de
Valor del Tema Políticas, de forma tal que expresando los porcentajes como enteros el Nivel de Adhesión
para cada Criterio, y como fracciones para los Pesos Relativos de cada Criterio, tendremos:
46 x 0,3 + 53 x 0,2 + 35 x 0,5 = 42 % en números redondos.
Análogamente, la Función de Valor para todos los Temas respecto de cada Criterio estará dada por la
sumatoria del Nivel de Adhesión a cada Tema por el Peso relativo del Criterio en cuestión.
En este caso tendremos por ejemplo para el Criterio de Actitud:
(53+76+67+65+36) * 0,2 = 61%
Finalmente, la Función de Valor para todos los Temas analizados será igual a la sumatoria de la Función
de Valor de cada uno de los Temas por el Peso relativo del Tema correspondiente en cada caso.
En nuestro caso tendremos a partir de los datos de la columna de la derecha:
42 * 0,2 + 76 * 0,25 + 55 * 0,25 + 61 * 0,15 + 36 * 0,15 = 55 % como Función de Valor Total de Temas y
Criterios, y que evidentemente mide la efectividad total del plan de concientización.
Al mismo resultado se llega por medio de la sumatoria de los productos de la Función de Valor de cada uno
de los Criterios por el correspondiente Peso relativo del Criterio correspondiente en cada caso.
Comentarios Finales
El 55% obtenido antes como Función de Valor Total de Temas y Criterios, muestra que el resultado del plan
de concientización ha sido más bien regular.
Pero hay más; si se revisa cada uno de los valores obtenidos surge que la parte débil del programa de
concientización reside en los Comportamientos cuestionables en varios de los Temas, especialmente en el
de Incidentes.
Por otra parte, también se pueden sacar conclusiones respecto a los Temas tratados en su conjunto.
De esta manera se pueden establecer prioridades en la repetición de las charlas correspondientes. En
nuestro caso, por ejemplo, el tema Incidentes debería tener prioridad en tal sentido, seguido por el de
Políticas y posteriormente por el de E-mail e Internet, que muestra un pobre resultado en cuanto a
Comportamiento.
Otro punto que puede motivar nuevos análisis es el de los Pesos Relativos. El más evidente podría ser el
referido a los Criterios. Por ejemplo, quizás haya quienes preferirían disminuir el porcentaje asignado al
Conocimiento y aumentar el de Actitud.
15.11.2013 - 7:48 p.m.
© Ing. Carlos Ormella Meyer
Página 4 de 5
Ing. Carlos Ormella Meyer y Asoc.
Gestión y Auditoría de Riesgos y Seguridad de la Información
Tel: +54-11-4371-4638 – Cel: +54-911-6513-2751
E-mail: [email protected]
Algo parecido podría ocurrir con los Pesos Relativos de los Temas.
De cualquier manera, especialmente en el caso de los Temas, las ponderaciones simples pueden resultar
demasiado subjetivas. Mejores resultados se pueden obtener aplicando el método AHP ya comentado.
Por último, conviene advertir que el Cuadro de Resultados obtenido puede resultar muy indicativo y útil a
nivel gerencial de Seguridad de la Información e incluso de Riesgos.
Pero para la alta gerencia y aún para otras gerencias medias, el cuadro en cuestión presenta “demasiados
números” que no atraerían la atención necesaria.
Para tales escenarios es mejor preparar una gráfica tipo “radar”, muchas veces usada y conocida en dichos
niveles gerenciales, donde los resultados más bien se observan a partir de los colores de una
semaforización como la mostrada en el cuadro con que trabajamos antes.
Finalmente, y más allá del área específica de Seguridad de la Información, se puede decir que dada la
fortaleza aportada por la Función de Valor, esta metodología puede usarse también en otros escenarios en
los que sólo haya que considerar Temas, es decir, donde no corresponda aplicar factores psicológicos.
Un caso en tal sentido es cuando se realiza la valuación y auditoría del estado de preparación o
cumplimiento de una empresa en cuanto a la Gestión de Continuidad de Negocios, BCM.
[1] Ver “El Factor Gente” en http://www.criptored.upm.es/descarga/FactorGenteSeguInfo.zip
15.11.2013 - 7:48 p.m.
© Ing. Carlos Ormella Meyer
Página 5 de 5