Fuente: http://webershandwick.be DIAGNOSTICANDO NECESIDADES DE LA COMUNIDAD Y EVALUANDO EL IMPACTO: DEMOSTRANDO VALOR Ugne Lipeikaite, PhD CONTENIDO DIAGNOSTICO EVALUACIÓN METODOLOGÍA Gente se acuerda de lo que… 90% hace 70% - dice y escribe 50% - ve y escucha 30% - ve 20% - escucha 10% - lee Fuente: Dr. Wade Halvorson DIAGNÓSTICO DE NECESIDADES DE LA COMUNIDAD Parte 1 PARA EMPEZAR ¡PIENSEN! ¿Cuáles son los principales desafíos en su comunidad? ¿Cómo su centro cultural esta contribuyendo / podría contribuir a resolver estos desafíos? ¡ESCRIBAN! Los 3 desafíos más importantes en su comunidad que podrían ser abordados por su centro cultural ¡DISCUTAN EN GRUPO! ¿Cómo saben que la solución que entrega su centro cultural (servicio, programa, actividad) es algo que necesita su comunidad? “Ir donde las personas. Vivir con ellos. Aprender de ellos. Comenzar con lo que saben. Construir con lo que tienen.” Lao Tzu ¿QUÉ ES UN DIAGNOSTICO DE LA COMUNIDAD? Un diagnóstico de la comunidad es una combinación de recopilación de información, participación comunitaria y acción, con el objetivo de mejorar el entorno de la comunidad. ¿PARA QUÉ HACER UN DIAGNÓSTICO DE LA COMUNIDAD? El objetivo esencial de este ejercicio es asegurarse que el servicio o la actividad que se está desarrollando es relevante = responde a las necesidades de la comunidad. ENFOQUE DEL DIAGNÓSTICO DE LA COMUNIDAD • ¿Qué servicios podríamos desarrollar en relación a los desafíos de la comunidad? • ¿Qué servicios ya están en marcha? • ¿Qué podríamos hacer mejor? • ¿Qué más podríamos hacer? MODELO TRADICIONAL V/S PLANIFICACIÓN DIRIGIDA POR LA COMUNIDAD Modelo tradicional Análisis de: • datos demográficos • estadísticas de uso del centro cultural y otros servicios culturales • encuestas comunitarias Gestores de un centro cultural deciden cuáles son las deficiencias de los servicios y cuáles son sus potenciales audiencias Planificación dirigida por la comunidad Todo lo que incluye el modelo tradicional más: • el personal de centro cultural establece relaciones con miembros de distintos grupos de la comunidad • el personal de centro cultural escucha que es lo importante para ellos Gestores de un centro cultural proponen a la comunidad los servicios y discuten sobre las prioridades que ellos tienen Existencia de diagnostico de necesidades y expectativas de la comunidad 30% 70% Si No o no sabe PERFIL DE LA COMUNIDAD • Ayuda a obtener una imagen de la comunidad • Permite evaluar recursos que están en la comunidad • Ayuda a definir visión de la comunidad • Concretiza los objetivos de la comunidad • Desarrolla relaciones con la comunidad PERFIL DE COMUNIDAD Condiciones geográficos, historia, tradiciones, valores, etc. Situación y desafíos que la comunidad tiene ahora Fondo Colorito Demografía (género, edad, educación, ocupación, etc.), iniciativas (culturales, sociales, privados, etc.) y recursos Visión de futuro Expresión Perspectiva MÉTODOS: PARTICIPACIÓN EN EVENTOS Y REUNIONES DE LA COMUNIDAD • Uno de los primeros pasos en el proceso de conexión, consultoría y construcción de relaciones, con el propósito de luego trabajar en colaboración con la comunidad. • Ayuda para aprender sobre la comunidad y sirve como espacio para promover los servicios existentes de centro cultural. • Permite obtener más información acerca de la comunidad simplemente mediante la observación y ayuda formar preguntas más focalizadas para el futuro. MÉTODOS: “PUERTA A PUERTA” • Ayuda a iniciar el diálogo con los miembros de la comunidad acerca de lo que ellos desean en relación a los servicios de centro cultural y ayuda aprender sobre la vida de los miembros de la comunidad. • Centrarse en escuchar a los miembros de la comunidad que no van al centro cultural con frecuencia para recoger sus impresiones acerca de nuestros servicios. MÉTODOS: FOROS PÚBLICOS • Sesión pública dirigida a identificar y resolver problemas, donde los ciudadanos discuten temas importantes para ellos. • Ofrecen una oportunidad para expresar sus opiniones sobre cuestiones claves de su interés y qué se puede hacer sobre ellos. • Se necesita: un lugar de encuentro, miembros de la comunidad, facilitador, disposición a escuchar con atención, equipamiento. MÉTODOS: INFORMANTES CLAVES • Los informantes claves son los principales expertos de la comunidad = personas que saben lo que está pasando desde su perspectiva. • Ayuda a recopilar información de una amplia gama de personas, incluyendo líderes de la comunidad, profesionales o residentes que tienen un conocimiento directo y más amplio del entorno social. • Entrevistas por teléfono / cara a cara. MÉTODOS: ENTREVISTAS • Una conversación con un propósito. • Intercambio de ideas con la persona que se tiene reunión. • Puede ser cara a cara / telefónica / grupo focal. MÉTODOS: GRUPO FOCAL • Discusión estructurada en pequeños grupos y dirigida por un facilitador. • Ayuda aprender más acerca de las opiniones sobre un tema y luego guiar la acción futura. • Entrega datos cualitativos. MÉTODOS: ENCUESTAS • Manera de recopilar información que representa los puntos de vista de toda la comunidad o grupos de interés. • Ayuda recopilar información acerca de los comportamientos, necesidades, opiniones y actitudes. • Entrega datos cuantitativos. SESIÓN PRACTICA: PLAN DE EVALUACIÓN DE NECESIDADES DE LA COMUNIDAD • Grupo de trabajo (centro cultural + parte interesada) • ¿Qué es lo que vamos a investigar? • ¿Qué sabemos + qué queremos aprender? • ¿Cómo vamos a recolectar los datos (fuentes, métodos, instrumentos)? • ¿Quién recogerá, analizará, preparará el informe? • ¿Cuándo (línea de tiempo)? EVALUACIÓN DE IMPACTO Parte 2 ¿Me van a evaluar? ¡Quizás este año no todavía! ¿Qué pasara ahora…? ¿O quizás a mi no me van a tocar? HABILIDADES DE PENSAMIENTO Evaluación Síntesis Análisis Aplicación Comprensión Conocimiento Fuente: Dr. Wade Halvorson PARA EMPEZAR ¡PIENSEN! ¿Cuál es el cambio que usted quería producir con su proyecto? ¿Cuál fue el resultado de su proyecto? ¿Cuáles datos o pruebas les mostraron que su proyecto fue exitoso? ¡ESCRIBAN! 3 indicadores del proyecto, servicio o actividad implementada con éxito "Si no sabes a dónde vas, ¿cómo vas a saber cuando llegues allí?" Yogi Berra ¿QUÉ ES EL IMPACTO? "Cualquier efecto de un servicio o iniciativa de un individuo o grupo.” El cambio en: Conocimiento y comprensión Competencias / habilidades Comportamiento Actitudes Calidad de vida ¿QUÉ ES EVALUACIÓN DE IMPACTO? Evaluación de impacto son los datos significativos que servirán para informar, confirmar o mejorar una actividad, servicio, proyecto, programa, etc. Es una herramienta para: • Mejorar las decisiones de gestión • Justificar el uso de los recursos • Promover y posicionar a la organización EL IMPACTO PUEDE SER: • Positivo o negativo • Puede ser intencionado o incidental • Puede afectar a los usuarios, al personal del centro cultural o a otros interesados • Puede ser limitado y producirse rápidamente o puede ser de largo alcance y perdurar mucho tiempo IMPACTO EN CULTURA “Saber que la cultura influye en el desarrollo sostenible es una cosa. Pero saber cómo lo hace es otra”. UNESCO AREAS DE IMPACTO DE LA CULTURA AL DESARROLLO Economía Educación Equidad de Género Gobierno Comunicación Participación Social Patrimonio y Sustentabilidad Fuente: http://en.unesco.org/creativity/development-indicators/toolbox POTENCIAL IMPACTO DE LOS CENTROS CULTURALES “Motor que anima el encuentro, la convivencia y el reconocimiento identitario de una comunidad” “Revitalización del tejido social y urbano” “Genera participación” “Espacio donde la comunidad puede reflexionar sobre lo que son, sus creencias, su pasado, su futuro” “Afirma la identidad y la diversidad” “Permite libertad de creación y expresión” “Forma espíritu reflexivo y critico” “Rescata la memoria” … ¿CÓMO MEDIRLO? Objetivos del Impacto Indicadores Evidencias OBJETIVOS DEL IMPACTO Verbo que indica el cambio Ejemplos: • Aumentar • Disminuir • Mejorar • Reducir • Adoptar • Establecer • Usar • Integrar Qué cambia Ejemplos: • Cobertura • Comportamiento • Conocimiento • Tecnologías • Modelos • Datos • Sistemas • Políticas Quién cambia Ejemplos: • Personas • Comunidades • Poblaciones • Gobiernos Otros detalles Ejemplos: • ¿Dónde se espera ver este cambio? (dimensión geográfica) • ¿Cuándo espera ver el cambio? (fechas) • ¿A cuántos el cambio va a afectar? (grupo objetivo) Fuente: Fundación de Bill y Melinda Gates OBJETIVOS DE IMPACTO e S pecíficos M edibles A lcanzables R elevantes T emporalmente definidos EJEMPLOS DE OBJETIVOS DE IMPACTO • Capacitar a 200 jóvenes entre 12 y 16 años para participar en los procesos democráticos. • Aumentar el interés de las mujeres adultas de la comuna en artesanías tradicionales en un 25% en los próximos 3 años. • Aumentar la asistencia de los adultos mayores a eventos artísticos en un 30% durante el año 2017. • Fomentar una mayor tolerancia hacia personas de otras culturas en la comunidad el año 2017 (30% más). • Disminuir en un 70% la brecha de acceso a eventos culturales existente entre la comunidad local y el promedio nacional. • Estimular una mayor asistencia de los miembros de la comunidad al obras de teatro (50% más). • Mejorar la opinión pública hacia al Centro Cultural, favorable en 80% de la comunidad durante el próximo año. • Incrementar el conocimiento de las jornadas de puertas abiertas de la comunidad (en 10%) entre todos los segmentos de la comunidad local durante el mes de mayo de 2016. INDICADORES Indicador es una pieza de información que permite señalar si ha producido el cambio. Los indicadores: • Señalan los cambios específicos en la actitud, comportamiento, etc. que permiten saber si están cumpliendo en relación con los objetivos del impacto • Están vinculados a un objetivo de impacto en particular, pero pueden dar información sobre más de un objetivo INDICADORES CUANTITATIVOS Este tipo de indicadores son una representación numérica de la realidad; su característica más importante es que, al encontrarse valores diferentes, estos pueden ordenarse de forma ascendente o descendente. • Numero … • % de … • Frecuencia de … Ejemplo: • el promedio de asistencia a eventos culturales en el municipio X para 2014 fue del 40% de toda la comunidad y para 2015 fue del 42%. • la proporción / porcentaje de miembros de la comunidad que asisten regularmente a los talleres de creatividad del Centro Cultural. INDICADORES CUALITATIVOS Su característica principal es que su resultado se refiere a una escala de cualidades (opiniones, valores, calidad, etc.). Los indicadores cualitativos pueden expresarse así: • Categóricos, tales como: bueno, aceptable, regular, malo. • Binarios , tales como: si, no. • Pueden ser numéricos también: % de la comunidad que evalúa actividad de centro cultural positivamente. Ejemplo: • grado de apoyo a las instituciones culturales para abordar más eficazmente las cuestiones de género • grado satisfacción de usuarios por la prestación de servicios culturales • nivel de diversidad de usuarios de Centro Cultural INDICADORES DE PRODUCTO Se refieren a la cantidad y calidad de los bienes y servicios que se generan mediante las actividades de una institución o de un programa a corto plazo. Ejemplos: • número de personas formadas como potenciales animadores y facilitadores de proyectos culturales • número de proyectos iniciados que promueven colaboración de instituciones publicas y privadas INDICADORES DE IMPACTO Se refieren a los efectos de la acción institucional y/o de un programa sobre la sociedad a mediano y largo plazo. Ejemplos: • el porcentaje de miembros de grupos marginalizados que indica que aumentó la cantidad de actividades culturales disponibles para ellos • la proporción de la comunidad que señala al centro cultural como el principal lugar para acceder a la cultura en su comunidad. • grado de aumento de ingresos de las mujeres artesanas que promueven su producción a través del centro cultural. EVIDENCIAS • Estadísticas • Estudios de casos / relatos (de grupos y/o individuales) • Análisis de documentos (documentos de política, informes, actas oficiales de reuniones, etc.) • Datos de observación sistemática • Secuencias fotográficas ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Proceso de planificación estratégica: 1. Entrevistas personales con cada una de las partes interesadas 2. Entrevistas personales con cada uno de los 12 miembros del Directorio del CC 3. Entrevistas con el director ejecutivo y el personal de centro cultural 4. Encuesta por correo electrónico a 1400 miembros de la comunidad 5. Tres grupos focales con jóvenes, adultos y adultos mayores 5. Análisis de formularios de retroalimentación: comentarios, reclamos, sugerencias 6. Análisis FODA Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Principales metas para año 2013-2015: 1. Entregar artes, cultura y programas de patrimonio de alta calidad que sean diversos, accesibles y atractivos para múltiples audiencias. 2. Establecer y mantener alianzas y relaciones de colaboración de largo plazo con nuestros grupos de interés. 3. Asegurar recursos suficientes para alcanzar las metas del plan estratégico, con el fin de contribuir más plenamente al bienestar de la comunidad. 4. Ser un modelo respetado de organización bien administrada, demostrar mejores prácticas en la transparencia, la rendición de cuentas y la buena gestión hacia los clientes y partes interesadas. 5. Ser reconocido en la ciudad de Aurora y por nuestras comunidades vecinas como un centro de actividad cultural y social, dinámico y accesible. Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Meta 1: Entregar artes, cultura y programas de patrimonio de alta calidad, diversos, accesibles y atractivos para múltiples audiencias. Objetivos: • Garantizar una programación que responda a las necesidades y deseos de nuestra comunidad diversa, a las partes interesadas y a los donantes, basada en el diagnóstico de la comunidad • Aumentar la participación en cada programa • Continuar ofreciendo una variedad de actividades gratuitas para niños, jóvenes y adultos • Ampliar el horario de atención para incluir más programación el fin de semana y por la noche Indicadores: Satisfacción de miembros de la comunidad (encuesta) Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Meta 2: Establecer y mantener alianzas y relaciones de colaboración de largo plazo con nuestros grupos de interés. Objetivos: • Promover continuamente un ambiente que demuestre los valores de colaboración y trabajo en equipo en el Centro • Continuar mejorando las relaciones con la ciudad de Aurora, con los socios de negocios y los socios en la programación • Diseñar e implementar un programa de sostenedores donde se involucre aún más la base de participación, proporcionándoles oportunidades adicionales para la cooperación, el apoyo de recaudación de fondos y defensa de la comunidad Indicadores: Número de alianzas nuevas comprometidas para realizar programas Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Meta 3: Asegurar recursos suficientes para alcanzar las metas del plan estratégico, con el fin de contribuir más plenamente al bienestar de la comunidad. Objetivos: • Asegurar la financiación operativa estable por parte de la Ciudad de Aurora • Maximizar los ingresos obtenidos a partir de tres líneas de negocios del Centro: programación pagada, arriendo de instalaciones y recaudación de fondos • Desarrollar e implementar un plan de recaudación de fondos integral • Mejorar continuamente los sistemas de seguimiento y medición de indicadores claves del rendimiento y gestión financiera Indicadores: los gastos de programación v/s los gastos totales, el porcentaje de fondos recaudados adicionalmente en comparación con el financiamiento proporcionado por la municipalidad. Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Meta 4: Ser un modelo respetado de organización bien administrada, demostrar mejores prácticas en la transparencia, la rendición de cuentas y la buena gestión hacia los usuarios y partes interesadas. Objetivos: • Atraer y retener al mejor equipo, sea de personal pagado y/o voluntarios • Demostrar excelencia en las prácticas de información y gestión financiera • Gestionar el Centro Cultural través de la recolección y análisis de datos • Investigar las normas de calidad de “Imagine Canada” y desarrollar buenas prácticas • Supervisar la ejecución exitosa del plan estratégico, con revisiones periódicas y correcciones de rumbo según sea necesario Indicadores: encuesta de usuarios, porcentaje de horas de trabajo del voluntariado en comparación con las horas pagadas Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf ESTUDIO DE CASO: CENTRO CULTURAL DE AURORA, ONTARIO, CANADÁ Meta 5: Ser reconocido en la ciudad de Aurora y por nuestras comunidades vecinas como un centro de actividad cultural y social, dinámico y accesible. Objetivos: • Continuar creando un ambiente acogedor y atractivo, manteniendo una audiencia diversa • Contribuir al rejuvenecimiento del centro de la ciudad de Aurora mediante el apoyo al Plan Estratégico de la ciudad, siempre que sea posible • Desarrollar e implementar un plan de marketing sólido para llegar a nuestros mercados de destino • Desarrollar e implementar un plan de relaciones públicas y relaciones gubernamentales Indicadores: visitas anuales, encuesta de usuarios para rastrear nivel de reconocimiento Fuente: http://auroraculturalcentre.ca/wp-content/uploads/2013/03/ACC_Strategic_Plan_web.pdf PLAN DE EVALUACIÓN DE IMPACTO • Guía para cada paso del proceso de evaluación • Ayuda a decidir qué tipo de información se requiere y los grupos de interés qué realmente se necesitan • Previene de una pérdida de tiempo en recopilar información que no es necesaria • Ayuda a identificar los mejores métodos y estrategias posibles para obtener la información necesaria • Ayuda definir un tiempo razonable y realista para la evaluación • Lo más importante: ¡le ayudará a mejorar su iniciativa! PLAN DE EVALUACIÓN DE IMPACTO • Considere la participación de los interesados • Defina los objetivos e indicadores de impacto • Decida cómo va a recopilar la información (métodos) • Decida a quién van a estar dirigidas las preguntas • Decida qué herramientas va a utilizar (instrumentos) • Decida cuándo va a recoger datos (línea de tiempo) • Decida quién va a recoger datos (equipo) • Realice un estudio (trabajo de campo, análisis de datos, informes) • Tome una acción basada en sus conclusiones PARTICIPACIÓN DE LOS INTERESADOS Existen tres grupos principales de personas que podrían ser identificados como grupos de interés: • Todos aquellos miembros de la comunidad pueden tener algún interés • Los que están involucrados • Quienes invirtieron Tómese su tiempo para enumerar las partes interesadas (beneficiarios, los que tienen influencia, competidores) ¿A quién le importa su actividad? ¿Qué es lo que les importa? MÉTODOS DE RECOPILACIÓN DE DATOS La elección de los métodos depende de: • El tipo de evaluación que se elija para llevar a cabo (cuantitativo=encuestas / cualitativo=entrevistas, grupos focales) • Los temas que deben abordarse • Los datos específicos que se necesitan Antes de seleccionar el método de recogida de datos: • Revise los datos existentes (lo que ya está recogiendo) • Defina los datos que necesita recoger (lista de temas y prioridades) INSTRUMENTOS DE RECOPILACIÓN DE DATOS En función de los métodos de recolección de datos seleccionados: • cuestionarios de la encuesta • guía para entrevistas • guía para grupos focales No reinvente la rueda – use como ejemplo cuestionarios desarrollados por otros Use una lista de comprobación del desarrollo de instrumentos (en el manual) TAMAÑO DE MUESTRA • ¿A quién le van a preguntar? • ¿A cuántos? - Tamaño de la muestra: la proporción de su público objetivo total que desea investigar Ejemplo: • para una comunidad de 50.000 habitantes, hay que investigar 382 personas (margen de error del 5%) Fuente: Survey Monkey Fuente: https://www.surveymonkey.com/mp/sample-size-calculator/ CUÁNDO • Lo ideal es “Pre y Post” - realización de la recolección de datos antes (línea de base) y después de sus actividades o la prestación de servicios. Esto le permitirá medir el cambio en el tiempo • Tiempo mínimo para medir impacto – 6 meses. SESIÓN PRACTICA: PLAN DE EVALUACIÓN DE IMPACTO • Enfoque: ¿Cuáles son sus áreas y objetivos de impacto? • Indicadores: ¿Cuáles son sus indicadores cuantitativos y/o cualitativos? • Preguntas: ¿Qué es lo que quieren saber? • Fuentes de datos existentes: ¿Qué fuentes de datos existentes podría usar? • Grupos destinatarios y la muestra: ¿A quién y cuántos se va a consultar? • Métodos: ¿Qué métodos de recopilación de datos utilizará para recoger información? • Instrumentos: ¿Qué instrumentos de recolección de datos va a utilizar? • Tiempo: ¿Cuándo planea recoger datos?