Cluster II - Rapport de démarrage
Anuncio
Rapport de démarrage Phase 2 de l’évaluation l’approche Cluster de Equipe d’évaluation (GPPi et Groupe URD) : Julia Steets, François Grünewald, Andrea Binder, Véronique de Geoffroy, Domitille Kauffmann, Susanna Krüger, Claudia Meier, Bonaventure Sokpoh Responsable du projet (OCHA) : Claude Hilfiker 27 Aout 2009 Version française, Septembre 2009, Groupe URD. Contact: www.gppi.net Julia Steets François Grünewald Reinhardtstr. 15 10117 Berlin · Germany La Fontaine des Marins 26170, Plaisians · France Tel Fax E-Mail Web +33-4-75 28 29 35 +33-4-75 28 65 44 [email protected] www.urd.org +49-30-275 959 75-0 +49-30-690 88 200 [email protected] www.gppi.net Table des matières 1. Contexte de l’évaluation.............................................................................. 3 2. Objectifs, cadre and et limites de l’évaluation ........................................... 4 2.1. Objectif de l’évaluation 4 2.2. Cadre de l’évaluation 4 2.3. Limites de l’évaluation 5 3. Méthodologie ............................................................................................... 8 3.1. Approche globale 8 3.2. Questions clés et critères de l’évaluation 8 3.3. Critères de performance / indicateurs and facteurs explicatifs 9 3.4. Outils de collecte des données 12 3.5. Organisation de l’évaluation 13 4. Plan de travail et chronogramme ............................................................. 15 5. Rapports et diffusion ................................................................................. 16 Annexe 1 : Acronymes....................................................................................... 17 Annexe 2 : Résumé des discussions du Groupe de Pilotage............................ 18 Annexe 3 : Ebauche de plan pour les rapports pays........................................ 20 Annexe 4 : Ebauche de plan pour le rapport de synthèse ............................... 22 Annexe 5 : Indicateurs (voir le fichier excel)................................................... 24 2 1. Contexte de l’évaluation 1. En 2005, le comité de pilotage Inter-Agence (IASC1) a demandé une évaluation externe de l’approche Cluster après 2 années de mise en œuvre. L’évaluation fut divisée en deux phases. 2. La 1ere phase, finalisée en 2007, était centrée sur les indicateurs de processus, les succès et les limites de l’approche Cluster ainsi que les leçons apprises liées à son lancement. La phase 1 de l’évaluation de l’approche cluster fut menée par une équipe commune de chercheurs de l’Overseas Development Institute, du Center on International Cooperation and de The Praxis Group, Ltd. 3. La phase 2, qui est menée entre Juin 2009 et Mars 2010, évalue l’efficacité opérationnelle et les principaux résultats de l’Approche Cluster en se concentrant sur les produits et résultats au niveau pays. Cette seconde phase est menée par un consortium entre le Global Public Policy Institute (GPPi) et le Groupe Urgence, Réhabilitation, Développement (Groupe URD). UN OCHA et le comité de pilotage de la phase 2 de l’Evaluation Cluster2, qui regroupe des représentants des Nations Unies (UN), des bailleurs et des ONG internationales, sont responsables de cette évaluation. 4. Cette évaluation informera les décideurs à la fois au siège et sur le terrain, comprenant le IASC, les organisations humanitaires participant à l’approche Cluster, UN OCHA, les gouvernements hôtes, les bailleurs ainsi que l’ensemble des communautés humanitaires locales et internationales. 1 2 the Inter-Agency Standing Committee (IASC) Cluster Evaluation Phase 2 Steering Group 3 2. Objectifs, cadre et limites de l’évaluation 2.1. Objectif de l’évaluation 5. La phase 2 de l’évaluation Cluster évalue l’efficacité opérationnelle et les principaux résultats de l’approche cluster dans le but de proposer des recommandations concrètes aux niveaux global et pays pour améliorer l’approche Cluster. Elle évalue également l’interaction de l’approche Cluster avec les autres piliers de la réforme humanitaire et sa contribution à une assistance humanitaire appropriée et coordonnée. De plus, l’évaluation contribuera à l’élaboration d’indicateurs de résultats (effets à moyen-terme) spécifiques clusters qui pourront alors être utilisé pour créer une ligne de référence (baseline) pour de futures évaluations. Comme le premier objectif de l’évaluation est d’encourager l’apprentissage, son but est d’identifier les facteurs qui entravent ou permettent l’approche cluster d’atteindre ses objectifs. 6. L’évaluation se concentrera sur l’analyse des résultats observés dans chaque pays et cherchera à faire remonter la réalité du terrain aux décideurs au niveau global. 2.2. Cadre de l’évaluation 7. Suite à la discussion et la validation par le comité de pilotage de la Phase 2 de l’évaluation Cluster, le cadre de l’évaluation est le suivant (voir l’Annexe 1 pour le résumé des discussions avec le comité de pilotage, produit par OCHA) : 8. Critères d’évaluation : L’évaluation évalue la performance de l’approche cluster à travers les critères d’efficacité, d’efficience, de cohérence, de pertinence et d’effets (plutôt que d’impacts), comme défini par le Guide « Evaluating Humanitarian Action using the OECD-DAC Criteria3 » (2006). 9. Géographie/localisation : La phase 2 de l’évaluation Cluster porte sur six études pays, couvrant différents types d’urgences et différents étapes de mise en œuvre de l’approche cluster. De plus, les évaluateurs se rendront à Genève, Nairobi et New York pour tenir les réunions nécessaires et pourront également avoir des entretiens téléphoniques avec les parties prenantes. Pays Sélection de critères Haiti Crise soudaine (à répétition) / catastrophe, plus crises prolongées Mission intégrée Autres mécanismes de coordination préexistant Crise soudaine / catastrophe, plus crises prolongée dans certaines régions Faible engagement avec le gouvernement En transition Crises prolongée / conflit Mission intégrée planifiée Autres mécanismes de coordination préexistant Myanmar Tchad 3 Evaluer l’action humanitaire en utilisant les critères de l’OCDE-CAD 4 Gaza Ouganda RDC Crises prolongée / conflit Faible engagement avec les autorités locales, engagement avec le gouvernement d’Israël Crises prolongée / conflit Fort engagement avec le gouvernement En transition – opportunité d’observer un cycle entier de l’opération cluster Crises prolongée / conflit Mission intégrée Financement humanitaire commun 10. Temps/Timing : Les études pays se concentrent sur la situation présente et le travail des clusters pendant la précédente ou la crise en cours. Lorsque c’est possible, les études pays cherchent à inclure dans l’analyse, la situation précédant l’introduction de l’approche cluster ou la situation dans les zones du pays où l’approche cluster n’a pas été mise en œuvre. 11. Les Clusters et les parties prenantes : L’évaluation essaye, autant que possible, de fournir une vision globale et complète de tous les clusters présents et de toutes les problématiques pertinentes se recoupant dans les 6 pays. Ce qui implique une analyse approfondie limitée pour chaque cluster et problématique mais permet à l’équipe d’évaluation d’évaluer donc les problèmes inter-cluster. Ce qui comprendra toutes les parties prenantes pertinentes (Cf. cartographie des parties prenantes, p. 14) dans l’analyse au niveau local dans les six cas pays et au niveau global, dont les organisations qui participent ou non à l’approche cluster. Les évaluateurs chercheront à rassembler les témoignages de partenaires de mise en œuvre sur le terrain et des populations affectées ou leurs représentants dans le but de vérifier les données collectées et la qualité de la réponse humanitaire et de montrer d’autres effets de l’approche cluster. 12. Les niveaux : L’évaluation analyse les effets de l’approche cluster sur la qualité de la réponse humanitaire en terme d’amélioration de la couverture ; appropriation et connectivité (LRRD), aussi bien que les effets sur le système humanitaire (c’est-à-dire les relations entre les acteurs humanitaires et la capacité du système à prendre en considération les problématiques interdisciplinaires et intersectorielles). Une analyse des intrants et du support apportés grâce à l’approche cluster ainsi que la contribution de l’approche sur « la prévisibilité du leadership », le partenariat, et la cohérence et la redevabilité permettra d’expliquer les résultats des observations et d’élaborer des recommandations pour renforcer l’approche cluster. 2.3. Limites de l’évaluation 13. Les limites de la phase 2 de l’évaluation de l’approche cluster sont liées à celles de la méthodologie et des données mais aussi aux contraintes financières et de capacité. Les limites les plus importantes sont les suivantes : 14. Pas d’évaluation pays approfondies : L’équipe d’évaluation conduira six études pays, préparera six rapports pour chacune d’elle et présentera les leçons spécifiques pour chaque pays, si c’est pertinent, des recommandations. Encore une fois, les études pays seront conduites dans le but d’informer l’évaluation globale de l’approche cluster et ne pourront être équivalentes à des évaluations complètes de la réponse humanitaire au niveau de chaque pays. 5 15. Une comparabilité limitée : la possibilité, pour l’équipe d’évaluation, de mener des analyse comparatives est limitée par deux facteurs. Premièrement, le comité de pilotage de la phase 2 de l’Evaluation Cluster, n’a sélectionné, comme étude de cas, que des pays où l’approche cluster a été mise en place. De plus, l’équipe d’évaluation s’attend à ce que seulement très peu d’acteurs aient pu expérimenter des réponses humanitaires à la fois avant et après la mise en place de l’approche cluster. Ce qui limite les possibilités de comparer la qualité de la réponse humanitaire dans les zones avec ou sans l’approche cluster. L’équipe d’évaluation cherche à aborder ces limites en essayant de trouver des contextes sans cluster au sein d’un pays et par l’identification d’acteurs connaissant la situation avant la mise en place de l’approche cluster. Cependant, une comparaison systématique entre l’approche cluster et d’autres approches alternatives ne sera pas possible. Deuxièmement, le contexte de réponse humanitaire varie fortement d’une étude de cas à l’autre et le nombre d’exemples est limité. Une comparaison systématique entre les différentes mises en place sera donc impossible et les possibilités d’extrapoler les résultats au système dans son ensemble seront limitées. 16. Pas d’évaluation d’impact et les difficultés d’attribution : Attribuer les changements concernant la dignité et le bien-être des populations affectées à l’approche cluster est difficile, voire impossible. L’évaluation ne conduit pas d’évaluation globale d’impact. Au lieu de cela, l’évaluation cherche à analyser les effets de l’approche cluster sur la qualité de la réponse humanitaire, notamment en termes d’amélioration de la couverture géographique et thématique ainsi que de qualité de la couverture et de renforcement de l’appropriation et de connectivité (LRRD). L’évaluation s’assure donc de la collecte et de l’analyse des données existantes ou utilisées par les clusters au niveau pays pour évaluer leur performance par rapport aux populations affectées. 17. Une participation limitée des populations affectées : L’évaluation cherche à identifier les effets des mécanismes de coordination sur la qualité de la réponse humanitaire. Les populations affectées et lorsque c’est le cas, la communauté hôte seront consultées pour valider le niveau de qualité de la réponse obtenue. L’équipe d’évaluation ne cherchera pas cependant à prendre en considération les points de vue des populations affectées sur les mécanismes de coordination eux-mêmes puisqu’il est nécessaire d’avoir un minimum d’information et de connaissances de ceux-ci. 18. Une couverture limitée des autres éléments de la réforme humanitaire : l’évaluation étudie la façon dont l’approche cluster interagit avec les autres piliers de la réforme humanitaire, et tout particulièrement les financements prévus et le rôle des Coordinateurs Humanitaires. Toutefois, l’évaluation ne fournira pas une appréciation complète ou des recommandations sur la réforme des ces autres piliers. 19. Des analyses approfondies spécifiques des clusters limitées : L’évaluation étudie tous les clusters mises en œuvre dans les six pays. L’étendue des données collectées restera donc limitée à chacun de ces clusters. 20. Le manque d’information / les problèmes liés à la qualité des données / impossibilité de générer des données techniques pour les « baselines ». L’équipe d’évaluation collecte et compile des données pertinentes disponibles. Cependant, ces données peuvent ne pas être disponibles ou de mauvaise qualité pour répondre à toutes les questions pertinentes. L’évaluation tente autant que possible de trianguler les données disponibles mais ne peut créer des nouvelles données se rapportant aux indicateurs et standards humanitaires. Lorsque les données pour des « baselines » ne sont pas disponibles, l’évaluation conseillera sur la nature des données qui devront être collectées à l’avenir. 6 21. Une couverture des indicateurs limitée. Le « Cadre d’Analyse » de la phase 2 de l’évaluation cluster propose 47 indicateurs génériques et 55 indicateurs spécifiques cluster. La collecte de données pour 102 indicateurs dans 6 pays n’est pas faisable. A la place, l’équipe d’évaluation a fusionné les 47 indicateurs génériques en 21 indicateurs clés compréhensibles liés aux questions de l’évaluation (cf. section 3.3 et l’Annexe 5). La plupart, des indicateurs spécifiques cluster fournis par le « Cadre d’Analyse » sont liés à ces indicateurs génériques, c’est-à-dire par les indicateurs suivants, l’évaluation de la prévisibilité du leadership, les partenariats, la cohérence, la redevabilité, l’augmentation de la couverture, l’appropriation et de la connectivité (LRRD) de chaque cluster, couvrent la plupart des indicateurs spécifiques cluster. Concernant l’effet de la réponse humanitaire sur les populations affectées, l’équipe d’évaluation collectera les indicateurs techniques utilisés au niveau global et sur le terrain et en générera des informations. Basés sur ces informations, l’équipe d’évaluation proposera des indicateurs de résultat et d’effet spécifiques cluster et présentera les bases de données existantes à la fin du processus d’évaluation. 22. Changements en cours : L’approche cluster ne représente pas un système fixe, mais des changements sont constamment en cours. Ainsi l’objectif de l’évaluation est une « cible en mouvement » et l’évaluation comprend des aspects de l’évaluation en temps réel. Puisqu’il y aura un décalage dans le temps entre la mise en œuvre des études pays et la finalisation des rapports pays et du rapport de synthèse, ces rapports ne couvriront pas forcement les éléments développés récemment. 7 3. Méthodologie 3.1. Approche globale 23. L’évaluation adopte principalement une approche inductive, utilisant des données quantitatives lorsqu’elles sont disponibles et reposant surtout sur des données qualitatives. Les données seront tirées de sources primaires et secondaires, d’observations sur le terrain, d’entretiens avec des informateurs clés, et d’enquête avec toutes les parties prenantes au niveau global. L’évaluation vise autant que possible à collecter des preuves empiriques, et non à rapporter juste des perceptions. L’équipe d’évaluation, avec les différentes perceptions de toutes les parties prenantes, fera différentes propositions explicites et expliquera sa propre appréciation basée sur des preuves empiriques collectées. 24. L’approche de l’évaluation est basée sur le « modèle logique » inclus dans le « Cadre d’Analyse » de la phase 2 de l’évaluation cluster. Dans le but d’évaluer les réussites et les défauts de l’approche cluster, l’équipe d’évaluation collecte des preuves à tous les niveaux, y compris les intrants (inputs), les produits/ processus, les résultats et les effets intermédiaires, à l’exception de la « préparation des désastres », qui a déjà été couverte par la phase 1 de l’évaluation. Le premier objectif de l’évaluation est l’appréciation des effets de l’approche cluster en termes d’amélioration de la couverture, de l’appropriation et de la connectivité (lien urgence-développement). 25. L’équipe d’évaluation comprend les produits / processus, listés dans le « modèle logique », comme les moyens d’atteindre les résultats indiqués et les effets intermédiaires. Par conséquent, le but final de l’approche cluster est d’améliorer la couverture, ainsi que l’appropriation, et la connectivité, grâce à un renforcement de la prévisibilité du leadership, des partenariats, de la cohésion (correspondant à la coordination) et la redevabilité. Nous comprenons « partenariat » comme faisant référence aux relations entre les acteurs humanitaires (incluant les acteurs ou non des Nations Unies, aussi bien les acteurs internationaux que locaux participant ou non à l’approche cluster). « La redevabilité (accountability) » implique celle entre clusters et les Coordinateurs Humanitaires, entre les membres des clusters et les agences responsables de cluster et la redevabilité aux populations affectées, cette dernière ciblant particulièrement la participation. Nous comprenons les « lacunes comblés et une meilleure couverture » comme faisant référence à une meilleure couverture géographique et thématique, mais aussi une qualité améliorée et plus spécifiquement le ciblage de l’assistance. Pour l’équipe d’évaluation, « l’appropriation » concerne la société civile et gouvernementale nationale et locale ainsi que les institutions privées ; la « connectivité » cible la « durabilité » des interventions plutôt que leurs liens avec d’autres domaines politiques. 3.2. Questions clés et critères de l’évaluation 26. La Phase 2 de l’évaluation de l’approche cluster se concentre sur les principales questions clés, tirées des Termes de Références, du « Cadre d’Analyse » de la phase 2 de l’approche cluster et de commentaires du comité de pilotage : • Quels sont les effets (intentionnels ou non) des activités qui ont été mises en œuvre dans le cadre des opérations de l’approche cluster ? 8 • Pourquoi ? Quels facteurs contribuent ou entravent mise en œuvre efficace de l’approche cluster ? Les facteurs potentiels comprennent : o La flexibilité de l’approche cluster et ses effets sur l’efficience des activités clusters o Le niveau de financement disponible pour les clusters o Les intrants appropriés et suffisants de toutes les organisations pertinentes o Capacité / problématiques financières / conflits d’intérêts entre les agences responsables de cluster et les membres de cluster (par exemple la « double responsabilité » des agences / organisations responsable de cluster) o Les défis spécifiques pays comme la sécurité et l’accès o Les facteurs motivants la participation des agences et des équipes o Cohérence avec les mandats et principes humanitaires etc. • Il y a-t-il des preuves confirmant les relations de causalité supposées entre les intrants, les produits voulus et les objectifs de l’approche cluster ? • Qu’est-ce qu’il peut être fait pour renforcer les effets positifs de l’approche cluster et réduire les effets négatifs, s’il y en a ? Questions clés de l’évaluation a. Jusqu’à quel point l’approche cluster a modifié ou renforcé la réponse humanitaire (en termes de lacunes comblées et de qualité et de meilleure couverture géographique, thématique, mais aussi d’appropriation / connectivité) ? b. Quels sont les effets de l’approche cluster intentionnels ou non, positifs ou non qui peuvent être démontrés concernant les populations affectées, la coordination, et les interactions entre les organisations participantes et le système humanitaire dans son ensemble ? c. Comment l’approche cluster interagit avec les autres piliers de la réforme humanitaire, en particulier le système de Coordination Humanitaire (HC system), les nouveaux mécanismes de financement de la réforme et son application dans l’esprit ‘Principes de partenariat’ ? d. A quel point l’approche cluster atteint les produits (résultats) voulus (prévisibilité du leadership, partenariat / cohérence, redevabilité) ? e. Est-ce que l’approche cluster permet aux organisations participantes de délivrer une meilleure réponse à travers la coordination et le partage d’informations ? f. Quel type de support est apporté par les clusters globaux et comment est-il concrètement utilisé aux niveaux pays et terrain ? Quels « intrants » inclus dans les Termes de références génériques n’ont pas été fournis ? g. Il y a-t-il des preuves que les résultats de l’approche cluster justifient les « intrants » des principaux donateurs comme IASC, les ONG, les communautés hôtes et les donateurs niveau pays ? Critères Efficacité (résultats) Effets (plutôt qu’ « impact ») Cohérence Efficacité Pertinence Efficience Efficience 3.3. Critères de performance / indicateurs and facteurs explicatifs 27. Pour tous les critères et les questions clés de l’évaluation décrits ci-dessus, l’équipe d’évaluation a développé et mise en œuvre un set d’indicateurs génériques (voir Annexe 5). 9 Ces indicateurs sont basés sur le « modèle logique » et les indicateurs préliminaires fournis dans le « Cadre d’Analyse » de la phase 2 de l’évaluation cluster. L’équipe d’évaluation a repris les indicateurs initiaux, les a opérationnalisé et en prenant en compte différentes problématiques et échelles en les priorisant (notation), a réduit significativement le nombre total d’indicateurs mais couvrant toujours à peu près toutes les problématiques proposées dans l’original. Les notations numériques fournis (0 à 3) sont ordinales mais ne seront pas agrégées pour le résultat final. Ces notations seront plutôt utilisées pour présenter des informations complexes et détaillées de façon plus simple avec des figures et des illustrations. L’illustration 1 montre comment les indicateurs sont reliés aux différentes parties du « modèle logique ». Illustration 1: Les indicateurs du « modèle logique » Clarity of the concept of "provider of last resort" and level of assumption of the related responsibilities Effets Amélioration de l’ensemble des conditions humanitaires et du bien-être des populat ions affectées 7. Effets de l’approche cluster sur les populations affectées, les agences, et l’ensemble du système humanitaire. 21. Evidence que les résultats de l’approche cluster justifie les investissements effectués. Résultats Lacunes comblées, meilleure couverture Outcome Appropriation & Connectivité (LRRD) 1. Etendre la couverture géographique 5. Participation d’acteurs nationaux et locaux de façon appropriée 2. Etendre les couvertures thématiques 6. Stratégies de transmission et de retrait 3. Qualité de des couvertures géographiques et thématiques 4. Couverture de l’ETC et des services logistiques Produits Plus de réponses stratégiques Leadership prévisible Cohésion et partenariats 10. Clarté des rôles et le niveau de prise de responsabilité des agences 12. Qualité des relations au sein des cluster entre membres et non-membres 11. Clarté du concept « fournisseur de dernier recours », prise de responsabilité 13. Qualité des relations inter-clusters 14. Qualité du partage d’informations 15. Cohérence des politiques et activités 16. Conformité à des standards pertinents Intrants Responsabilité (Accountability) 17. Participation et responsabilité du travail accompli vis-à-vis des populations affectées (accountability) 18. Mécanismes de responsabilisation et échanges sur le travail accompli (accountability) entre HC/RC et les custers et au sein même des clusters Approche cluster mise en œuvre Support du Global cluster Prévention et préparation des crises 20. Qualité et niveau de supports du Global Cluster 28. La liste d’indicateurs en Annexe 5 contient également des questions détaillées liées à des données clés potentielles qui peuvent être utilisées pour apprécier les 21 indicateurs. Les équipes d’évaluation par pays en consultant les équipes terrain4 pertinentes adapteront les questions et toutes les données clés à chacun des contextes des pays et des clusters afin d’évaluer les résultats (couverture, appropriation et connectivité –LRRD) et les produits (prévisibilité du leadership, partenariat et cohérence, et redevabilité) de chacun des clusters. De plus, l’équipe d’évaluation collectera des indicateurs techniques existants (orientés résultats et effets) utilisés pour tous les clusters pertinents aux niveaux global et pays, et ce pour compléter l’évaluation. Basé sur ces indicateurs et les indicateurs génériques, l’équipe 4 L’équipe d’évaluation diffusera la liste complète des indicateurs entre les différentes parties prenantes pendant les études de cas pays puis à la réunion du Comité de Pilotage du 27 Août. 10 d’évaluation proposera comme un des résultats de celle-ci un set d’indicateurs spécifiques clusters qui pourra être utilisé pour la création de « baselines » pour de futures évaluations. L’illustration 2 décrit les processus envisagés et les résultats. Illustration 2 : De l’approche aux indicateurs 29. Finalement, l’évaluation concerne les facteurs contribuant ou entravant la mise en œuvre de l’approche cluster. Pour identifier ces variables indépendantes, l’équipe d’évaluation formulera des hypothèses qui guideront la collecte des données aux niveaux pays et global. Sur la base des trois premières études premiers pays et de recherches au niveau global, l’équipe d’évaluation évaluera les variables indépendantes possibles via un atelier (brainstorming) interne. L’équipe appliquera les techniques d’analyse par scénarisation5 et de variables aléatoires6 dans le but d’identifier des variables omises et sélectionner les variables les plus pertinentes. L’étude de trois pays permettra de générer de nouvelles preuves empiriques pour déterminer la pertinence des ces facteurs. 5 Une analyse par scénarisation est une analyse qui tente de d’élaborer une chaine de causes en changeant d’importantes variables et en imaginant différents scénarios possibles (par exemple que ce passe-t-il si le cluster x et le cluster y dans un pays z n’aurait pas été mis en place ?) 6 Travailler avec des variables aléatoires signifie qu’il faut introduire des variables indépendantes aléatoires dans le but de tester la pertinence des variables indépendantes existantes et identifier de possibles variables oubliées. Par exemple quels seraient les résultats d’une variable indépendante y, on peut l’observer une fois (pendant une visite terrain) mais tous les mois ? 11 3.4. Outils de collecte des données 30. L’équipe d’évaluation travaillera avec des données principales et secondaires pertinentes des niveaux pays et global. Les données seront collectées de la façon suivante : 31. Données secondaires : Une source importante d’information pour l’évaluation sera les données secondaires, créées par d’autres que les évaluateurs. Ces données incluent les documents (compte-rendu de réunions, rapports de situation, données de suivis, résultats d’évaluations, statistiques existantes, documents d’appel d’offre etc.) mais aussi la bibliographie pertinente fournie, au niveau pays et global, Les données seront récupérées de différents parties pertinentes (par exemple Bibliothèque Web) et à travers des recherches. 32. Données principales : Les évaluateurs vont créer des données principales grâce à quatre outils principaux : interviews semi-structurés, observation directe, discussions avec les populations affectées, et enquêtes. Du fait du cadre de l’évaluation, des ressources limitées, du temps limité pour chaque étude de cas pays, il est impossible d’élaborer des données techniques quantitatives principales. La plupart des données principales élaborées seront qualitatives. • Interviews semi-structurés : Les interviews seront guidées par les indicateurs de l’évaluation et les questions clés liées (cf. Annexe 5). Ils auront pour but de compléter les informations collectées via les analyses de données secondaires, de tester les hypothèses, de croiser par triangulation les résultats, et de favoriser l’appropriation des différentes parties prenantes. Des interviews seront menées aux niveaux, global (Europe et New York), régional (Nairobi) et aux niveaux pays (Ouganda, Myanmar, Tchad, oPT7, RDC). Autant que possibles, les personnes à interroger seront sélectionnées de façon à couvrir différents types de parties de prenantes (voir la cartographie des parties prenantes p. 14) et de clusters. De plus des sessions de « retour d’informations (feedback) » seront mises en place à la fin de chaque mission terrain avec les parties prenantes clés. Le but des ces groupes de discussion étant de travailler ensemble sur les solutions possibles des faiblesses identifiés. • Observations directes au niveau pays : Les évaluateurs vont sélectionner les programmes à visiter pendant les missions terrain. Ce qui permettra des observations directes du contexte de la crise, des activités des programmes, et des réussites. Ces données permettront la triangulation des données secondaires et des informations obtenues lors des interviews. De plus, les évaluateurs assisteront, comme observateurs, à certaines réunions sélectionnées (par exemple les réunions de management, les réunions des équipes humanitaires pays, les réunions intra ou inter-clusters), à des ateliers et des formations pendant les missions terrain. • Discussions avec les populations affectées & les communautés hôtes : Du fait de la forme et du type de questions clés liées à l’évaluation, les interactions avec les populations affectées seront limitées. Néanmoins, en particulier pour déterminer les effets de l’approche cluster, les populations affectées et les communautés hôtes sont des interlocuteurs très importants pour valider les conclusions, les illustrer et collecter des témoignages. En particulier, les populations affectées, dans les crises prolongées ou les catastrophes récurrentes, peuvent souvent témoigner des différences de la 7 Territoires Palestiniens Occupés 12 réponse humanitaire avant la mise en place de l’approche cluster et par conséquent, représentent une source d’information importante concernant les changements de l’assistance humanitaire dans le temps. Pour collecter les points de vue des populations affectées, les évaluateurs sélectionneront plusieurs camps, sites, villages et d’autres lieux dans chaque pays où l’assistance humanitaire est fournie, en espérant ainsi couvrir différents circonstances et différents niveaux de performance (mais aussi, où cela est possible, les zones où l’approche cluster a été mise en place et d’autres où elle ne l’a pas été). Les évaluateurs mèneront des entretiens avec les représentants des populations affectées. De plus, ils visiteront différents sites et interrogeront différents individus de façon aléatoire. Les évaluateurs se réfèreront en particulier à trois outils : la chronologie (une analyse des différentes phases de l’action humanitaire, en essayant de suivre les changements et d’identifier les corrélations avec l’introduction de l’approche cluster), les cartographies pour vérifier les oublis à combler, et le diagramme de Venn pour montrer comment les populations affectées comprennent la « coordination » et les relations inter-agences. • Enquête auprès des parties prenantes aux niveaux global/siège : l’enquête comprendra les organisations participantes, les acteurs humanitaires qui ne participent pas à l’approche cluster, et dans les pays introduit ou non dans l’approche cluster. Ces données seront utilisés pour compléter celles déjà collectées aux niveaux terrain et global. Le questionnaire sera établi après le premier tour des missions terrain pour combler les manques dans la collecte de données. 3.5. Organisation de l’évaluation 33. Un consortium entre le « Global Public Policy Institut (GPPi) et le Groupe Urgence, Réhabilitation, Développement (Groupe URD) mènera cette évaluation. L’équipe de huit évaluateurs est dirigée par Julia Steets (responsable global de l’équipe) et François Grünewald (responsable technique de l’équipe). L’évaluation est supervisée par une équipe référente d’UN OCHA dirigée par Claude Hilfiker et le Comité de pilotage composé de parties prenantes des Nations Unies, de bailleurs, et d’ONGs. 13 Illustration 3 : Parties prenantes de l’approche cluster 34. L’équipe d’évaluation consultera les représentants des principaux groupes de parties prenantes comme décrit dans l’illustration ci-dessus (illustration 3). Pour chaque étude pays, une nouvelle cartographie des parties prenantes sera établie. Avant de partir de chaque pays, l’équipe d’évaluation fera une session de débriefing aux principales parties prenantes. 35. L’équipe d’évaluation se charge de convoquer un « groupe de conseil » qui a le rôle de « testeur d’idées » et qui fournit des contacts et une expertise technique pertinente. Ce « groupe de conseil » sera composé de huit membres, choisis pour compléter la composition du Comité de Pilotage. Les membres confirmés du « groupe de conseil » à la date d’aujourd’hui sont : Anne Bauer (ex-directrice du département international de la Croix Rouge Norvégienne et ex-directrice de la Division Urgence de la FAO), Siobhàn Foran (Conseiller Genre, actuellement conseiller GenCap aux Clusters Globaux à Genève et point focal pour la révision des Standards SPHERE et des Standards Minimum INEE), Mukesh Kapila (ex directeur de la branche humanitaire de DFID, ex-assistant du SRSG en Afghanistan, ex- Coordinateur Régional / Coordinateur Humanitaire pour le Soudan, exconseiller spécial de l’Unité Santé en temps de crise de l’Organisation Mondiale de la Santé et actuellement conseiller du Secrétaire Exécutif des Fédérations Internationales de la Croix Rouge), Kate Farnsworth (OFDA, conseillère de l’équipe spéciale DART), Hugues Maury (ex employé MSF, spécialiste en management de la Qualité, et conseiller spécialisé sur les problématiques Qualité au Groupe URD). 14 4. Plan de travail et chronogramme 2009 Recherches générales Elaboration des indicateurs 2010 Phase II: Recherches terrain (22 semaines) Phase III: Synthèse (8 semaines) Mission 1 Mission 3 Mission 5 Mission 2 Mission 4 Mission 6 Construction et mise en œuvre du projet Ecriture du rapport de démarrage Analyses de données : visites terrain, documents et bibliographie, enquêtes Compléments et analyses Vacances de fin d’année Phase I: Démarrage (6 semaines) Préparation logistique des visites terrains 6 rapports Ebauche du rapport de pays synthèse Rapport de démarrage TéléConférence Atelier de restitution Atelier de restitution Rapport de synthèse final 15 5. Rapports et diffusion 36. Basée sur les Termes de Références, le cadre méthodologique de la Phase 2 de l’Evaluation de l’Approche Cluster et le présent rapport de démarrage, l’équipe d’évaluation soumettra les rapports au responsable référent et au Comité de Pilotage : • Six rapports pays, contenant les résultats et les recommandations de chaque étude pays • Le rapport de synthèse, contenant les conclusions communes aux différents pays, les résultats de l’analyse du niveau global et les recommandations pour les parties prenantes au niveau global. • Le résumé des données des rapports, contenant les données pertinentes dans un format « facile à utiliser ». 37. L’équipe d’évaluation soumettra tous les rapports dans un bon Anglais Standard. De plus, les Termes de Références de l’évaluation, le cadre méthodologique de la Phase 2 de l’Evaluation de l’Approche Cluster, le rapport de démarrage, le résumé exécutif de tous les rapports pays, le résumé exécutif du rapport de synthèse et les rapports complets sur le Tchad, la RDC et Haïti, seront soumis en Français. L’ensemble de ces rapports seront conformes aux Standards pour l’Evaluation du Système des Nations Unies et au proforma Qualité d’ALNAP. 38. Les principales conclusions (résultats) et recommandations de l’évaluation seront présentées au Comité de Pilotage de la Phase 2 de l’Evaluation Cluster, ainsi qu’au Groupe de Travail du IASC. Après validation du Comité de Pilotage, les rapports, recommandations et données seront rendus publiques sur www.gppi.net/consulting/cluster_approach/ . De plus, GPPi et le Groupe URD diffuseront les résultats de l’évaluation à travers leurs réseaux institutionnels et leurs organisations partenaires et pourront présenter les conclusions lors d’autres réunions pertinentes. 16 Annexe 1 : Acronymes Les acronymes étant des acronymes anglais, il est donné ci-après la correspondance dans la langue originale puis en italique, sa traduction en français. ALNAP Active Learning Network for Accountability and Performance in Humanitarian Action – Réseau pour l’apprentissage actif pour la redevabilité et la performance de l’action humanitaire CE2 cluster approach evaluation phase 2 – Phase 2 de l’évaluation de l’approche Cluster CE2StG Cluster Evaluation phase 2 Steering Group – Comité de Pilotage de la phase 2 de l’Evaluation Cluster COB close of business - Clôture (de phase ou contrat) DRC/RDC Democratic Republic of Congo – République Démocratique du Congo ERC Emergency Response Coordinator – Coordinateur de la Réponse d’Urgence ETC Emergency Telecommunications – Télécommunications d’Urgence GHP Global Humanitarian Platform – Plateforme Globale Humanitaire GPPi Global Public Policy Institute – Institut de politiques publiques globales HC Humanitarian Coordinator – Coordinateur Humanitaire IASC Inter-Agency Steering Committee – Comité de Pilotage inter-agence INGO International Non-Governmental Organization Internationales Non-Gouvernementale IR Inception Report – Rapport de démarrage NGO / ONG Non-Governmental Organization – Organisation Non-Gouvernementale OCHA United Nations Office for the Coordination of Humanitarian Affairs – Bureau de Coordination des Affaires Humanitaires des Nations Unies OCHA ESS OCHA Evaluation and Studies Section - Section Etudes et Evaluation d’OCHA OECD-DAC Organisation for Economic Co-operation and Development Development Assistance Committee – OCDE-CAD : Organisation de Coopération et de Développement Economique – Comité d’Aide au Développement RC Regional Coordinator – Coordinateur Régional TORs Terms of Reference - Termes de Références UN United Nations – Nations Unies UNHCR United Nations High Commissioner for Refugees – Haut Commissariat aux réfugiés des Nations Unies URD Groupe Urgence – Réhabilitation – Développement WHO World Health Organisation – Organisation Mondiale de la Santé – Organisation 17 Annexe 2 : Résumé des discussions du Groupe de Pilotage Le résumé suivant des discussions du Groupe de Pilotage a été envoyé à tous les participants par UN OCHA : • Mise à part certains points des discussions mentionnés ci-dessous, Le Groupe de Pilotage est globalement d’accord avec le rapport de démarrage présenté (IR), et plus particulièrement sur le chronogramme présenté, le cadre et les produits de l’évaluation, mais aussi sur les limites indiquées dans le présent rapport de démarrage. • Le CE2StG se réjouit de la réduction du nombre d’indicateurs proposée par le Groupe URD & GPPi. • Il a été accepté que GPPi & le Groupe URD affineront davantage les indicateurs spécifiques cluster. Dans ce cadre, WHO et UNHCR ont exprimé leur souhait d’être consulté à cet effet. • Il a été accepté que la Phase 2 de l’évaluation devrait se concentrer sur les résultats de l’approche Cluster, plutôt que sur les processus (comme défini dans le « modèle logique » du « cadre méthodologique » de l’évaluation). • Il a été discuté de la difficulté pour l’évaluation de générer des « baselines » pour de futures évaluations et qu’il s’agit là d’un projet à part entière. Cependant, l’évaluation développera des indicateurs qui pourront être utilisés pour le suivi de la performance des Clusters à l’avenir. • Les membres du CE2StG ont souligné que l’évaluation ne doit pas oublier aussi d’évaluer les interactions avec les autres piliers de la réforme humanitaire. • Il a été rappelé également que l’évaluation devra inclure une analyse « cout-bénéfice » de l’approche cluster. • Le rapport de démarrage devrait plus développer les aspects stratégies d’inclusion des problématiques croisées dans le travail des Clusters et développer avec plus de détails, comment la problématique du « Genre » sera intégrée dans l’évaluation. • Il a été conclu que le CE2StG et le consortium GPPi&Groupe URD devront informer toutes les parties prenantes clés du terrain de l’évaluation à venir et que les indicateurs spécifiques cluster devrait être discutés avec ces derniers. • Il a été conclu également que le consortium GPPi&Groupe URD mette en place un « groupe de conseiller technique », qui vérifiera l’approche méthodologique et technique (fonction de vérification, d’aller-retour en paires) 18 Actions à mettre en œuvre : 1) Le CE2StG fournira les commentaires par écrits sur le rapport de démarrage à OCHA ESS jusqu’à COB 31 Juillet. 2) Le consortium GPPi&Groupe URD incorporera ces commentaires, de la façon la plus appropriée, dans le rapport de démarrage. Le rapport sera de nouveau à partager avec le CE2StG. 3) Il a été conclu que la prochaine réunion CE2StG se tiendra le 27 Août, entre 15 :00 et 16 :30 avec comme objectif de finaliser le rapport de démarrage. 4) OCHA ESS se charge d’organiser de la traduction de la documentation principale du CE2 en Français. 5) GPPi & Groupe URD transmettront une brochure (ébauche en pièce jointe) à propos du projet au CE2StG qui pourrait le distribuer au différentes parties prenantes. Si aucun commentaires sont reçu avant le 31 Juillet, nous considérons que cette brochure est approuvée par le CE2StG3. 19 Annexe 3 : Ebauche de plan pour les rapports pays (~ 25 pages) Le résumé exécutif, comprenant les résultats clés et leurs sources (~3 pages) 1. Contexte du pays (~1 page) • Nature et historique de l’urgence • Description de la réponse humanitaire (Qui, quoi, pour combien de temps ?) • Modalités de coordination avant la mise en place de l’approche cluster • Modalités usuelles de l’approche cluster au niveau global • Statuts de l’approche cluster (depuis quand est-elle mise en œuvre, quels sont les clusters activés, dirigés par qui, principales activités ?) 2. Objet, cadre et méthode (~2 pages) 3. Résultats (conclusions) (~17 pages) • Quel type de support des clusters globaux apporte aux clusters pays et terrain (standards, bonnes pratiques, support opérationnel, conseils et formations) et comment sont utilisés ces supports ? • A quel point les mesures prises dans le cadre de la réforme permettent d’atteindre les produits escomptés (prévisibilité du leadership, partenariat/cohérence, redevabilité) • Comment l’approche cluster interagit avec les autres piliers de la réforme, et tout particulièrement avec les Coordinateurs Humanitaires, les mécanismes de financement et les principes de partenariats de la Plateforme Globale Humanitaire dans le contexte de ce pays ? • A quel point l’approche cluster renforce la réponse humanitaire (en termes d’oublis à combler/meilleure couverture, appropriation/connectivité) ? • La mise en œuvre de l’approche cluster a-t-elle des effets intermédiaires démontrés sur les populations affectées pour chaque cluster et les problématiques croisées ? • Quels effets, escomptés ou non, positifs ou non de l’approche cluster par rapport aux populations affectées, à la coordination et aux interactions entre les organisations participantes et le système humanitaire dans son ensemble, peuvent être démontrés ? • Quels facteurs contribuent ou entravent une mise en œuvre efficace de l’approche cluster pour cette étude de cas pays (incluant le support du global cluster) ? • A travers quels mécanismes, l’approche cluster contribuent ou entravent la délivrance d’une assistance plus efficace et plus efficiente dans cette étude de cas pays ? 20 4. Conclusions et recommandations (~2 pages) • Il y a-t-il des preuves de relations causales adoptées entre les intrants, les résultats escomptés et les objectifs de l’approche cluster / il y a-t-il des preuves que les activités de l’approche cluster contribuent à augmenter la couverture, à permettre de combler des oublis et à renforcer l’appropriation et la connectivité ? • Est-ce que les résultats justifient les investissements (des clusters globaux et autres acteurs comme le IASC, les agences UN, les ONG, les gouvernements et les bailleurs) jusqu’ici ? • Recommandations (en fonction du lieu) : Comment la réponse humanitaire et l’approche cluster peuvent être renforcées dans le pays et le contexte terrain par des actions de : les agences responsables de cluster global ; les agences responsables de clusters pays et local ; le Coordinateur Humanitaire ; les ONG (internationales et locales) ; les gouvernements hôtes (nationales et locales) ; autres acteurs humanitaires ? Annexe : Liste des personnes interviewée et consultée et les sites visités Annexe : Original des Termes de Références pour l’évaluation Annexe : Abréviations 21 Annexe 4 : Ebauche de plan pour le rapport de synthèse (~36 pages) Le résumé exécutif, comprenant les résultats clés et leurs sources (~4 pages) Préface (~3 pages) • Quel était l’organisation de l’évaluation, comment a-t-elle été menée, comment estelle liée à d’autres évaluations (HRR et phase 1) ? • Quelles furent les plus grands risques de l’évaluation ? • Cadre, limites et méthodes de l’évaluation 1. Introduction (~2 pages) • Pourquoi l’approche cluster a-t-elle été introduite et que cherchait-elle à accomplir/réaliser ? • Quels clusters existent et quels sont les autres éléments critiques de la réforme humanitaire ? • Où l’approche cluster a-t-elle été mise en place, en combien de temps et quelles sont les modalités usuelles de mise en œuvre ? • Où l’approche cluster n’a pas été introduite ? et pourquoi ? • Qu’est-ce qui a été fait jusqu’à maintenant pour renforcer l’approche cluster et améliorer son efficacité (en incluant : Quelles recommandations de l’évaluation phase 1 ont été mise en œuvre ?) 2. Résultats (~23 pages) • Quel type de support apporte les clusters globaux et comment est-il utilisé aux niveaux pays et terrain ? • A quel point les mesures prises dans le cadre de la réforme permettent d’atteindre les produits escomptés (prévisibilité du leadership, partenariat/cohérence, redevabilité) • Comment l’approche cluster interagit avec les autres piliers de la réforme, et tout particulièrement avec les Coordinateurs Humanitaires, les mécanismes de financement et les principes de partenariats de la Plateforme Globale Humanitaire dans le contexte de ce pays ? • A quel point l’approche cluster renforce la réponse humanitaire (en termes d’oublis à combler/meilleure couverture, appropriation/connectivité) ? • La mise en œuvre de l’approche cluster a-t-elle des effets intermédiaires démontrés sur les populations affectées pour chaque cluster et les problématiques croisées ? 22 • Quels effets, escomptés ou non, positifs ou non de l’approche cluster par rapport aux populations affectées, à la coordination et aux interactions entre les organisations participantes et le système humanitaire dans son ensemble, peuvent être démontrés ? • Quels facteurs contribuent ou entravent une mise en œuvre efficace de l’approche cluster pour cette étude de cas pays (incluant le support du global cluster) ? 3. Conclusions and recommandations (~ 4 pages) • Qu’est-ce qui a été réalisé/atteint jusqu’ici ? • Il y a-t-il des preuves de relations causales adoptées entre les intrants, les résultats escomptés et les objectifs de l’approche cluster / il y a-t-il des preuves que les activités de l’approche cluster contribuent à augmenter la couverture, à permettre de combler des oublis et à renforcer l’appropriation et la connectivité ? • Résumé des principales recommandations des niveaux pays et terrain • Est-ce que l’approche cluster répond aux attentes des parties prenantes clés et est-ce que les résultats et les effets justifient les investissements (des clusters globaux et autres acteurs comme le IASC, les Agneces UN, les ONG, les gouvernements et les bailleurs) jusqu’ici ? • Recommandations (en fonction du lieu) : Comment la réponse humanitaire et l’approche cluster peuvent être renforcées dans le pays et le contexte terrain par des actions de : les agences responsables de cluster global ; les agences responsables de clusters pays et local ; le Coordinateur Humanitaire ; les ONG (internationales et locales) ; les gouvernements hôtes (nationales et locales) ; autres acteurs humanitaires ? • Recommandations pour chaque cluster, comprenant les responsables et co-responsable de cluster, les membres de cluster, le IASC, les HCs et le ERC et OCHA : L’approche cluster peut-elle et doit-elle être encore plus renforcée au niveau global pour améliorer l’assistance humanitaire ? Si oui, pourquoi et comment ? Si non, pourquoi et quelles sont les alternatives ? Qu’est-ce que les responsables de cluster global doivent faire pour assurer le renforcement des clusters au niveau terrain et pour assurer leurs activités et leur efficience ? Qu’est-ce que les autres organisations, comme les ONG, les gouvernements hôtes ou les communautés doivent faire pour permettre une meilleure efficacité de l’approche cluster ? Annexe : compilation des données PPT Annexe : Liste des personnes interviewée et consultée et les sites visités Annexe : Original des Termes de Références pour l’évaluation Annexe : Abréviations 23 Annexe 5 : Indicateurs (voir le fichier excel) 24
