Retour aux événements

Évaluation d’impact : il existe une autre manière de procéder

Lucy, quatre ans, joue avec Joyce, 13 ans, dans une communauté isolée de la province de Malaita, aux Îles Salomon
Crédit photo : Conor Ashleigh / Save the Children
Date :
Heure :
8h30 - 9h30 HE
Emplacement :
En Ligne
Organisateur:
HAEC

Rejoignez Cycle de preuves de l'assistance humanitaire (HAEC) pour ce webinaire interactif d'une heure pour lancer notre programme en trois parties Perspectives sur l'impact série de webinaires. Au cours de ce webinaire fondamental, l'équipe HAEC présentera les réponses que les évaluations d'impact peuvent apporter, par rapport à d'autres types d'évaluation, ainsi que l'importance des preuves causales dans le secteur humanitaire. 

Dans le prolongement de cet événement, en janvier 2024, HAEC organisera un webinaire engageant pour présenter les principales conclusions de notre rapport, Naviguer dans les contraintes liées à la mise en œuvre des évaluations d’impact dans les contextes humanitaireset détaillent les stratégies efficaces pour surmonter ces défis.

Inscrivez-vous au deuxième webinaire de la série Impact Insights ici

Enfin, en février 2024, les responsables de la mise en œuvre de plusieurs évaluations d'impact financées par HAEC fourniront des exemples concrets pour surmonter ces contraintes en partageant leurs expériences, les défis et les leçons apprises lors de la réalisation d'évaluations d'impact dans des contextes humanitaires.  

Regarder l'enregistrement  Téléchargez les diapositives

 

Foire aux questions des événements HAEC

N'est-il pas contraire à l'éthique de mener des évaluations d'impact dans des contextes humanitaires ? 

Nous avons passé les dernières décennies à bâtir des institutions pour protéger les participants aux projets de recherche sur des sujets humains. Toutes les évaluations d’impact sont soumises à un examen éthique pour garantir cela. Nous savons comment gérer ce souci. 

Concernant le fait de refuser la programmation à un groupe témoin, il existe plusieurs façons éprouvées de contourner ce défi grâce à des choix de conception de recherche : 

  • Les évaluations randomisées peuvent être justifiées dans des contextes où la demande de services dépasse les ressources disponibles. Dans ces cas-là, la répartition aléatoire des bénéficiaires peut constituer une approche juste et éthique de la distribution de l’aide.  
  • Dans les situations où l’aide a été ciblée, il peut être possible de tirer parti d’approches de conception quasi expérimentales qui construisent un groupe contrefactuel en identifiant des bénéficiaires similaires qui étaient légèrement inéligibles sur la base d’évaluations de besoins établies.  
  • Les approches de tests A/B ne nécessitent pas de groupes de contrôle purs, mais chaque groupe se voit attribuer une variante différente du programme. Cela permet de comparer différentes modalités de programme pour évaluer laquelle est la plus efficace ou la plus rentable.
    • Pour en savoir plus sur le rôle des tests A|B, regardez la deuxième vidéo de notre série démystifiant les mythes courants sur l'évaluation d'impact. ici
Que faisons-nous qui nécessite une validation ?  

Le secteur de l'aide humanitaire est un espace où les preuves sont rares par rapport à d'autres secteurs. Pour mettre cela en perspective, HAEC n’a identifié que 163 études sur l’amélioration de la sécurité alimentaire dans les contextes humanitaires. Dans l’agriculture, nous en avons trouvé dix fois plus – environ 1,600 1,100 et dans l’éducation, XNUMX XNUMX. 

En particulier, nous préconisons des évaluations d’impact pour répondre aux questions spécifiques de recherche opérationnelle que peuvent se poser les responsables de la mise en œuvre. Par exemple, « Si j'ajoute une formation à la fourniture d'intrants agricoles, cela rend-il mon programme plus efficace ? » ou « Si je décaisse de l'argent sous forme d'une somme forfaitaire plutôt que plusieurs fois par mois, cela rend-il mon programme plus rentable ? »

Alors que les besoins humanitaires augmentent et que le financement peine à suivre le rythme, nous pensons qu’il est plus important que jamais d’utiliser des données probantes pour éclairer la manière d’optimiser les programmes humanitaires. Les évaluations d’impact nous permettent de comprendre la causalité afin de garantir que nous utilisons les fonds limités de la manière la plus efficace et efficiente possible, afin d’atteindre le plus grand nombre de personnes et d’avoir le plus grand impact. 

Nous tenons à réitérer que nous ne suggérons pas qu’il soit nécessaire d’effectuer une évaluation d’impact pour chaque programme. Lors de la conception d’une évaluation, il est important d’identifier la question à laquelle vous souhaitez répondre et de permettre à cela de guider votre décision concernant la conception de l’évaluation. Nous vous encourageons également à consulter notre carte des lacunes en matière de données probantes pour voir où des preuves existent déjà. Lorsque les preuves n'existent pas déjà, que vous souhaitez tester une nouvelle intervention ou un nouvel ensemble d'interventions, ou que vous êtes intéressé par une intervention bien soutenue dans un nouveau contexte, alors une évaluation d'impact pourrait être la bonne option pour vous. .  

Les développeurs sont tellement limités en bande passante. Comment peut-on prendre cela en compte ?  

Il s’agit d’une considération très importante et nous en entendons parler à maintes reprises. Nous savons tous combien de travail les responsables de la mise en œuvre ont à faire. Nous pensons qu'une évaluation d'impact réussie dans l'espace humanitaire devrait minimiser les demandes adressées à l'équipe de mise en œuvre par l'intermédiaire du personnel de S&E qui joue un rôle de coordination de la recherche. Même si cela peut être géré par une unité de recherche centralisée, ce n’est pas le seul modèle permettant de surmonter cette contrainte. Nous vous encourageons à lire notre rapport Naviguer dans les contraintes pour mieux comprendre notre approche face à cette contrainte (page 10). Cependant, pour décrire quelques-unes des approches de HAEC :  

HAEC propose des formations en personne de renforcement des capacités pour les responsables de la mise en œuvre afin de les former à mieux coordonner et utiliser les preuves issues des évaluations d'impact. HAEC travaille à développer ce programme en une formation en ligne gratuite.  

HAEC a créé une série d'outils et de ressources d'enquête d'évaluation modèles que les responsables de la mise en œuvre peuvent télécharger et adapter pour gagner du temps dans leur processus d'évaluation. Vous pouvez retrouver toutes les ressources de la HAEC ici.

Qu’en est-il des évaluations d’impact lors de crises à évolution rapide ?

HAEC comprend que les délais courts des subventions humanitaires, y compris les démarrages rapides, présentent des défis majeurs pour mener une évaluation d'impact. Pour réduire le temps de préparation de la recherche, HAEC a conçu et mis en œuvre un processus accéléré de comité d'examen interne (IRB) pour les études que nous finançons afin de piloter un processus efficace et facile à naviguer. En outre, HAEC diffuse des outils et des modèles pour minimiser le temps de préparation de la recherche, tels que des formulaires de consentement, des outils d'enquête et du code pour effectuer des calculs d'échantillons.  

De plus, HAEC encourage les bailleurs de fonds à autoriser des mécanismes de financement permettant le prépositionnement de partenariats et de modèles de recherche. Ces partenariats et modèles de recherche peuvent être établis ex ante et mis en place pour être immédiatement déployés en cas de crise. HAEC a récemment publié un blog soulignant à quoi cela ressemble en prévision de la saison des ouragans aux États-Unis, que vous pouvez consulter ici.

Un exemple Une récente évaluation d'impact menée par le Programme alimentaire mondial sur l'action anticipative au Népal en est une illustration.

Quel est le calendrier approprié pour réaliser une évaluation d’impact ?  

Il y a aussi beaucoup de flexibilité ! Il existe une idée fausse selon laquelle les évaluations d’impact nécessitent plusieurs années. Nous démontrons sur HAEC que cela n’est pas nécessairement le cas. Toutes nos études financées ont été lancées et seront achevées dans environ un an. Le facteur clé d’un calendrier d’évaluation d’impact réside dans les résultats que vous souhaitez mesurer et le temps qu’ils mettent à se manifester. Si vous examinez des résultats intermédiaires, voire des résultats (qui peuvent être intéressants dans les approches de tests A/B), vous pourriez réduire considérablement le délai. 

En ce qui concerne le moment où commencer une évaluation d’impact, nous recommandons que le plus tôt soit le mieux ! Il est plus facile de concevoir une évaluation d’impact avant la mise en œuvre du programme afin qu’elle puisse être mieux intégrée dans la conception du programme et surmonter les contraintes opérationnelles. Il peut également y avoir des cas où des données de référence sont requises (c'est-à-dire si vous effectuez une conception quasi-expérimentale et qu'aucune donnée administrative ou de ciblage n'est disponible). 

Comment faire en sorte que le travail des organisations locales soit mis en valeur ?

Utilisation des preuves. Tout le monde pense aux organisations locales en termes de génération de preuves, et c'est important, mais plus encore, ils ont bien plus à dire et à contribuer que leurs collègues internationaux sur la meilleure façon d'utiliser et d'appliquer les enseignements des évaluations d'impact.

Comment pouvons-nous nous assurer que nous utilisons les données probantes issues des évaluations d’impact pour éclairer notre travail ? 

L’une des premières étapes pour garantir que nous utilisons les données probantes est de veiller à les partager largement. À cette fin, l’Evidence Gap Map du HAEC est une ressource utile pour décrire la base de données factuelles existante pour les programmes de sécurité alimentaire. En outre, HAEC propose une série d'évaluations en action, dans laquelle nous travaillons avec les responsables de la mise en œuvre pour publier une note sur leur évaluation d'impact en cours ou récemment achevée. Si vous avez une évaluation que vous aimeriez présenter dans cette série, vous pouvez soumettre les informations ici.

De plus, plus les questions de recherche sont ciblées sur les programmes d’apprentissage de l’organisation ou sur des décisions opérationnelles spécifiques, plus il est probable que les données probantes seront utilisées. C’est pourquoi il est toujours important de commencer par votre question avant de décider si une évaluation d’impact est le bon outil à utiliser. 

Comment identifier et contrôler les nombreuses variables qui pourraient interférer avec la conduite d’une évaluation d’impact dans un contexte humanitaire ?

Les contextes humanitaires présentent des défis uniques en matière de mise en œuvre de la recherche. Nous avons une section à ce sujet dans notre rapport Naviguer sur les contraintes (page 12), mais pour décrire quelques-unes des solutions que HAEC a identifiées pour relever ce défi : Il existe de nombreuses innovations dans la technologie de collecte de données, telles que le téléphone, la réponse vocale interactive ou Des enquêtes SMS que les chercheurs peuvent réaliser à distance. Les équipes doivent également planifier une attrition élevée dans ces cas, en utilisant les mêmes stratégies d'atténuation que celles que nous voyons dans le domaine du développement, telles que la planification d'échantillons plus grands ou la consécration de ressources au suivi des participants.  

Il y a eu quelques critiques sur la conception expérimentale. Comment HAEC répond-elle à ces critiques ? 

Les principales critiques autour des ECR concernent la validité externe et des menaces à la validité interne peuvent encore surgir, ce avec quoi nous sommes d'accord ! Nous dirions cependant que ces critiques ne sont pas propres aux ECR mais constituent des défis pour de nombreuses méthodes de recherche. En ce qui concerne la validité interne, lorsqu'il s'agit d'établir l'attribution, les ECR constituent la meilleure option car les problèmes de validité interne sont généralement moins courants que dans les conceptions quasi expérimentales qui nécessitent davantage d'hypothèses.  

En ce qui concerne les problèmes de validité externe, nous préconisons le recours aux évaluations d'impact pour répondre à des questions de recherche opérationnelle plus ciblées, car nous pensons que ce sont celles-ci qui sont les plus utiles pour les responsables de la mise en œuvre. C'est pourquoi il est important de lier les évaluations d'impact à des questions/décisions opérationnelles spécifiques (par exemple, dois-je ajouter cette composante à mon programme ?) 

Pouvez-vous fournir des exemples d’évaluations d’impact générant des preuves sur l’égalité pour différents groupes (en particulier les groupes vulnérables) ? 

Oui! Notre Carte des lacunes en matière de preuves met en évidence plusieurs études que nous avons identifiées et qui examinent l'efficacité des interventions humanitaires en matière de sécurité alimentaire ciblant certains groupes vulnérables. Nous avons identifié un petit nombre d'études qui examinent les interventions ciblant les femmes, les enfants, les personnes handicapées, les réfugiés et les personnes déplacées à l'intérieur du pays.