Annexe 8: Méthodes d’évaluation d’impact

Évaluation par simple observation après mise en oeuvreÉvaluation par comparaison avant / aprèsÉvaluation par comparaison avec un groupe témoin non équivalentÉvaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation

Évaluation par simple observation après mise en oeuvre

Cette méthode est la plus simple à mettre en œuvre et est appropriée pour des évaluations de moyens et de réalisation.

Elle permet:

Cette méthode présente cependant de grands risques de subjectivité car il est difficile d'isoler les effets de la politique des autres facteurs possibles d'évolution. Elle peut être difficilement utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées.

Techniques utilisées
Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes, etc.

Évaluation par comparaison avant / après

Cette méthode est très répandue. Elle correspond à la démarche naturelle d'évaluation qui cherche à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Elle permet une description plus fine et quantifiée des effets.

Cette méthode présente cependant les mêmes limites que la méthode précédente mais il y a la possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats.

Techniques utilisées
Pré requis: bonne description de la situation de départ pour tous les indicateurs de résultat du projet.

Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes.

Évaluation par comparaison avec un groupe témoin non équivalent

Cette méthode compare un groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques observables sont aussi semblables que possible à celles du groupe cible. Elle permet de mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et de révéler des mécanismes et des comportements face à des politiques incitatives.

La pertinence de cette méthode est limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet cependant de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet d'isoler les biais résultant de la non équivalence (cas d'une "quasi-expérimentation").

Techniques utilisées
Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation.

Évaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation)

C’est la seule procédure totalement rigoureuse d'évaluation. Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet.

Le principe de cette méthode consiste à sélectionner de façon aléatoire les bénéficiaires de la politique ou du projet au sein des bénéficiaires éligibles. Ce tirage aléatoire crée de lui-même un groupe cible et un groupe témoin statistiquement équivalents dès lors que les tailles d’échantillon sont appropriées. L’impact du programme se mesure ensuite simplement par la différence entre les moyennes des échantillons du groupe cible et du groupe témoin.

Bien que cette approche soit souvent considérée comme optimale, elle pose plusieurs problèmes en pratique. Il peut notamment être difficile d’un point de vue éthique ou politique de fournir une intervention à un groupe et pas à un autre pour les seuls objectifs de l’étude d’impact.

Techniques utilisées
Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

Évaluation par simple observation après mise en oeuvreÉvaluation par comparaison avant / aprèsÉvaluation par comparaison avec un groupe témoin non équivalentÉvaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation