Fermer

Recueil des résultats Le recueil des résultats (outcome harvesting) part des changements qui sont identifiés (qu'ils soient voulus ou non, désirables ou non) et ensuite fonctionne à rebours pour savoir si et comment l'intervention évaluée est susceptible d'y avoir contribuée. Cette approche a le mérite de ne pas nécessiter une théorie du changement ; elle peut d'ailleurs être utilisée pour en élaborer une. Elle est particulièrement utile quand les relations de cause à effet sont mal connues. Par exemple, pour évaluer une série de projets locaux visant à lutter contre les stéréotypes de genre, on partira d'exemples concrets de changements observés par les porteurs. Les preuves d'un lien avec l'intervention sont recueillies par un questionnement spécifique qui vise à vérifier la plausibilité de la contribution. Une théorie du changement peut être élaborée pour synthétiser les résultats.

Assignation aléatoire Cette méthode compare, dans le cadre d'une expérimentation, 2 groupes de « jumeaux » tirés au sort, l'un bénéficiant de l'intervention, l'autre non, observés au regard d'un indicateur d'impact escompté. L'impact est la différence entre la valeur constatée pour le groupe avec intervention et le groupe sans intervention. Par exemple, pour évaluer un dispositif d'insertion, on comparera le taux de retour à l'emploi à 18 mois de ceux qui y ont été sélectionnés pour y participer à celui de leurs jumeaux qui en ont été exclus.

Différence de différence Faute de pouvoir apparier, on constitue un groupe suffisamment similaire au groupe des bénéficiaires et on les observe au regard d’un indicateur donné.  L’impact est estimé en défalquant de la différence entre les deux groupes après l’intervention celle observée avant l’intervention. Cette opération vise à neutraliser la différence entre les groupes. Attention, mieux vaut pouvoir vérifier l'évolution de cet indicateur avant l'intervention pour vérifier que les deux groupes sont effectivement similaires.  Par exemple, pour évaluer l'effet d'un dispositif d'aide à la communication pour des commerces de centre-ville, on identifiera des commerces raisonnablement similaires en termes d'activité et de chiffre d'affaires dans les 3 ans précédant le début de l'intervention, pour pouvoir comparer l'évolution du CA 1 an après réception de l'aide.

Quasi-expérimental Comme dans la méthode expérimentale, on observe 2 groupes jumeaux au regard d’un indicateur pour estimer l’impact. L’évaluation étant ici réalisée ex post, il faut reconstituer un groupe « témoin » constitué de jumeaux des bénéficiaires, identifiés à partir de bases de données internes ou externes. Attention, il faut des bases de données particulièrement larges et complètes pour réaliser une telle évaluation. Par exemple, un dispositif aide des entreprises à recruter. Un groupe témoin est constitué a posteriori à partir des données de la Chambre de commerce pour comparer les créations nettes d'emploi 12 mois après réception de l'aide. De nombreux facteurs pouvant expliquer pourquoi une entreprise a demandé l'aide, un score de propension est calculé pour constituer un groupe témoin. Il désigne la probabilité de participer au regard des caractéristiques observables des entreprises.

Études longitudinales Un indicateur est mesuré avant et après l’introduction d’une intervention. Si une rupture est observée dans la tendance et ne peut être attribuée à un autre facteur, elle sera attribuée à l’intervention. Attention, cette approche permet d'identifier un impact, pas de le mesurer : à moyen terme, d'autres facteurs, contextuels notamment, peuvent expliquer les changements observés. Cette méthode peut être utilisée pour évaluer l'effet d'un péage urbain sur la pollution de l'air. La mesure longitudinale des polluants et de leurs principaux facteurs explicatifs permet de vérifier que l'introduction du péage a provoqué une rupture qui n'est pas explicable par d'autres facteurs. En revanche, elle ne permet pas d'imputer la différence mesurée au péage.

Arbre des méthodes d'évaluation d'impact Bonjour et bienvenue dans cet arbre des méthodes d'évaluation d'impact. Celui-ci part des questions d'impact (en haut), identifie en réponse les principales conditions à l'usage des différentes approches, puis considère les méthodes à disposition de l'évaluateur. Cliquez sur chaque boîte pour en savoir plus Cet arbre est réutilisable librement (hors utilisation commerciale) à condition d'en mentionner la source "Quadrant Conseil, 2017 - www.quadrant.coop". Réalisation graphique : Atelier Beau/Voir

Analyse qualitative comparée Un nombre limité de facteurs pouvant expliquer le succès ou l’échec de l’intervention, connus à l’avance (éventuellement par une phase de collecte initiale) sont systématiquement notés sur un certain nombre de cas (généralement 20 à 50). Une analyse statistique permet d’identifier des configurations de facteurs expliquant le succès ou l’échec et si certaines causes sont nécessaires ou suffisantes pour obtenir l'effet attendu. Par exemple, pour évaluer la capacité de lignes de Transport express régional à réduire la part modale de la voiture sur un trajet donné, l'évolution de la part modale est d'abord systématiquement qualifiée à partir des données de l'INSEE. Puis, les principaux facteurs (internes ou externes) qui peuvent expliquer un résultat positif ou négatif sont caractérisés grâce à une collecte de données spécifique. Au final, l'analyse vise à identifier si certains de ces facteurs sont nécessaires ou suffisants pour atteindre l'objectif de l'intervention.

Simulation Faute de pouvoir comparer deux groupes, la comparaison est simulée. Un modèle comprenant plusieurs variables et dont le résultat est le changement escompté est développé. L’impact est estimé par comparaison entre les résultats obtenus avec et sans intervention. Attention, la qualité du modèle et sa transparence sont essentiels à la crédibilité des résultats. Par exemple, pour évaluer l'effet d'un dispositif d'aide fiscale à la construction de logements, on construit un modèle simulant la construction de logements sans aide fiscale. Les logements créés sont estimés en comparant le nombre de logements simulés hors intervention avec ceux effectivement construits.

Discontinuité Faute de pouvoir apparier, on compare 2 groupes très proches mais situés de part et d’autre d’un seuil fixe, et on les observe au regard d’un indicateur d'impact attendu. L’impact est estimé par l’écart de cet indicateur entre les deux groupes.  Par exemple, une bourse d'étude est accessible en dessous d'un seuil de revenu de 15 000 euros par an. Ce seuil est arbitraire : pour estiemr l'effet de la bourse, on peut comparer les résultats universitaires obtenus par ceux dont les revenus sont juste inférieurs, et juste supérieurs à ce seuil, dans la mesure où leurs caractéristiques observables restent proches.

Analyse croisée de cas Un certain nombre de contextes de mise en œuvre de l’intervention évaluée sont étudiés en profondeur, et analysés à travers une méthode spécifique pour identifier les facteurs explicatifs des situations de succès ou échec. La méthode « radiographie/ radioscopie » ou « screening & scoping » est un exemple d’une telle approche. Attention, cette méthode est plus souple que la QCA et mieux adaptée aux situations complexes, mais aussi moins précise. Par exemple, pour évaluer un dispositif régional de Maisons de santé, ces dernières sont d'abord caractéristisées sur un certain nombre d'informations susceptibles d'en expliquer le succès ou l'échec au regard d'un ou plusieurs effets attendus. Une typologie permet d'identifier des cas-types, qui sont étudiés plus en profondeur. Les principales hypothèses quant aux facteurs de succès ou d'échec sont approfondies et si possible établies.

Régression Des facteurs de succès ou d’échec potentiel (variables indépendantes) sont corrélées aux changements attendus (variable dépendante) sur un grand nombre d’observations. Attention, pour que l’impact soit avéré, les explications concurrentes doivent avoir été testées et rejetées. C’est le principe des évaluations d’impact dites « Big Data ». Par exemple, pour évaluer dans quels cas un dispositif de formation pour adultes permet le mieux le retour à l'emploi, une enquête est menée auprès des bénéficiaires. Une analyse statistique permet d'identifier les caractéristiques de ces personnes les plus fréquemment associées au résultat attendu.

Analyse de contribution L’analyse de contribution est un processus en 6 étapes visant à tester systématiquement les différentes étapes de la théorie du changement de l’intervention évaluée. Pour chacune, elle indique si les changements attendus sont apparus ou non, et identifie dans un récit de contribution les principales contributions directes et indirectes à ces changements, y compris l’intervention évaluée. Par exemple, pour évaluer la contribution d'un centre de recherche à la prise de décision sur un sujet donné, on identifiera d'abord les façons dont ce centre (ou d'autres) pourrait contribuer à la décision. Puis l'analyse visera d'abord à qualifier l'existence de prise de décision ; à rechercher des indices probants que cette contribution est due au centre (ça peut être un thème de recherche qui est une spécialité de ce centre) ; des indices probants d'autres contributions ; et enfin à expliquer ces contributions.

Reconstitution de processus La reconstitution de processus (Process Tracing) consiste à analyser systématiquement tous les mécanismes pouvant expliquer un changement attendu à l'aide d'une série de tests empiriques. La probabilité de la contribution peut être estimée précisément à l'aide d'une approche d'inférence bayésienne. Attention, vu son degré d'approfondissement la reconstitution de processus s'applique généralement à un cas unique. Par exemple, pour évaluer la contribution de la France à une décision européenne, on identifiera d'abord en détail les mécanismes par lesquels les acteurs français ont pu intéragir avec leurs homologues et l'Union européenne pour faire valoir leurs positions, ainsi que d'autres explications pouvant aboutir à un résultat similaire. Des tests empiriques sont ensuite utilisés pour tester chacun de ces mécanismes.

Analyse de congruence L’analyse de congruence identifie systématiquement les théories sociales pouvant expliquer un changement observé (liées à l’intervention ou non) et vérifie si ces explications se complètent, doublonnent ou sont rivales. Elle aboutit à l’identification de théories sociales (principale et secondaires) permettant d’expliquer les changements observés. Par exemple, pour évaluer un dispositif de lutte contre les discriminations au travail, on commencera par identifier les cadres théoriques principaux pouvant expliquer la discrimination (et les moyens de lutter contre elle) : discrimination « par goût », par intérêt, discrimination statistique. Ces cadres sont appliqués pour identifier des hypothèses qui devraient se vérifier si la théorie fonctionne, et éventuellement des tests empiriques en conséquence. L'analyse permet de hiérarchiser les théories selon leur puissance explicative dans le cas évalué.

Cartographie conceptuelle La cartographique conceptuelle d’impacts est une technique de recensement et de pondération des différents impacts potentiels d’un programme. Les impacts potentiels sont recensés à partir d'une revue de littérature ou du point de vue d'experts ou bien des différentes parties prenantes. Ils sont ensuite pondérés et regroupés, ces regroupements étant ensuite projetés sur une carte. Par exemple, pour identifier les impacts d'un tramway sur le territoire qu'il traverse, une revue de littérature et des entretiens permettront d'identifier tous les impacts plausibles. Ensuite, un groupe composé de parties prenantes expertes pondère ces énoncés d'impact en réponse à 2 questions: l'impact est-il avéré ? est-il désirable ? Ils sont également regroupés par les participants. Ces regroupements sont projetés sous la forme d'une carte. Les résultats permettent de donner une 1re vision globale des impacts probables du tramway, qui pourront ensuite être approfondis.

Évaluation réaliste Dans l'évaluation réaliste, l'intervention est une opportunité que les acteurs ciblés décident ou non de saisir. Le raisonnement par lequel ils prennent cette décision est appelé mécanisme. Le but est dès lors d'identifier ces mécanismes et de comparer leur capacité à expliquer les changements observés dans une variété de contextes étudiés. Par exemple, pour évaluer un dispositif de médiation culturelle, on commencera par identifier les mécanismes pouvant expliquer pourquoi et comment des travailleurs sociaux se saisiraient de ce dispositif, et pourquoi et comment les groupes sociaux ciblés s'en saisiraient à leur tour. Ces mécanismes sont ensuite étudiés sur un certain nombre de déploiements du dispositif pour vérifier pour qui et dans quels contextes ils sont activés.

Monographies ethnographiques Lorsque la complexité ou la diversité des cas est telle qu’il sera très difficile de généraliser, des monographies ethnographiques permettent d’identifier les ressorts d’impact dans des cas précis. Ces monographies s’appuient généralement sur un travail de terrain de plusieurs mois. Une synthèse pourra permettre le cas échéant de tirer des enseignements, mais généralement sans possibilité de généralisation. Par exemple, pour évaluer la politique de lutte contre le travail clandestin, des monographies ethnographiques peuvent être utilisées pour comprendre comment les Inspecteurs du travail se saisissent de l'arsenal juridique et des directives existantes, la priorité qu'ils donnent à ce sujet, etc. L'évaluateur s'attachera à suivre sur la durée les équipes concernées pour mieux appréhender les ressorts de leurs pratiques.