Les registres d'évaluation
Une fois le(s) registre(s) identifié(s), passer aux Stratégies !
EndFragment
Retour aux registres
Efficacité
Il s’agit de vérifier en quoi l’intervention a produit (ou contribué à produire) les effets attendus sur les cibles de l’intervention.
Le registre de l’efficacité demande généralement à repréciser clairement les effets attendus, par exemple à travers une logique d’intervention.
EndFragment
Efficience
Il s’agit d’estimer si les effets obtenus l’ont été à un coût raisonnable, par exemple en comparaison d’autres types d’intervention.On distingue entre efficience d’allocation (usage optimal des ressources) et efficience de production (coût rapporté aux effets sur les cibles de l’intervention).EndFragment
Pertinence
Il s’agit d’analyser en quoi la stratégie de l’intervention évaluée est adaptée au problème public qu’elle cherche à résoudre ou atténuer.
L’enjeu clé de la pertinence est la définition de ces problèmes initiaux, qui est rarement explicite. Les problèmes évoluent également au fil du temps – il est alors utile de comprendre cette évolution pour vérifier si l’action est toujours pertinente ou non.
EndFragment
Cohérence interne
Il s’agit de vérifier si les différents objectifs stratégiques et opérationnels d’une action vont bien dans la même direction.Un enjeu de cohérence interne est de vérifier cela en théorie, mais également dans sa mise en œuvre.EndFragment
Utilité
Il s’agit de juger l’intervention, non seulement eu égard à ses effets attendus, mais également de l’ensemble de ses conséquences, désirables ou indésirables.L’utilité est un registre stratégique, utile pour les interventions complexes car il permet de les réinterroger dans leur ensemble.EndFragment
Cohérence externe
Il s’agit de s’assurer que les différents acteurs impliqués sur le champ de l’intervention évaluée poursuivent des objectifs similaires ou complémentaires.Un enjeu de cohérence externe est de vérifier cela en théorie, mais également dans sa mise en œuvre.EndFragment
Choisir des outils
Choisir un registre d'évaluation
Vous avez dit Strateval ?
Identifier les rendus
Comment ça marche ?
Identifier une stratégie d'ensemble
VIDEO EXPLICATION GLOBALE DU JEU
Strateval c’est un jeu de cartes, conçu pour vous aider à construire collectivement votre stratégie d’évaluation.
Pourquoi un jeu de cartes ? On a constaté que la méthode d'évaluation est souvent prise par le petit bout de la lorgnette des outils, ou bien des données déjà disponibles... pour les novices, la méthode est une "boîte à mystère" qu'on laisse aux spécialistes, de peur de se tromper. Or, la méthode d'évaluation n'est pas qu'une question technique, elle est même souvent très politique !
Le but est de disposer d'un outil de réflexion ludique sur vos pratiques, qui vous donne aussi la possibilité d'alimenter vos connaissances des différentes méthodes d'évaluation. Vous repartez des usages attendus de l'évaluation et de ses questionnements pour proposer une stratégie d'ensemble, que vous mettez en œuvre ensuite à travers des outils et des techniques précises.
On commence par identifier une évaluation de son choix, une nouvelle ou une déjà existante. Ensuite, on suit les différentes étapes suivantes :
La stratégie est identifiée ? Passer aux Outils
Cliquer sur chacune des boules pour découvrir les cartes qui s’y cachent !
Pour aborder une évaluation, il est utile de réflechir en termes de stratégie globale de réponse aux questions évaluatives. Comment y répondre, pour quoi faire, avec quelle posture, à partir de quels fondements théoriques, etc. La proposition d’outils découlera ensuite de la mise en oeuvre de la stratégie évaluative.
Une stratégie implique une approche évaluative, qui est liée aux fondements théoriques / aux paradigmes.
On propose ici un panel d'éléments constitutifs d’une stratégie évaluative. Il n’y a aucune obligation à sélectionner des cartes dans chacune des sous-catégories présentées !
Les stratégies d'évaluation
POSITIONNEMENT
Retour aux stratégies
STRATÉGIE ÉVALUATIVE
L’ÉVALUATION PARTICIPATIVE
Démarche d’évaluation conçue comme un processus collectif de résolution de problème associant l’ensemble des parties concernées.
Les questions évaluatives sont formulées avec les parties prenantes, tous les points de vue sont pris en compte.
Cette évaluation peut remettre en cause la vision d'ensemble des enjeux et dans ce cas engager une transformation plus importante.
EndFragment
L’ÉVALUATION MANAGÉRIALE
L'évaluation est conçue avant tout au service du décideur. Elle cherche à apporter des éléments objectifs permettant de rendre compte de l'atteinte des objectifs ou de la place d'une politique dans une stratégie donnée.
Ses recommandations portent essentiellement sur des aspects pratiques : maintien ou non, modalités à modifier.
EndFragment
L’ÉVALUATION EMBARQUÉE
L'évaluation est au service de la mise en œuvre du projet. L’évaluateur/rice est membre de l’équipe projet (ou associé intimement).
Il/Elle identifie des enjeux de pertinence, de cohérence ou d'efficacité, collecte des données pour les qualifier, en propose une analyse évaluative et des mesures de correction.
Impliqué dans toutes les décisions, il/elle n'est pas en position de "juger" le programme mais est partie à son amélioration.
EndFragment
L’ÉVALUATION INDÉPENDANTE
Dans l'évaluation indépendante, l’évaluateur/rice est libre de définir ses propres questions et de ses réponses, dans la mesure où il/elle peut faire la preuve de la robustesse de sa démarche et de la crédibilité de ses constats.
Cette crédibilité peut tenir à la personne de l’évaluateur/rice, son positionnement administratif, les méthodes qu’il ou elle emploie, etc.
EndFragment
L’ÉVALUATION COLLABORATIVE
L'intervention est reconnue comme un objet complexe saisi différemment par les parties prenantes. Pour comprendre l'intervention, il est nécessaire de reconstruire ces différents points de vue et de les intégrer dans l'évaluation.
L’évaluation collaborative se distingue de l'évaluation participative du fait que c'est le commanditaire qui pose les questions. Elle a aussi une visée plus pratique (changer les modalités…) et moins transformative (repenser la raison d’être…).
EndFragment
VISÉE
L’AMBITION D’AMÉLIORATION PRATIQUE
L'évaluation vise avant tout à améliorer l'intervention telle qu'elle existe. Elle se concentre notamment sur l'explicitation des enjeux, des objectifs, les aspects relatifs à la mise en œuvre, etc.
Contrairement à l'ambition de transformation, elle se pose peu la question de la raison d’être du dispositif (quels sont les enjeux de fond du sujet traité, y répond-on ?) ou de son utilité globale.
Cette carte exclut donc le choix de la carte « L’ambition de transformation ».
EndFragment
L’AMBITION DE TRANSFORMATION
L'évaluation vise à changer ou refonder la politique dans son ensemble, dans la vision d'ensemble des enjeux, des mécanismes d'effet, etc. Elle cherche à décentrer le regard, par une démarche proche de la reconception, et se sert pour cela de la participation ou bien d'un recours à l'expertise.
Contrairement à l'ambition d'amélioration pratique, elle porte peu sur les dimensions opérationnelles de mise en œuvre de l’intervention.
Cette carte exclut donc le choix de la carte « L’ambition d'amélioration pratique ».
EndFragment
L’AMBITION DE REDEVABILITÉ
L'évaluation vise d'abord à dire si les objectifs sont atteints. Elle ne porte pas d'ambition de transformation et les améliorations pratiques restent dans les objectifs initialement fixés.
Cette ambition peut notamment être portée par des financeurs de projets ou d’action, qui ne sont pas directement partie prenante de leur mise en œuvre ou de leurs résultats.
EndFragment
L’AMBITION D'APPRENTISSAGE
L’évaluation vise avant tout à apprendre de l’action évaluée.
Il peut s’agir de leçons issues de l’analyse de l’intervention et qui pourront être déployées sur d’autres interventions ; mais aussi plus généralement de concepts, de manières de voir, d’effets inattendus mais désirables (et qui seront cherchés activement par la suite) ou indésirables (qui seront activement combattus).
EndFragment
STRUCTURATION
L’APPROCHE BASÉE SUR LA THÉORIE DE PROGRAMME
Dans une évaluation basée sur la théorie de programme, on cherche généralement à établir des liens causaux séquentiels entre les réalisations et leurs effets attendus. Ces derniers peuvent différer des objectifs initialement fixés.
Ces hypothèses sont testées une à une, de façon à expliquer l'atteinte ou non des effets attendus. De nouvelles hypothèses peuvent être établies pendant l'évaluation (chemins alternatifs, par exemple).
Cette carte s'oppose à une approche affranchie des objectifs ou centrée sur les objectifs.
EndFragment
L’APPROCHE AFFRANCHIE DES OBJECTIFS
Lorsqu’il n'y a pas d'objectifs, qu'ils sont trop mal formulés ou qu'ils recouvrent mal l'éventail des conséquences possibles, ou encore lorsqu'il s'agit de tester la contribution à un enjeu particulier (genre, emploi…), il est possible de s'en affranchir pour identifier une ou plusieurs autres conséquences possibles, désirables ou indésirables, et les tester.
Cette carte s'oppose à une approche centrée sur les objectifs ou à une approche basée sur la théorie de programme.
EndFragment
L’APPROCHE CENTRÉE SUR LES OBJECTIFS
Ici, l'évaluation se concentre sur la confrontation entre les objectifs initialement fixés et les performances observées. Si les objectifs ne sont pas atteints, l'évaluation s'attache à savoir pourquoi, en réinterrogeant soit la façon dont les objectifs ont été fixés, soit l'intervention, dans une optique de redevabilité avant tout.
Cette carte s'oppose à une approche affranchie des objectifs ou basée sur la théorie de programme.
EndFragment
ANALYSE
L’ANALYSE LONGITUDINALE
Étude résultant du suivi d'une population dans le temps en fonction d'un événement de départ. Un indicateur est mesuré avant et après l’introduction d’une intervention et donne une mesure du changement. Si une rupture est observée dans la tendance et ne peut être attribuée à un autre facteur, elle sera attribuée à l’intervention.
EndFragment
L’ATTRIBUTION
Dans cette approche, l'intervention est vue comme un traitement médical: elle marche ou pas. Cela fonctionne pour des chaines causales simples. On se concentre sur l’intervention uniquement, peu importe la manière dont elle a été mise en œuvre ("si une intervention a un effet à Dakar elle aura aussi un effet à Oslo").
Cette carte exclut donc la carte Contribution qui, quant à elle, considère les politiques publiques complexes, où plusieurs facteurs peuvent expliquer le changement observé.
EndFragment
LA CONTRIBUTION
Dans cette approche, l'intervention est reconnue comme un processus parmi d'autres pouvant expliquer les résultats. L'évaluation cherche à "renforcer le degré de confiance" dans une contribution.
L'analyse distinguera mesure des changements, recherche de preuve infirmant ou confirmant la contribution de l'intervention, et idem pour les autres principaux facteurs pouvant expliquer les changements.
Cette carte s'oppose à une stratégie d'attribution.
EndFragment
LA COMPARAISON ENTRE PROJETS
L'intervention comprend de nombreux projets (ou des unités d'intervention) tous mis en place dans des contextes différents.
Il s'agit alors de se servir de ces différences pour comprendre ce qui marche ou pas, dans quels cas, et pourquoi.
Cela peut être ensuite utilisé dans une démarche de déploiement plus large.
EndFragment
L’APPROFONDISSEMENT D’UN CAS
L'intervention se présente sous la forme d'un cas unique. Il s'agit alors d'approfondir le cas lui-même, son contexte, ses spécificités.
L'évaluation permet de comprendre en quoi l'intervention marche ou non dans un cas précis.
Peut être utilisée pour décider de poursuivre ou non un dispositif, ou de commencer à l'essaimer dans d'autres contextes.
EndFragment
LA CONFIGURATION DE FACTEURS
L'approche configurationnelle vise à déterminer les conditions qui peuvent être associées à un changement attendu; contrairement à une approche d'attribution qui vise à connaître les effets d'une cause, elle s'attache à connaître les causes d'un effet.
Ces conditions peuvent être nécessaires ou suffisantes, ou assemblées sous la forme de configurations associées à un succès ou un échec, par exemple.
Cette approche demande une capacité à mesurer les changements et une bonne connaissance des conditions associées (par revue de littérature, expertise, ou phase exploratoire).
Cette carte s'oppose à l'Attribution, mais peut être combinée avec la Contribution.
EndFragment
APPROCHE
L’APPROCHE EXPLORATOIRE
L'intervention et/ou ses effets sont mal connus, il y a ainsi un enjeu initial à s'approprier le sujet et à le comprendre suffisamment pour pouvoir ensuite poser les bonnes questions. Les hypothèses formulées à ce stade sont très souples et annoncent un protocole plus solide ensuite. Une analyse d'évaluabilité (comment peut-on évaluer cette intervention ?) peut rentrer dans ce cadre.
EndFragment
L’APPROCHE CONFIRMATOIRE
L'intervention est bien connue (ou une approche exploratoire a permis de bien la connaître). Les hypothèses sont testées systématiquement pour apprécier l'intervention.
EndFragment
L’APPROCHE QUANTITATIVE
L'approche consiste à quantifier des changements ou des effets attendus de l’intervention.
Il s'agit de donner une magnitude d'effet, ou une proportion attribuable, ou encore d'identifier les facteurs qui sont liés à un effet.
Seulement si des données quantitatives sont disponibles ou peuvent être construites relativement aisément sur les effets de l'intervention.
EndFragment
L’APPROCHE QUALITATIVE
L'approche consiste à contextualiser les situations observées et à explorer, plus ou moins profondément, des explications des phénomènes observés. Seulement si des enquêtes de terrain sont possibles.
EndFragment
L’APPROCHE MIXTE
Les outils de collecte, quantitatifs ou qualitatifs, sont articulés de façon à se répondre mutuellement, en réponse aux questions évaluatives, et selon les données effectivement disponibles et les possibilités d'enquête de terrain.
EndFragment
FOCUS
LE FOCUS SUR LES RÉUSSITES
Les outils de collecte, quantitatifs ou qualitatifs, sont articulés de façon à se répondre mutuellement, en réponse aux questions évaluatives, et selon les données effectivement disponibles et les possibilités d'enquête de terrain.
EndFragment
LE FOCUS SUR LES ÉCHECS
L'évaluation cherche d'abord à identifier les conditions dans lesquelles le projet est un échec. Elle se concentre sur ceux qui ont été rejetés du dispositif, l'ont quitté en cours de route, pour qui les changements ne correspondent pas aux attentes.
EndFragment
LE FOCUS SUR LE NON-RECOURS
L'évaluation cherche d'abord à identifier les conditions dans lesquelles le projet est un échec. Elle se concentre sur ceux qui ont été rejetés du dispositif, l'ont quitté en cours de route, pour qui les changements ne correspondent pas aux attentes.
EndFragment
LES CONSÉQUENCES NON ANTICIPÉES DE L'INTERVENTION
L'évaluation peut s'attacher à analyser les conséquences non anticipées d'une intervention, désirables ou non, au-delà des objectifs ou des effets attendus.
Cette approche peut être exploratoire (y a-t-il des conséquences inattendues ?) et/ou confirmatoire, sous la forme d'une analyse approfondie d'une ou plusieurs conséquences connues.
EndFragment
LA MISE EN OEUVRE DE L'INTERVENTION
Une évaluation peut se concentrer sur la mise en œuvre d'une intervention, ce qui peut recouvrir un ou plusieurs des aspects suivants : la programmation effective d'actions, leur déroulement ; ou des éléments relatifs à la façon dont les parties prenantes se saisissent de l'intervention : information des acteurs, volonté de s'impliquer, capacité à le faire...
Une telle évaluation peut être un préalable à une évaluation se concentrant sur les impacts, en considérant qu'une bonne mise en œuvre est une condition nécessaire à l'impact.
EndFragment
LES COÛTS SOCIAUX ÉVITÉS
Cette approche vise à établir les coûts, à long terme, de l'absence d'intervention en réponse à un problème social identifié. Ces coûts peuvent ensuite être rapportés à ceux d'une intervention immédiate.
Les coûts sont des coûts socioéconomiques, c'est-à-dire budgétaires, mais aussi la monétisation de désavantages pour la société (le coût du chômage est établi par mesure de la valeur de l'activité, par exemple).
Cette approche est essentiellement employée dans une logique de plaidoyer envers un financeur potentiel, ou de redevabilité.
EndFragment
Une fois la stratégie définie, il reste à identifier les outils à déployer pour tirer des informations utiles en réponse aux questions évaluatives.
Dans une démarche d’évaluation, contrairement aux approches de recherche, la distinction quantitatif / qualitatif n’est pas essentielle : l’enjeu est d’abord de répondre aux questions évaluatives. Une question est plutôt, lorsque c’est possible, d’articuler des outils quantitatifs et qualitatifs pour en tirer des éléments utiles.
Les outils déployés peuvent avoir 4 fonctions :
Structurer l’évaluation, Collecter de l’information, Juger à partir des éléments de collecte, et Analyser les informations.
Un même outil peut, selon son utilisation à différentes phases de l’évaluation, remplir plusieurs fonctions.
Par exemple, l’entretien individuel peut être utile en phase de cadrage pour structurer, préciser le contexte de mise en oeuvre, identifier des premières hypothèses. En phase de collecte, il servira à collecter des informations qualitatives, etc.
Cliquer sur chacune de ces 4 boules pour découvrir les outils correspondant!
Il s’agit des outils les plus couramment utilisés mais la liste des cartes présentée ici n'est nullement exhaustive.
Les outils
Le registre, la stratégie, et les outils identifiés, découvrez les rendus de l’évaluation !
STRUCTURER
Retour aux outils
LE LOGIGRAMME
Ce schéma présente la logique d’intervention, c'est-à-dire les liens escomptés entre l’action évaluée et ses effets sur les cibles et les bénéficiaires attendus.
Un texte peut l’accompagner pour préciser les hypothèses sur les effets et les autres facteurs à prendre en compte. Il doit rester simple pour être discuté collectivement, par exemple pour préciser les questions évaluatives et structurer l'évaluation.
EndFragment
L’ARBRE DES PROBLÈMES
L'arbre des problèmes est une méthode graphique de représentation des causes et des conséquences du problème qui justifie initialement l’intervention.
Il sert à mieux comprendre et expliciter les enjeux auxquels l’intervention vise à répondre, et est donc particulièrement utile pour répondre aux questions de pertinence. Construit collectivement, il est aussi un outil de discussion et négociation entre parties prenantes.
EndFragment
L’ANALYSE AFOM
Outil de diagnostic stratégique, il sert à préciser les objectifs d'un projet/ d'une organisation, en identifiant les facteurs internes et externes favorables et défavorables à la réalisation de ces objectifs. Il est souvent présenté sous forme de matrice avec identification des Atouts et Faiblesses internes à l'organisation, et des Opportunités et Menaces externes.
Utilisé en fin d’évaluation, il permet de synthétiser les connaissances acquises pour préparer des recommandations ou des scénarios.
EndFragment
REVUE DE LITTÉRATURE
Analyse systématique de données secondaires, elle se concentre sur les sources externes (articles de presse, documents scientifiques, débats, etc.), contrairement à l’analyse documentaire.
La revue de littérature permet en particulier de comprendre les sous-jacents d’une intervention, de préciser les effets plausibles, de mieux comprendre les autres facteurs pouvant expliquer une situation… et ainsi mieux cibler et affiner l’analyse évaluative.
EndFragment
LE VOTE COLORÉ
Comment faire porter les discussions, dans un groupe, sur les points qui font débat ? Le vote coloré permet de faire apparaître les points de dissensus et de focaliser les discussions dessus.
Il peut notamment être utilisé pour discuter les conclusions d’une évaluation. Celles qui font débat sont discutées en priorité et reformulées jusqu’à aboutir à un compromis acceptable.
EndFragment
L’ENTRETIEN INDIVIDUEL
StartFragmentCet outil permet de recueillir individuellement des informations, quantitatives ou qualitatives, faits ou opinions, témoignages directs ou indirects… portant sur tous les aspects de l’intervention (contexte, mise en œuvre, effets, etc.). Il peut être utilisé à tous les stades de l’évaluation.Le degré de direction et de formalisation dépend des étapes de l’évaluation ainsi que des connaissances pré-existantes.
EndFragment
L’ENTRETIEN COLLECTIF
StartFragmentCet outil permet de recueillir des informations quantitatives ou qualitatives (faits, opinions, témoignages directs ou indirects…) portant sur tous les aspects de l’intervention (contexte, mise en œuvre, effets, etc.), auprès d’un groupe homogène. Il peut être utilisé à tous les stades de l’évaluation.
Le degré de direction et de formalisation dépend des étapes de l’évaluation ainsi que des connaissances pré-existantes. Il est plus technique que l’entretien individuel (dynamiques de groupe à gérer), qu’il complète sans remplacer. Il sert essentiellement à collecter des informations, contrairement à l'atelier collectif.
EndFragment
L’ATELIER COLLECTIF
StartFragmentOutil de discussion et de délibération, l’atelier réunit plusieurs participants pour répondre à une ou plusieurs questions de recherche.Le recours à des techniques d’animation de groupe peut notamment servir, en phase de structuration à comprendre le contexte, identifier les points de vue et les enjeux, et préciser les questions évaluatives.
Ce n’est ni un entretien collectif (qui sert uniquement à collecter des informations) ni une réunion.
EndFragment
LE PANEL D'EXPERTS
Réunion de spécialistes indépendants dans les domaines correspondant à l’intervention évaluée. Le panel d’experts peut servir à tirer rapidement parti de la littérature. À assurer la qualité de la collecte. Ou à produire un jugement sur la valeur du programme et ses effets.
À utiliser pour dégager un consensus sur des questions complexes et mal structurées pour lesquelles les autres outils ne fournissent pas de réponses crédibles.
EndFragment
LA CARTOGRAPHIE DES PARTIES PRENANTES
StartFragmentCet outil permet de répertorier l'ensemble des parties prenantes d'une intervention: décideurs, opérateurs, bénéficiaires, gagnants et perdants, etc.
C’est un outil préalable utile, en particulier pour les interventions complexes. Il sert ensuite à construire l’arbre des problèmes, la logique d’intervention, à préciser la collecte à effectuer, à construire un comité de pilotage, etc.
EndFragment
LA TYPOLOGIE
StartFragmentCette démarche consiste à définir différents groupes ou types pour faciliter l'analyse, la classification et l'étude de réalités complexes, à partir d’un certain nombre de caractéristiques observées.
La typologie peut être faite en amont pour structurer la collecte ; ou bien, en aval, est une façon de donner du sens à la collecte.
EndFragment
L’ÉVALUATION ÉMANCIPATRICE
L'évaluation émancipatrice vise à redonner du pouvoir d'agir aux plus défavorisés, vulnérables ou marginalisés, et/ou à ceux qui font les politiques sur le terrain, par un processus d'appropriation de l'évaluation par ces publics, qui s'en saisissent au service d'un processus de transformation.
EndFragment
JUGER
L’ANALYSE COÛT-EFFICACITÉ
Cette méthode se focalise sur l'effet principal d'un programme (qui doit pouvoir être quantifié) par rapport à son coût.
Le coût par unité d’effet (par ex. le coût par emploi créé) permet de comparer avec d’autres interventions évaluées de façon similaire, et ainsi d’estimer l’efficience d’un programme.
EndFragment
L’ANALYSE COÛT-AVANTAGE
Technique de valorisation monétaire de tous les effets positifs et négatifs d'un projet sur les différentes composantes de la société, l’ACA sert à déterminer si la réalisation d'un projet est souhaitable du point de vue de l'ensemble de la société.
Surtout utilisée ex-ante, l’ACA peut être employée ex post pour rendre compte de la rentabilité socio-économique d’une intervention.
EndFragment
LE PARANGONNAGE
Aussi appelé benchmarking, c’est une démarche de comparaison avec des structures réputées pour leur excellence dans le domaine donné. Il peut servir à comparer la performance de services au regard d’indicateurs clés.
En évaluation, il sert surtout à comprendre comment ces dernières ont fait face à des problèmes rencontrés par l’intervention évaluée, et ainsi proposer des recommandations adaptées au contexte.
EndFragment
LES SCÉNARIOS
Les scénarios sont une modalité possible pour construire des recommandations. Ils identifient des possibilités d’évolution stratégique au regard d’un petit nombre de variables clés.
Ils sont particulièrement utiles pour susciter une discussion stratégique et proposer des évolutions s’inscrivant dans des futurs possibles ou désirables.
EndFragment
LA CARTOGRAPHIE INITIALE DES IMPACTS
La cartographique d’impacts vise à identifier toutes les conséquences possibles, désirables ou indésirables d’une intervention, à partir de différentes sources (revue de littérature, panel d’experts, parties prenantes, etc.). Elle est surtout utile pour une évaluation affranchie des objectifs.
Elle peut se faire à travers différents outils tels que la cartographie conceptuelle ou la récolte des incidences.
EndFragment
LE FAISCEAU D'INDICES
Le faisceau d'indices est un outil de triangulation des sources employées dans une évaluation. Les éléments de preuve ("indices") collectés y sont organisés en réponse aux questions d'évaluation et critères (ou sous-questions) fixés dans le référentiel. Ces indices sont comparés pour infirmer l'hypothèse, la confirmer, ou en établir une nouvelle qui correspond aux données collectées.
Cet outil est particulièrement adaptée dans les approches déductives / confirmatoires, lorsque le référentiel identifié au départ reste pertinent tout du long de l'évaluation.
EndFragment
COLLECTER
L’ÉTUDE DE CAS
StartFragmentIl s’agit de réaliser généralement plusieurs études approfondies cas spécifiques d’analyse (un projet, un lieu, un destinataire), pour comprendre en profondeur les phénomènes étudiés, y compris par la comparaison entre situations différentes
Utile notamment lorsque la situation est mal connue (ou innovante), complexe ou que les situations sont très diverses (territoires très différents, etc.).
EndFragment
L’ENQUÊTE PAR QUESTIONNAIRE
StartFragmentCet outil permet de recueillir individuellement des informations, quantitatives ou qualitatives, faits ou opinions, témoignages directs ou indirects… portant sur tous les aspects de l’intervention (contexte, mise en œuvre, effets, etc.).
Le questionnement systématique est adressé à un échantillon de la population visée. Les réponses peuvent faire l’objet de traitements statistiques si des conditions de généralisation sont validées.
EndFragment
L’ANALYSE CARTOGRAPHIQUE
StartFragmentS’appuyant sur des données géoréférencées, la cartographie permet d’élaborer une analyse spatiale des phénomènes observés.
Idéalement elle s’appuie sur un système d'information géographique (SIG), qui permet de croiser des données d’origine différente. Elle est surtout utile pour les interventions ayant une forte dimension territoriale (accessibilité des services, inégalités entre territoires, discontinuités spatiales, etc.)
EndFragment
L’ANALYSE DOCUMENTAIRE
StartFragmentOutil principal d’exploitation de données secondaires, l’analyse documentaire vise à faire l’état des lieux de la connaissance existante au regard d’un questionnement systématique. Elle se concentre sur les sources internes à l'organisation (rapports, notes, documents de gestion, etc.), contrairement à la revue de littérature.
Très utile en début d'évaluation pour comprendre le contexte d'un programme, son environnement et sa conception, elle aide notamment à construire la logique d'intervention.
EndFragment
ANALYSER
LA SYNTHÈSE D’ÉVALUATIONS
Elle consiste à croiser et tirer des enseignements d'évaluations précédentes.
Stricto sensu on parle de synthèse d’évaluations pour une démarche qualitative, et de méta-analyse pour une démarche quantitative.
Cet outil est particulièrement utile pour tirer des leçons d’un grand nombre d’évaluations, ou dans un cadre de réorientation stratégique.
EndFragment
STATISTIQUES DESCRIPTIVES
Il s’agit d’un ensemble d’outils visant à décrire un ensemble relativement important de données. Les statistiques descriptives permettent de structurer et de représenter l'information contenue dans des données de façon synthétique et parlante pour mieux les analyser.
En d'autres termes, ce sont de simples calculs mathématiques qui permettent de dégager des données une réelle tendance (moyenne, fréquence etc.). Les statistiques descriptives peuvent représenter les données sous forme de graphiques, de tableaux ou d’indicateurs numériques.
EndFragment
STATISTIQUES ANALYTIQUES
Les statistiques analytiques vont au-delà de la simple description (statistiques descriptives). Elles permettent par exemple de faire apparaître des corrélations entre des variables, ou d'établir des typologies sur la base de caractéristiques communes.
Ici, les statistiques deviennent un outil d'analyse de la causalité. Parmi les différentes méthodes possibles nous pouvons citer les régressions linéaires ou logistiques, l'analyse factorielle, la clusterisation, l'analyse de réseau...
EndFragment
Il existe 3 rendus-type utilisés lors d’une évaluation.
La note de cadrage, qui intervient en début de mission;
Le rapport de collecte ou rapport intermédiaire, qui intervient à la fin de la phase de collecte;
Le rapport final ou rapport d’évaluation, qui clôt la mission.
Chacun de ces documents a une fonction bien spécifique.
Cliquer sur les images pour découvrir la carte correspondante !
Le rapport de collecte
Les rendus
Le rapport final
La note de cadrage
LA NOTE DE CADRAGE
LA NOTE DE CADRAGE
Rapport qui clôt la phase initiale de l'évaluation et permet de s'accorder sur le champ de l'évaluation ; les questions posées ; et la façon dont l'évaluation tentera d'y répondre.
EndFragment
Retour aux rendus
LE RAPPORT DE COLLECTE OU INTERMÉDIAIRERapport qui compile les données collectées par chaque outil (par exemple synthèse d'entretiens et synthèse d'études de cas etc.).
Il s'agit d'une analyse brute et très détaillée. Il ne constitue pas une analyse croisée de données issues des différents outils.
Il intervient en fin de phase de collecte et servira notamment de support à la rédaction du rapport final. Ce rapport est transmis au commanditaire et peut aussi servir de base d'échanges sur les premiers résultats d'enquête.
EndFragment
LE RAPPORT FINAL OU LE RAPPORT D'ÉVALUATIONDocument dans lequel les résultats finaux et les analyses sont transmis au commanditaire.
Le rapport final répond explicitement aux questions évaluatives et démontre les liens entre la collecte des données et la formulation de conclusions et recommandations.
Il doit donc intégrer tous les éléments permettant l'appréhension claire des résultats de l'évaluation et la compréhension du raisonnement.
Il doit par ailleurs expliciter la méthode retenue et ses limites.
EndFragment