Skip to navigation – Site map

HomeNuméros8Le marché de l'expertiseLe développement comme arène : im...

Le marché de l'expertise

Le développement comme arène : implications pour l'évaluation des projets

Pierre Lefèvre and Patrick Kolsteren

Full text

Introduction

1Cet article a pour objectif d'explorer les conséquences que les analyses de projets ou programmes de développement, effectuées en termes d'acteurs, peuvent avoir sur l'évaluation des interventions et, particulièrement, sur le développement de méthodes d'évaluation de type participatives. Nous nous situons donc résolument à l'interface entre une anthropologie du développement fondamentale 1 et la mise en œuvre concrète d'actions de développement Nous nous limiterons cependant à ce que nous connaissons, c'est‑à‑dire l'évaluation des interventions nutritionnelles (supplémentation alimentaire, éducation nutritionnelle, promotion de la croissance, programmes de sécurité alimentaire, etc.) et l'évaluation de projets de type développement rural intégré, fourniture de services de santé, etc.

2Nous ne considérerons pas les "évaluations" qui s'apparentent à la recherche scientifique 2 comme par exemple, l'étude dans le cadre d'un projet, des effets d'une supplémentation en zinc sur la croissance. Nous ne discuterons pas non plus des "évaluations d'expert" qui n'impliqueraient pas la mise en œuvre consciente d'une méthode ou d'une stratégie d'évaluation 3.

3Par approche par les acteurs, nous nous référons à un ensemble de recherches théoriques et d'observations de terrain de type "micro" qui prennent pour objet d'étude les interactions entre différentes catégories d'acteurs autour d'actions de développement 4.

4Ces études nous montrent entre autres :

  • que l'ensemble des acteurs d'un projet de développement ont une capacité stratégique à infléchir les opérations dans lesquelles ils sont impliqués ou auxquelles ils sont confrontés ;

  • qu'un projet (et plus généralement le "développement") peut être considéré comme une ressource pour l'ensemble des acteurs sociaux qui y sont impliqués. Chaque catégorie essaie d'en tirer le meilleur profit en fonction de ses intérêts propres ;

  • que les "populations cibles", loin de constituer un tout homogène sont au contraire des ensembles très hétérogènes ;

  • que les visions du monde, les normes et les rationalités des différents acteurs du développement sont le plus souvent très éloignées les unes des autres, au point que Long (Long, 1989) a pu utiliser le concept d'interface pour imager les rencontres entre ces catégories.

5Dans une recherche de terrain, nous avons montré qu'une approche par les acteurs peut également s'appliquer à la composante particulière du projet que constitue le système de suivi et d'évaluation (Lefèvre et Garcia, 1992 & 1994). Au même titre que le projet, les procédures d'évaluation planifiées sont l'objet de dérives suite à la mise en œuvre des stratégies des différents acteurs. Nous avons pu mettre en évidence, par exemple, l'utilisation du système par les opérateurs comme moyen de contrôle des agents de développement, le développement de pratiques d'évaluation informelles plus ou moins structurées par les politiciens locaux, l'utilisation par certains agents de développement de leur connaissance des données concernant les villages comme une ressource symbolique pour améliorer leur statut social au sein des communautés, etc.

6La recherche a également mis en évidence un écart entre les besoins en information des différents acteurs locaux et l'information contenue dans le système de suivi et d'évaluation : essentiellement des données d'impact utiles aux opérateurs centraux et aux bailleurs.

7L'approche par les acteurs remet en question et implique une rupture avec la conception normative et avec les modèles orthodoxes de planification des projets de développement (Long et Van der Ploeg, 1989). Pour ces modèles orthodoxes, qui conçoivent les projets sur un mode essentiellement technique, un projet de développement est défini comme un ensemble d'activités séquentielles organisées en fonction d'un objectif clairement défini. Cette approche technique ne tient souvent pas suffisamment compte de l'influence de l'environnement social et de jeux politiques sur le déroulement du projet 5.

8L'approche par les acteurs recoupe ainsi les conclusions d'études relevant de la sociologie des organisations qui montrent également les écarts entre les modèles normatifs de fonctionnement des institutions de développement et les pratiques réelles (Morgan, 1983).

9Or il existe une relation entre la manière dont on conçoit la nature d'un projet de développement et la manière dont on conçoit son évaluation. L'évaluation peut donc être revue à la lumière des résultats des études anthropologiques qui prennent les projets comme objet Dans un premier temps, nous discuterons brièvement des implications générales pour la réalisation d'évaluations. Ensuite nous discuterons d'une forme d'évaluation plus particulière : l'évaluation participative. Par beaucoup d'aspects, ce type d'évaluation nous semble en effet être la réponse, sur le plan appliqué, aux résultats des analyses de projets en termes d'acteurs.

Implications générales pour l'évaluation des projets

10De nombreuses approches évaluatives sont répertoriées et décrites dans la littérature 6. Nous ne pouvons pas cependant, dans le cadre de cet article, revoir systématiquement l'ensemble de ces stratégies pour juger de leur adéquation aux résultats des recherches fondamentales et des possibilités de leur mise en œuvre dans l'évaluation des projets de développement. Certaines grandes catégories d'évaluation nous semblent cependant présenter une compatibilité avec l'anthropologie du développement : les évaluations de processus, les évaluations formatives, les évaluations centrées sur les destinataires et, finalement les évaluations globales, ces différentes approches de l'évaluation n'étant pas mutuellement exclusives.

Évaluation des processus

11Une distinction classique en évaluation consiste à distinguer évaluations d'impact et évaluations des processus. L'approche par les acteurs nous montre que suite à la mise en œuvre des stratégies des différents acteurs, les projets de développement subissent une dérive par rapport à ce qui est initialement planifié. Les projets sont donc, dans une large mesure, indéterminés. Ceci limite la validité des méthodes d'évaluation centrées sur les objectifs officiels et, en particulier, celle des évaluations d'impact ("ex‑post" ou en cours de projet) qui visent à mesurer (et de préférence quantitativement) le degré de réalisation ‑ ou de non réalisation‑d'objectifs prédéterminés 7.

12Cette observation apporte un argument qui vient s'ajouter aux nombreuses critiques dont ce type d'évaluation fait déjà l'objet. Par exemple, ce type d'évaluation est fondamentalement incapable d'expliquer le pourquoi de la réalisation ou de la non‑réalisation des objectifs : l'ensemble des actions que constitue le projet (le "traitement" pour les puristes) est de peu d'intérêt pour la mesure de l'impact et constitue, en quelque sorte, une boîte noire. D'autre part, les méthodologies à mettre en œuvre, les dessins quasi‑expérimentaux nécessaires pour contrôler l'effet des facteurs confondants (les facteurs extérieurs au projet qui influent sur les effets) sont très complexes techniquement ce qui a pour conséquence un coût très élevé (Van Lerberghe et Beghin, 1985).

13Une anthropologie du développement appliquée nous semble plus compatible avec les approches d'évaluation centrées sur les processus et la mise en œuvre des projets, concomitants à l'action (accompagnant son déroulement) et capables de prendre en considération les changements qui apparaissent au sein des interventions.

14Ce type d'évaluation exige d'une part de s'écarter des objectifs formels et prédéterminés exprimés dans les documents de projets et, d'autre part de tenir compte des effets secondaires, non anticipés de l'action. De telles évaluations nécessitent également une approche généralement plus qualitative et inductive (sans vouloir exclure cependant les apports d'approches quantitatives). De plus, les évaluations centrées sur l'étude des processus permettent souvent de répondre à une bonne partie des questions portant sur l'impact tout en permettant de faire l'économie de la mesure de celui‑ci. Cela, pour autant que l'on dispose d'une théorie d'action du programme c'est‑à‑dire d'un ensemble d'hypothèses qui relient les intrants et les activités aux résultats et effets escomptés 8.

Évaluations formatives

15Cette deuxième catégorisation classique en évaluation consiste à distinguer les évaluations orientées vers la formulation de conclusions à propos d'un projet (évaluations sommatives) et les évaluations orientées vers l'action et l'amélioration d'une intervention (évaluations formatives).

16Les questions classiques d'une évaluation sommative sont par exemple : le programme a‑t‑il été efficient ? A‑t‑il produit les effets escomptés ? Faut‑il le prolonger (ou le reproduire), le fermer ?

17Une évaluation formative consiste par contre à identifier les points forts et les faiblesses d'un projet et à formuler des suggestions pour améliorer l'intervention. Ces évaluations incluent souvent des questions portant sur la perception du projet par différentes catégories d'acteurs de manière à améliorer les opérations.

18Les analyses de terrain montrent l'importance de la dimension apprentissage et d'ajustement réciproque que les différentes catégories d'acteurs mettent en œuvre autour d'un projet de développement au niveau local. Certains auteurs définissent d'ailleurs le développement comme un processus d'apprentissage.

19Il nous semble dès lors que l'anthropologie du développement a intérêt à favoriser des évaluations à visée formative de manière à formaliser et à organiser ces processus informels d'apprentissage. Ceci permettrait également de répondre à la "critique" souvent émise à l'égard de l'anthropologie qui ne pourrait que constater les échecs a posteriori mais qui présenterait peu d'utilité opérationnelle. Ceci implique cependant une "prise de risque" pour l'anthropologie (Dozon, 1991).

Évaluations centrées sur les bénéficiaires

20Finalement, l'anthropologie du développement peut proposer des évaluations centrées sur la prise en compte des points de vue des bénéficiaires de l'action (Olivier de Sardan, 1993).

21Cette voie semble prometteuse 9 mais son développement est conditionné par l'intérêt des commanditaires. Il faudrait pouvoir montrer en quoi de telles évaluations peuvent être utiles pour améliorer l'efficacité ou l'efficience des projets. Elles pourraient permettre par exemple des réadaptations utiles, d'éviter certaines réappropriations jugées indésirables par les commanditaires, de mieux cibler les populations bénéficiaires, ou encore d'opérer des changements dans les représentations que les agents d'exécution se font de leurs clientèle et de leur interaction avec ceux‑ci, etc. Ce dernier point nécessite la mise en œuvre de mécanismes de restitution des résultats de l'évaluation auprès des agents.

22Il serait également nécessaire d'identifier précisément les contextes et les moments où de telles évaluations seraient utiles. Se pose également la question des méthodes à mettre en œuvre 10. Il semble imaginable d'inclure ce type de recherche dans le cadre de l'évaluation de projets importants, à durée de vie longue et relativement coûteux comme "recherche". Dans de plus petits projets, le coût relatif de telles études par rapport au coût total des opérations risque cependant de devenir rapidement prohibitif. Les anthropologues pourraient explorer ici des possibilités alternatives "rapides" et rechercher les meilleurs compromis entre exigences scientifiques et exigences opérationnelles sous un ensemble de contraintes financières, temporelles, de disponibilité de chercheurs qualifiés, etc. Un certain nombre de techniques de collecte d'information développées sous l'étiquette "RRA, RAP", etc. pourraient se révéler utiles pour de telles recherches méthodologiques (Scrimshaw et Gleason, 1992).

Évaluations globales

23Finalement, les anthropologues engagés dans le développement ont par définition tout intérêt à favoriser et à adopter des stratégies évaluatives qui permettent une approche globale tant du projet lui‑même que du contexte social et culturel dans lequel il se déroule. Ceci nécessite cependant une rupture dans la pratique courante des commanditaires qui consiste à scinder les évaluations de projets complexes en attribuant à chaque composante du projet son expert.

L'évaluation participative

24Les modèles d'évaluation décrits plus haut restent cependant exogènes au système d'acteurs que constitue le projet L'évaluateur est considéré comme étant externe au projet et n'a (théoriquement 11) pas d'intérêts directs ou indirects dans celui‑ci. La dimension jugement reste également centrale dans ces approches. La participation des acteurs du projet est généralement limitée à la fourniture directe (techniciens) ou indirecte d'informations (interview de bénéficiaires), etc.

25L'approche par les acteurs semble fournir les bases théoriques d'une autre possibilité d'évaluation de projets que l'on peut appeler l'évaluation participative.

26L'évaluation participative consiste en l'association de l'ensemble des acteurs du projet (bailleurs ou donateurs, opérateurs centraux et locaux, bénéficiaires, etc.) ‑ à travers la constitution d'une équipe d'évaluation ‑ à toutes les décisions concernant l'évaluation. En particulier tous les acteurs participent à l'élaboration des questions de l'évaluation, à la sélection et à l'interprétation de l'information recueillie et à la formulation des recommandations.

27Ce type d'évaluation est endogène au système d'acteurs que constitue le projet. Il n'y a plus à proprement parler ici d'évaluateur mais bien une équipe d'évaluation constituée ‑ dans la mesure du possible ‑ par l'ensemble des acteurs du projet.

28L'évaluation constitue essentiellement un dispositif de communication et de négociation entre les différents acteurs. Ce dispositif permet des ajustements réciproques de leurs points de vue sur le projet (et sur les autres acteurs) à travers des changements de leurs représentations.

29Ces modifications sont particulièrement "visibles" dans les projets intersectoriaux. Les différents techniciens "découvrent" soudainement qu'ils participent à un même projet et que leurs actions concourent à la réalisation d'objectifs d'autres secteurs. La traduction de ce fait sur le terrain peut être, par exemple, une meilleure coordination intersectorielle et la mise en commun de moyens logistiques. L'évaluation participative s'ouvre aux "acteurs périphériques" ‑ non pas pour des raisons idéologiques ‑ mais parce qu'elle reconnaît explicitement leur pouvoir à influencer le déroulement et les résultats de l'intervention.

30On instaure donc ici un mécanisme, un cadre formel qui va permettre un échange d'information et éventuellement une négociation. Tous les acteurs représentés vont pouvoir y puiser un certain nombre d'informations qui peuvent leur être utiles en fonction de leurs intérêts particuliers 12.

31Il ne s'agit pas cependant ici de vouloir recréer une image mythique du consensus : l'évaluation participative permettant de retrouver "un consensus perdu", de forger un projet collectif. Si en pratique, on observe dans les ateliers d'évaluation des re(motivations), des relances de dynamiques, les ajustements mutuels et la négociation n'annulent évidemment pas l'existence d'intérêts et de stratégies propres à chaque catégorie d'acteurs vis‑à‑vis du projet. Il est probable cependant que ces intérêts et ces stratégies subiront des changements à travers l'évaluation.

32Par contre, l'évaluation participative nous semble contribuer à une revalorisation du jeu politique dans un monde essentiellement dominé par les considérations techniques. Elle semble également répondre à l'appel de Hulme (Hulme, 1988) pour l'élaboration de méthodologies hybrides combinant modèles techniques et modèles politiques. En effet, l'évaluation participative n'exclut nullement en effet les analyses techniques et la mise en œuvre d'expertises qui peuvent venir "nourrir" le processus. Elle implique par contre une perte substantielle du pouvoir de l'expert et du commanditaire sur celui‑ci.

33L'évaluation participative est une approche sur laquelle nous travaillons depuis quelques années à l'IMT (Lefèvre & Beghin, 1991) 13. Nous opérationalisons l'approche en organisant des ateliers d'évaluation où les différents acteurs du projet sont représentés. Ces ateliers permettent de conceptualiser l'évaluation, d'analyser le programme et la situation qu'il vise à modifier ou encore de formuler des recommandations. Une série de modèles (construits collectivement) sont employés comme support aux discussions et aux analyses.

34Ce type d'évaluation n'est pas vraiment nouveau. Des approches relativement similaires (mais opérationalisées différemment) ont été développées et sont utilisées aux Etats‑Unis (Guba & Lincoln, 1989), mais également en France dans l'évaluation de certaines actions des pouvoirs publics tels les programmes de Développement Social des Quartiers, les programmes visant à promouvoir l'économie d'énergie, les programmes environnementaux, etc. (Monnier, 1987).

35Ce qui varie dans les approches proposées sont les niveaux d'implication directe des différents acteurs du projet dans l'évaluation. A un extrême on conserve un "évaluateur externe", qui va prendre en compte dans l'évaluation l'ensemble des points de vue des différents acteurs vis‑à vis du projet et ceci de manière plus ou moins sophistiquée. Cela va du simple questionnaire (Lipps, 1990) à la construction progressive des différentes représentations du projet que se font les différents groupes d'acteurs avec constitution éventuelle d'une synthèse 14. A l'autre extrême, une instance d'évaluation formelle (éventuellement élue) contrôle le processus d'évaluation. Le "chargé d'évaluation" a essentiellement un rôle d'organisateur et de facilitateur du processus. Dans toutes les approches cependant, l'évaluateur reste neutre quant aux conclusions de l'évaluation et n'émet pas de jugement final. Ceci n'implique cependant pas qu'il ne puisse pas participer (voir plus bas).

36On ne peut cependant simplement transférer ces méthodes développées dans des contextes sociaux où la négociation et la recherche du consensus est centrale, à l'évaluation des programmes de développement. En particulier parce que les situations sont moins structurées, les catégories d'acteurs sont plus hétérogènes et moins institutionnalisées et les règles du jeu sont moins partagées.

37L'évaluation participative entraîne des changements dans la manière de concevoir une évaluation. En particulier elle à des conséquences dans le domaine méthodologique, dans la manière dont on peut concevoir l'utilisation d'une évaluation et sur le rôle de l'évaluateur. La mise en œuvre d'évaluations participatives pose également des problèmes techniques tels que l'identification et la représentativité des acteurs. La réalisation d'évaluations participatives nécessite finalement des changements dans les procédures d'élaboration des termes de référence de l'évaluation et en termes de circulation de l'information au sein des projets. L'exposé de ces différents points permettra de préciser notre propos.

Indétermination des méthodologies

38D'un point de vue méthodologique, l'évaluation participative suppose que les questions d'évaluation des différents acteurs du projet deviennent le point central à partir duquel est organisée l'évaluation. L'on ne peut cependant préjuger a priori de ce que celles‑ci vont être et, dès lors, les méthodologies à mettre en œuvre pour répondre à ces questions seront partiellement indéterminées. En dernière instance, ce sont les questions formulées et le type d'information souhaitée par les différentes catégories d'acteurs qui détermineront les méthodologies particulières à mettre en œuvre. Cela implique une grande souplesse du chargé d'évaluation qui devra maîtriser différentes techniques de collecte des données (quantitatives et qualitatives) et des procédures d'analyse collective de celles‑ci selon les questions posées.

39Utilisation des résultats de l’évaluation

40Pour tout évaluateur ou chargé  d'évaluation, l'utilisation des résultats de son travail constitue un problème central et est souvent à l'origine de frustrations sérieuses 15. L'évaluation participative ‑ telle que nous la concevons ‑ a des conséquences importantes en termes d'utilisation des résultats. En associant les divers acteurs à l'exercice, on peut espérer une meilleure prise en compte des résultats de l'évaluation. Divers mécanismes sont ici à l'œuvre. Pour le commanditaire, son association au processus accroît la crédibilité d'ensemble de l'exercice. D'autre part, "l'association officielle" dans le processus d'évaluation d'autres catégories d'acteurs, oblige en quelque sorte le commanditaire à tenir compte d'un certain nombre d'idées émises. En tout cas, il lui sera relativement difficile de simplement ignorer les résultats.

41Du côté des opérateurs, la démarche permet de rompre avec la perception négative que l'évaluation suscite généralement chez eux (Kolsteren et Lefèvre, 1991). L'évaluation est en effet souvent ressentie soit comme une menace potentielle, une forme de contrôle ou encore un exercice peu crédible car éloigné de la réalité du travail de terrain, ne prenant pas en compte les efforts réalisés, etc.

42Il y a cependant des limites à l'utilisation des résultats d'une évaluation (même participative). En effet, l'évaluation n'est jamais qu'un des éléments (une source d'information) qui entre dans le processus de décision concernant le projet (Weiss, 1979).

43Plus profondément cependant, l'évaluation participative oblige à revoir la manière dont classiquement on se représente qu'une évaluation doit être utilisée ou produire des effets c'est‑à‑dire essentiellement via la mise en œuvre des recommandations.

44En effet, l'évaluation participative entraîne des changements dans les représentations et les perceptions du projet que se font les différentes catégories d'acteurs impliqués. Ces changements vont à leur tour entrainer des modifications dans les stratégies mises en œuvre autour du projet et, par là même, auront un effet sur le déroulement de celui‑ci. Ces changements pourront d'ailleurs être différents de ceux proposés dans la section recommandation des rapports ! Le résultat de l'évaluation est donc, en quelque sorte, une nouvelle "dérive" du projet Dans nos meilleures expériences d'évaluation, tout se passe comme si le rapport d'évaluation (et parfois même la collecte de données) devenait quelque peu superfétatoire, se réduisant à une formalité essentiellement administrative, tout ayant déjà été dit et décidé en cours d'atelier. L'effet pervers est ici l'accentuation de l'aspect corvée que représente la rédaction du rapport d'évaluation...

45Sur un plan plus théorique, une telle approche du problème de l'utilisation des évaluations implique une rupture avec la représentation dominante de la prise de décision, conçue comme action isolée d'un décideur tout puissant (le langage en termes de "décision‑maker" telle qu'il est véhiculé dans les organismes de coopération multilatéraux). Cette représentation établit une relation forte entre évaluation et décision que l'on n'observe cependant pas dans la pratique. La référence à cette représentation est probablement à l'origine de nombreux griefs que se portent réciproquement évaluateurs et commanditaires à propos de l'utilisation des évaluations.

46A notre avis, l'évaluation participative ne peut pleinement se comprendre que dans un cadre qui conçoit la décision comme un ensemble enchevêtré de micro‑décisions (y compris des non‑décisions) et donc comme une coproduction du jeu d'acteurs (sans pour autant vouloir exclure l'influence de la structure organisationnelle et de la distribution du pouvoir au sein des projets). Des analyses comparatives de la structure décisionnelle dans divers projets et de la répartition des pouvoirs entre les différents acteurs devraient être riches d'enseignement à ce propos.

Rôle de ''l'évaluateur''

47Dans une approche d'évaluation participative, l'évaluateur devient un organisateur et un facilitateur du processus d'évaluation, plutôt qu'un juge ou un expert (d'où le terme de chargé d'évaluation). Deux questions de fond se posent néanmoins : le chargé d'évaluation doit‑il être neutre par rapport au contenu des discussions entre acteurs ? Peut‑il rester neutre par rapport à la disproportion des forces des différents groupes en présence ?

48A notre avis, le chargé d'évaluation se doit de participer à la réflexion collective sur le projet en alimentant celle‑ci de ses connaissances particulières (connaissances techniques, d'une région, d'un certain type de programme, expériences antérieures, etc.). C'est là nous semble‑t‑il la position la plus cohérente. L'expert (ou l'expert en évaluation participative...) est en effet lui‑même un acteur du développement. S'engager dans le jeu semble dès lors la solution la plus logique. Adopter une position neutraliste reviendrait pour le chargé d'évaluation à nier sa propre position d'acteur en se situant en dehors de la mêlée. Par contre, le chargé d'évaluation se doit de rester neutre quant aux résultats finaux de l'évaluation. Déontologiquement, le chargé d'évaluation ne doit pas profiter de sa position pour influencer le résultat, par exemple, en employant des arguments d'autorité.

49En ce qui concerne les rapports de force en présence nous ne pensons pas non plus que le chargé d'évaluation doive rester neutre. Au contraire, le chargé d'évaluation est garant de la participation et, à ce titre, il est de sa responsabilité de s'assurer que l'ensemble des catégories les plus faibles (en termes d'expression orale, de par leur statut social, etc.) puissent effectivement exprimer et défendre leurs points de vue dans le processus. Il lui faut donc valoriser les contributions de ces catégories plus faibles. Le chargé d'évaluation doit également tenir compte de ces possibilités d'expression lors de la sélection des participants à l'équipe d'évaluation. Dans certains contextes par exemple, il peut être utile de ne pas associer dans l'équipe‑ des personnes qui entretiennent entre elles des rapports hiérarchiques.

Identification et représentativité des acteurs

50Les procédures à mettre en œuvre pour identifier (rapidement) les acteurs d'un projet et pour assurer la représentativité des différentes catégories concernées dans l'équipe d'évaluation posent un problème difficile. Nous devons reconnaître ici, à la lecture des études de cas publiées par l'APAD, que dans l'approche que nous avons développée à l'IMT, nous avons sous‑estimé ce problème particulièrement au niveau de la participation des populations cibles (ou de sous‑ensembles à celle‑ci) à l'évaluation. Les études de cas nous montrent en effet la grande hétérogénéité des populations cibles mais surtout que celles‑ci peuvent avoir des "visions du monde" très éloignées de celles d'autres catégories d'acteurs. Dans de nombreux contextes, il serait dès lors légitime de s'interroger sur le sens (ou le non sens) d'une participation directe des bénéficiaires à une équipe d'évaluation.

51Des études anthropologiques pourraient jouer ici un rôle important dans une évaluation participative. D'une part, elles pourraient permettre une identification plus fine des différents acteurs au niveau local et permettre dès lors une meilleure représentativité d'ensemble de l'équipe d'évaluation. D'autre part, ces recherches pourraient servir à identifier les représentations du projet de certaines catégories spécifiques de la population dont la participation à l'équipe d'évaluation serait problématique. Ces recherches se substitueraient en quelque sorte à la participation effective de certaines catégories d'acteurs en "exprimant" leur point de vue.

Élaboration des termes de référence de l'évaluation

52Traditionnellement les termes de référence d'une évaluation sont élaborés par le commanditaire (généralement le bailleur) et contiennent les questions d'évaluation de ce dernier. De plus en plus souvent, pour les projets de coopération bilatéraux et multilatéraux, les termes de référence contiennent également les questions de l'institution centrale en charge du projet, par exemple le ministère de la santé, le ministère du plan. En jargon technique, il s'agit des évaluations dites "joint évaluations". Les questions d'évaluation de cette dernière catégorie d'acteurs sont cependant très souvent différentes de celles des responsables administratifs et des techniciens locaux. Ceux‑ci et les populations cibles ‑ et a fortiori des sous catégories à ces ensembles ‑ sont exclus du processus d'élaboration des termes de référence.

53Les termes de référence d'une évaluation participative devraient idéalement contenir les questions de l'ensemble des catégories d'acteurs partie prenante au projet. Ceci n'est cependant possible qu'une fois ceux‑ci identifiés. Il existe diverses solutions à ce problème. Nous avons par exemple pu élaborer avec l'Unicef des termes de référence qui soient ouverts. Les termes de référence initiaux stipulent explicitement que l'évaluation va prendre en compte les questions des autres acteurs du projet. Par la suite, ces questions sont insérées dans les termes de référence définitifs.

54Une autre possibilité ‑ que nous n'avons pas encore expérimentée ‑ serait d'élaborer les termes de référence définitifs de l'évaluation après une phase de pré‑évaluation. Pendant cette phase, les différentes catégories d'acteurs seraient identifiées et l'équipe d'évaluation serait constituée. Ensuite, les grandes questions d'évaluation, leur prioritisation et finalement diverses options méthodologiques seraient négociées entre les différents acteurs du projet. Ceci semble une voie à explorer pour des évaluations conséquentes.

Circulation et dissémination de l'information

55La réalisation d'évaluations participatives a des conséquences importantes sur la circulation de l'information dans les projets. Non seulement en aval du processus (dissémination et circulation des rapports) mais surtout pendant le processus d'évaluation lui‑même. En effet, l'évaluation consiste pour une grande partie à la mise à disposition d'information et à l'échange de celle‑ci entre les différentes catégories d'acteurs. D'autre part, pour que l'équipe d'évaluation puisse analyser correctement le projet ‑ et il s'agit presque d'une condition sine qua non ‑ il est nécessaire que tout une série d'informations relatives à celui‑ci (y compris de l'information financière) puisse être mise à sa disposition 16.

Questions déontologiques

56Avant de conclure cet article, nous voudrions soulever quelques problèmes d'ordre déontologique qui ont trait aux possibilités de manipulation et de dérive de l'évaluation participative telle que nous la concevons. Ces problèmes sont également l'expression d'un certain nombre de contraintes qui pèsent sur le développement de ce type d'approche de l'évaluation :

57a) Un chargé d'évaluation peut‑il se lancer dans une évaluation participative sans s'entourer d'un minimum de garanties que les recommandations formulées par les différents acteurs d'un projet (et particulièrement les plus faibles d'entre eux institutionnellement parlant : les techniciens de terrain et les populations bénéficiaires) seront suivies ?

58Si il est difficilement imaginable de garantir la mise en œuvre des recommandations, certaines précautions peuvent être prises par le chargé d'évaluation. D'une part, le chargé d'évaluation se doit bien entendu de s'assurer de l'honnêteté du commanditaire et de sa volonté de respecter les "règles du jeu". D'autre part, il est utile de se faire une idée de la manière dont les décisions par rapport à un projet sont prises au sein de l'organisme commanditaire de l'évaluation. Le niveau de décentralisation de la prise de décision constitue ici un critère essentiel. Dans notre expérience, la probabilité d'utilisation des résultats augmente avec le niveau de décentralisation du projet. Inversement, la probabilité d'application des recommandations sera relativement plus faible dans les projets hypercentralisés administrativement ce qui reste le cas pour beaucoup d'organismes de coopération.

59b) Qu'en est‑il des questions propres au chargé d'évaluation/évaluateur ? Peut‑on accepter de réaliser des évaluations où certaines questions de fond ne sont pas reprises et en particulier la question de la pertinence du projet ou des stratégies mises en œuvre au sein de celui‑ci ?

60Cette question vaut en fait pour toute évaluation et revient à poser le problème de l'élaboration des termes de référence. L'évaluateur étant un acteur parmi d'autres, il nous semble ici que la seule possibilité cohérente est que le chargé d'évaluation soit associé à leur élaboration (en y incluant ses propres questions). Sa non‑association à la formulation des termes de référence reviendrait à se faire "instrumentaliser" ‑ au profit du commanditaire ‑ ce qui est à notre sens en contradiction avec le concept d'évaluation participative. Le chargé d'évaluation doit cependant prendre garde ici à ne pas substituer ses problématiques à celles des autres catégories d'acteurs.

61c) Finalement, nous ne voudrions pas sous estimer les risques de "manipulation" que l'évaluation participative peut entraîner : extraction d'information ou encore mise en œuvre du mécanisme d'évaluation de manière à faire accepter plus facilement par certaines catégories d'acteurs locaux du projet des changements déjà décidés par les bailleurs ou opérateurs centraux. La transformation du concept en un simple outil de gestion et de motivation des ressources humaines au service des bailleurs et opérateurs centraux (à l'instar des cercles de qualité par exemple) est également possible. Ceci peut se faire facilement en privilégiant d'une part les questions d'évaluation qui sont relatives à l'amélioration des opérations et d'autre part en écartant les questions de type plus fondamentales qui pourraient remettre en cause un projet ou des composantes de celui‑ci. Dans la pratique, les pressions en ce sens sont d'ailleurs nombreuses (particulièrement de la part des opérateurs centraux). Beaucoup dépend finalement de la capacité de résistance du chargé d'évaluation, ce qui revient à remettre la déontologie de ce dernier au cœur du débat.

Conclusions

62Nous avons essayé de montrer ici comment la recherche de type fondamentale qui prend le développement comme objet, peut s'articuler et avoir une utilité opérationnelle, dans le domaine de l'évaluation des projets. Cette utilité peut être indirecte. Elle permet, par exemple, de justifier l'emploi de certaines stratégies d'évaluation ou d'ancrer, plus théoriquement, certaines démarches évaluatives qui se sont développées sur une base essentiellement empirique. Nous avons essayé de le montrer dans le cas de l'évaluation participative.

63L'utilité de ces recherches peut également être plus directe lorsqu'elles fournissent des outils concrets à mettre en œuvre dans le cadre d'une évaluation. Nous avons par exemple suggéré que de telles recherches peuvent permettre une identification plus fine des populations bénéficiaires ou encore pourraient être insérées dans une évaluation participative en "se substituant" en quelque sorte à une catégorie d'acteurs.

64L'évaluation participative est une voie potentiellement intéressante pour l'évaluation en général, et certainement dans le domaine des projets de développement. Les possibilités de son opérationnalisation sont certainement multiformes. De nombreux problèmes pratiques et théoriques sont encore à résoudre et davantage de recherche et d'expérimentation avec ce type d'approche, dans des contextes diversifiés, nous semble nécessaire. Sauf à faire preuve de naïveté cependant, le développement à large échelle de ce type d'approche nécessite également des ruptures avec la manière dont les projets sont sélectionnés, planifiés et gérés. Opérations où les concepts de participation et de négociation doivent également devenir centraux.

Top of page

Bibliography

Beghin, I. (1988) 'Mesurer les résultats ou mesurer les efforts', Paris : Les Cahiers de l'Institut Santé et Développement N° 2.

Box, L. " Knowledge, networks and cultivators : cassava in the Dominican Republic" In Encounters at the Interface : A Perspective on Social Discontinuities in Rural Development. Long, N.(ed.), The Netherlands : Wageningen Agricultural University.

Chen, H.‑T. (1990) Theory‑Driven Evaluations. Sage Publications.

Dozon, J.P. (1991) Le dilemme connaissance‑action : le développement comme champ politique, Bulletin de l'APAD N° 1.

Gasper, D. (1987) 'Motivations and manipulations : some practices of project appraisal and manipulations', Manchester Papers on Development, 3(1) :24‑70.

Guba, G. and Lincoln, Y. (1989) Fourth Generation Evaluation. CA : Sage Publications.

Hulme, D. (1988) 'Project planning and project identification: ration al, political or somewhere in between ?' Manchester Papers on Development, 4 :272‑93.

Kolsteren, P. and Lefèvre, P. (1991) 'Evaluation : Do we have to be afraid', The Health Exchange, London : International Health Exchange, October/November.

Lee, R.A. and Schute, J.C.M. (1991) 'An approach to naturalistic evaluation. A study of the social implications of an international development project', Evaluation Review, 15(2) :254‑65.

Lefèvre, P. and Beghin, I.(eds.) (1991) Guide to comprehensive evaluation of the nutritional aspects of projects and programmes. Health and Community. Working paper n°27. Antwerp : Institute of Tropical Medicine.

Lefèvre, P. and Garcia, C. (1992) 'Perceptions et attentes des acteurs locaux vis‑à‑vis du système de suivi et d'évaluation d'un projet de développement à composante nutritionnelle', Balaruc‑France : Cinquièmes Journées Scientifiques du GERM.

Lefèvre, P. and Garcia, C. (1994) 'Experiences, perceptions and expectations of local project actors on monitoring and evaluation. A case study in the Philippines', (submitted to the Journal of International Development).

Lipps, G. and Grant, P.R. (1990) A participatory method of assessing program implementation. Evaluation Review, 14 :427‑34.

Long, N. and Van der Ploeg, J.D. (1989) 'Demythologizing planned intervention : an actor perspective', Sociologia Ruralis 29(3‑4) :226‑49.

Long, N. 1989. "Theoritical Reflections on Actor, Structure and Interface" in Encounters at the Interface : A Perspective on Social Discontinuities in Rural Development. Long, N.(ed.), The Netherlands : Wageningen Agricultural University.

Monnier, E. (1987) Evaluations de l'Action des Pouvoirs Publics. Paris : Economica.

Morgan, E.P. (1983) 'Social analysis, project development and advocacy in U.S. foreign assistance' Public Administration and Development, (3) :61‑71.

Olivier de Sardan, J‑P. (1991) 'L'anthropologie du changement social et du développement comme ambition théorique ?', Bulletin de l'APAD N° 1.

Olivier de Sardan, J.‑P. (1993) 'Le développement comme champ politique local', Bulletin de l'APAD N° 6.

Patton, M.Q. (1986) Utilization‑Focused Evaluation. Beverly Bills : Sage Publications.

Ramos, L. (1991) Evaluation of nutrition‑related interventions in Brazil : A methodological contribution. Ph.D. diss. Belgium : University of Gent.

Rossi, P.H. and Freeman,H.E. (1989) Evaluation : A Sytematic Approach. Sage Publications.

Salmen, L.F. (1987) Listen to the People. Participant Observer Evaluation of Development Projects. Oxford : Oxford University Press.

Salmen, L.F. (1989) 'Beneficiary assessment. Improving the design and implementation of development projects', Evaluation Review 13 :273‑91.

Scrimshaw, N.S. and Gleason, G.R. (eds.) (1992). Rapid Assessment Procedures. Qualitative Methodologies for Planning and Evaluation of Health Related Programmes. Boston : International Nutrition Foundation for Developing Countries.

Van Lerberghe, W. and Beghin, I. (1985) The evaluation of large scale health and nutrition projects : an outline of a methodology. Report to WHO. Antwerp : Institute of Tropical Medicine.

Weiss, C.H. (1979) 'Evaluation research in the political context' in : Handbook of Evaluation Research. Guttentag, H. and Struening, E. (eds.) Beverly Hills : Sage Publications.

Top of page

Notes

1Pour une définition d'une telle anthropologie, voir Olivier de Sardan (1991).
2Il n'est pas facile de différencier nettement activités de recherche .appliquées et activités d'évaluation car une évaluation contient souvent des activités de recherche (études spéciales). Toutefois, un critère de différenciation essentiel nous semble être le degré d'autonomie du chercheur par rapport au commanditaire. Quitte à caricaturer un peu, on peut dire qu'en recherche, le chercheur définit lui‑même sa problématique, ses questions ou hypothèses de recherche et sa méthodologie de travail, l'ensemble étant contenu dans un protocole de recherche rédigé par le chercheur. En évaluation, il s'agit essentiellement de fournir des éléments de réponses à des questions posées par le commanditaire, selon une méthodologie généralement prédéterminée, l'ensemble étant contenu dans les termes de référence de l'évaluation élaborés par le commanditaire. Un second critère de différenciation est le degré de généralisation des résultats : contrairement à la recherche, l'évaluation ne vise généralement pas à produire des résultats valides en dehors du programme évalué.
3c.f. les évaluations de type "tournée des popotes". Lorsqu'il ne s'agit pas de contrôle pur et simple, l'évaluateur a pour rôle de recueillir, filtrer et synthétiser à l'usage du commanditaire, un ensemble d'avis et d'opinions sur le projet exprimées par divers acteurs institutionnels ou individuels impliqués directement ou indirectement dans celui‑ci. Lorsque des données sont recueillies, elles servent essentiellement à fournir un cachet de scientificité aux rapports d'évaluation. Ceci explique, à notre avis, les écarts énormes parfois observés entre les résultats techniques des analyses statistiques et les recommandations souvent très "politiques".
4Voir pour une bibliographie sur ce thème, Olivier de Sardan (1993).
5Pour une discussion détaillée des différents modèles pouvant rendre compte de la planification de projets et particulièrement au stade dit de l'identification, voir Hulme (1988).
6Pour une vue d'ensemble voir par exemple Rossi (1989) ou Chen (1990).
7Quoique fortement remis en cause, ce modèle reste dominant, particulièrement dans les programmes connectés aux "sciences dures" : santé, nutrition, agronomie, etc.
8Pour un bon exemple de l'application de ce type de raisonnement, voir Beghin (1988) et Ramos (1991).
9Il faut signaler ici les travaux importants de Salmen (1987, 1989) visant à introduire ce type d'évaluation (et la pratique de l'observation participante !) dans les procédures d'évaluation de la Banque Mondiale.
10On doit regretter ici la tendance dans de nombreuses études anthropologiques à ne pas rendre explicite les méthodologies mises en œuvre, et les détails de la recherche (nombre de visites, durée des séjours, nombre de conversations tenues, etc.).
11Il s'agit bien ici d'un modèle normatif. Les pratiques réelles sont différentes. Les évaluateurs ont souvent des intérêts dans les projets. Il peut, par exemple, être utile de faire "survivre" un projet qui ne le mériterait pas parce que celui‑ci représente des missions potentielles, parce qu'il constitue une source de données importante qui permet d'écrire des articles, etc. Dans d'autres situations, il peut être dans l'intérêt de l'évaluateur d'être injustement critique à propos d'un projet exprimant par là son seul pouvoir, celui de dire non (Gasper, 1987)
12Pour une description d'une "rencontre" entre acteurs mettant en jeu les mêmes mécanismes, voir Box (1989).
13La participation n'est qu'une des dimensions de rapproche. Son caractère global et formatif ainsi que, dans une certaine mesure, la possibilité pour les acteurs de s'approprier la méthode et ses outils sont d'autres caractéristiques importantes.
14Dans le domaine de l'évaluation des projets de développement, ce type d'expériences est très limité. Pour une application concrète voir cependant Lee (1991).
15Ce problème de la non‑utilisation des résultats des évaluations a conduit Patton (1987) à en faire le thème central de son approche évaluative.
16Lors d'une évaluation, une critique qui nous a été adressée par les opérateurs centraux concerne la multiplication de recommandations tendant à ajouter des nouvelles catégories d'activités au programme. Cette critique sous‑entendait également une certaine "irresponsabilité" des acteurs locaux du programme. Ces opérateurs "oubliaient" cependant que les procédures de leur propre organisation n'autorisaient pas de communiquer les enveloppes budgétaires disponibles au niveau local...
Top of page

References

Electronic reference

Pierre Lefèvre and Patrick Kolsteren, “Le développement comme arène : implications pour l'évaluation des projets”Bulletin de l'APAD [Online], 8 | 1994, Online since 22 November 2007, connection on 28 March 2024. URL: http://journals.openedition.org/apad/1823; DOI: https://doi.org/10.4000/apad.1823

Top of page

Copyright

The text and other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search