L’effet d’un programme peut être évalué selon deux approches différentes : l’approche quantitative et l’approche qualitative.
• L’approche quantitative consiste à s’intéresser à un certain nombre de données chiffrées dépendant du programme en question. Ces données offrent une vision de l’effet du programme décliné selon différents éléments observables – par exemple, dans le cas d’un programme éducatif, la présence des élèves, le niveau scolaire dans différentes matières etc. Comme nous l’avons mentionné dans la partie précédente, les tenants des évaluations randomisées – qui cherchent principalement à « quantifier [l’] impact » des programmes – s’inscrive dans cette approche.
• L’approche qualitative consiste à juger l’effet d’un programme du point de vue de données non chiffrées. Selon Florent Bédécarrats[ref], membre du comité d’évaluation de l’AFD, les « postures épistémologiques et les démarches fondamentales du qualitatif et du quantitatif sont très différentes ». En effet, selon lui, là où le quantitatif a une « démarche hypothético-déductives », le qualitatif adopte une démarche plutôt « inductive ou abductive ». « La manière de représenter la vérité et d’y parvenir, conclut le chercheur, n’est vraiment pas la même dans un camp et l’autre ».
La distinction entre les deux approches n’est cependant pas une fracture. Parmi les tenants de chacune de ces deux conceptions de la vérité, il existe une volonté d’adopter une démarche mixte. Les partisans des approches qualitatives, tout d’abord, reprochent aux chercheurs du J-PAL de se focaliser sur la démarche quantitativiste au lieu d’entreprendre une démarche plus mixte, explique Florent Bédécarrats [2014]. Ilf Bencheikh[ref], Directeur-Adjoint du J-PAL Europe nous a de son côté expliqué que les chercheurs du J-PAL étaient « très ouverts sur les méthodes mixtes ». Selon lui, « tout savoir qui peut être complémentaire au [leur] est intéressant » et le J-PAL n’a « aucun soucis à essayer de travailler le plus possible avec des gens qui font du qualitatif pour compléter [l’] analyse quantitative ». Comme nous l’a expliqué Florent Bédécarrats, l’AFD a participé par le passé à deux évaluations randomisées dont les résultats ont été jugé peu concluants par l’organisation compte tenu de la difficulté de leur mise en pratique. Alors que les évaluations d’impact ne représentent aujourd’hui que 20% du budget alloué par l’AFD à l’évaluation, selon le chercheur, il y a cependant aujourd’hui « une volonté plus franche de la nouvelle direction de refaire de l’évaluation avec des approches plus mixtes ». Malgré cette bonne volonté, les évaluations dans lesquelles s’articulent les deux méthodes reste anecdotiques. Comme nous l’a confié Florent Bédécarrats, il y a là quelque chose qui peut paraître « paradoxal » :
« C’est un peu un poncif de dire qu’il faut articuler quantitatif et qualitatif : tout le monde est d’accord pour dire « pourquoi ne pas le faire ? », pour déclarer qu’« on va le faire » et puis finalement cela ne se fait jamais ».
Une articulation difficile en pratique
Le premier obstacle à la l’articulation du quantitatif et du qualitatif réside dans la définition même de ce qu’est le qualitatif. Florent Bédécarrats parle d’« ambiguïté » et de « malentendu » pour qualifier la vision qu’ont les tenants des approches quantitatives sur ce qu’est le qualitatif.
« Pour des quantitativistes, le qualitatif se résume, le plus souvent, à une variable de « perception » dans le questionnaire. Ils sont très friands des approches un peu psychologiques : faire des jeux, poser aux gens des questions du type « est-ce que vous préfèreriez que je vous donne 10 francs tous les jours ou 100 francs dans 8 jours ? » etc… Ce sont parfois des choses un peu schématiques ou, en tout cas, avec une approche très codifiée du qualitatif qui est souvent perçue par les qualitativistes comme incomplète et partielle par rapport à ce qu’est, entre guillemets, du vrai qualitatif. »
Il est parfois reproché aux tenants des expérimentations aléatoires d’avoir recours à une sorte de qualitatif simpliste pour se dédouaner de certaines critiques qui leur sont adressées. Ilf Bencheikh explique par exemple que les chercheurs du J-PAL utilisent une démarche qualitative pour mieux comprendre les comportements des sujets de l’expérience et résoudre en partie le problème de la boîte noire.
D’autres personnes ont une conception « médiane » qui consiste à réaliser tout d’abord en amont des « observations et entretiens » afin d’ajuster le questionnaire de l’évaluation, de vérifier les hypothèses de départ ou de « s’assurer d’avoir les bonnes variables ». En aval, le qualitatif peut encore être mobilisé « au moment d’interpréter les résultats » pour « les contextualiser, les réinterpréter etc. ». Selon Florent Bédécarrats, « les tenants du qualitatif expliquent qu’il faut arrêter de voir le qualitatif comme un subsidiaire du quantitatif » car « celui-ci est un instrument d’administration de la preuve à part entière ». Ilf Bencheikh voit quant à lui dans « la différence entre le quantitatif – que l’on fait – et le qualitatif » le fait que là où les quantitativistes réalisent un « questionnaire fermé à 10 000 enfants », les tenants des méthodes qualitatives vont passer « une journée entière dans un foyer à discuter avec les parents ». L’approche quantitative, bien qu’elle soit « détaillée », s’apparente plus à une « grosse machine ».
Au-delà du problème définitionnel, l’articulation entre les deux approches souffre d’autres difficultés.
La première est purement pratique : comme l’explique Florent Bédécarrats, il est déjà « compliqué de monter ces expérimentations-là ». Selon lui, il est compréhensible, pour des principes de réalité, qu’une fois « la machine lancée » les expérimentateurs ait envie d’avancer sans devoir réfléchir à une enquête qualitative par ailleurs très compliquée à mettre en place. Une autre difficulté à la mise en pratique d’une évaluation liant approches quantitatives et qualitatives réside dans les enjeux que concentre pour les chercheurs la publication dans des revues. En effet, dès lors que « les qualitativistes ne publient pas dans les mêmes revues que les quantitativistes », comme le rappelle Florent Bédécarrats, le choix de la revue dans laquelle serait publiés les résultats d’une évaluation menées par un groupe mixte comprenant des tenants des deux méthodes pose problème. Or c’est la publication qui créé « la légitimité dans le milieu scientifique » et elle peut avoir des enjeux très concrets pour les chercheurs. Enfin, un autre écueil tient dans le fait que les « disciplines ne sont pas forcément très habituées à travailler entre elles ». Bien qu’il explique que les chercheurs du J-PAL tentent d’intégrer une approche qualitative à leur démarche, Ilf Bencheikh concède qu’« il n’est jamais très facile de faire de l’interdisciplinaire » notamment à cause des guerres de « chapelles » entre les approches. Il conclut cependant qu’ il est parfois possible de « casser les barrières » et donne l’exemple des travaux effectués conjointement par l’économiste Marc Gurgand et des « spécialistes des sciences de l’éducation qui apportent une compréhension complémentaire des enjeux pédagogiques ».
L’approche quantitative souvent privilégiée
Dans les faits, l’approche quantitative semble prendre le pas sur l’approche qualitative. Dans les cas où il a une diversité d’approche, « c’est souvent le quantitativiste qui a le rôle de pilote » raconte Florent Bédécarrats : « L’approche est très axée sur le quantitatif et le qualitatif est toujours vu comme une manière d’apporter un petit plus. »
Cette tendance s’explique principalement par un courant actuel favorable à l’approche quantitative comme le met en avant Florent Bédécarrats :
« Il y a une valeur sociale chiffrée de la démonstration statistique au sens d’administration de la preuve qui est plus forte pour les méthodes quantitatives. Dans le monde du développement il y a actuellement un très fort courant en faveur des « evidence-based policies ». L’idée est de faire de la preuve statistique l’alpha et l’oméga de la décision politique. C’est reconnu, valorisé, revendiqué par les décideurs. »
L’importance relative du quantitativiste par rapport au qualitativiste est renforcée par le fait que c’est la partie quantitative « qui va le plus souvent être le critère de qualité déterminant pour pouvoir publier dans une revue A+ en économie » raconte Florent Bédécarrats. Par ailleurs, dans le monde de l’évaluation « le financement est encore très contrôlé par un petit nombre de bailleurs qui sont les plus gros contributeurs : Fondation Gates, le DFID… ». Or ils financent actuellement principalement les approches quantitatives, explique Florent Bédécarrats. Il en est de même pour les gens qui travaillent au 3IE (International Initiative for Impact Evaluation) : bien qu’ils soient « très ouverts dans leurs conseils méthodologiques » et bien qu’ils « montrent comment faire du quantitatif et comment le coupler avec du qualitatif », ils continuent à financer « essentiellement des RCT ».
Si cette focalisation sur les approches quantitatives pose problème selon Florent Bédécarrats, c’est en particulier par l’effet d’éviction des ressources qu’elle produit pour les autres méthodes. En effet, il explique que les évaluations par assignations aléatoires sont en général plus chères, voir beaucoup plus chères, que les méthodes qualitatives. A titre d’exemple, à l’AFD, « une évaluation qualitative coûte 80 000 euros, tandis qu’une évaluation d’impact coûte entre 600 000 et 800 000 euros », cela s’expliquant par le fait que collecter de la donnée – ce qui est nécessaire dans le cas des évaluations randomisées – est « extrêmement couteux ». Cependant, là où les « enquêtes terrains des instituts nationaux de statistique », également « très chères », permettent « d’apporter de l’information sur quatre cents études », « une évaluation d’impact ne répond qu’à la question « est-ce que mon microprogramme a fonctionné ou pas ? » ».
Or selon Florent Bédécarrats, il n’est pas du tout évident qu’il faille privilégier l’approche quantitative sur l’approche qualitative. Parfois, l’approche qualitative est plus adaptée et pour certains programmes le recourt à des évaluations d’impact randomisées est comparable à « écraser des mouches avec des marteaux ».
« Des moyens surdimensionnés sont développés par rapport à ce qu’on cherche ce qui fait que l’on rate souvent. Il existe des méthodes beaucoup plus modestes, basées sur de l’avant/après, des évaluations plus opérationnelles, liant quantitatif et qualitatif mais pour lesquelles on ne va pas jusqu’à de la démonstration avec contrefactuel ».