Les expériences par assignation aléatoire en économie du développement permettent de mesurer l’efficacité moyenne d’un programme, en comparant ce qu’il advient d’une population participant au programme et d’un groupe témoin. Cependant, elles ne décrivent pas les différents mécanismes qui mènent aux résultats. Elles aboutissent ainsi à des mesures d’efficacité mais pas à des chaînes de causalité. Les expériences randomisées sont donc parfois comparées à des boîtes noires : seules l’entrée et la sortie sont accessibles à la mesure et l’analyse. Si les hypothèses et le contexte sont modifiés, ce qui revient à changer ce qu’il y a en entrée, les chercheurs ne sont alors plus capables de prévoir les effets, c’est-à-dire ce qui constituera la sortie de la boîte noire. Ne pas connaître les mécanismes mis en jeu nuit forcément à la généralisation des résultats obtenus, car à chaque fois que l’entrée est modifiée de manière significative (contexte, échelle), l’efficacité est imprévisible et une nouvelle expérience serait nécessaire.
Par ailleurs, la qualification de l’efficacité d’un programme peut être rendue imprécise. Dans le cadre de transferts conditionnels, dont le versement dépend d’une tâche définie à effectuer, l’évaluation montrera possiblement que le transfert est efficace mais ne dira pas s’il s’agit du transfert optimum, c’est-à-dire optimisant le rapport coût/efficacité. François Bourguignon[ref] explique notamment cet écueil en évoquant une évaluation d’impact par assignation aléatoire menée sur PROGRESA-Oportunidades, un programme de transferts conditionnels. Le programme consistait à verser un montant fixe aux familles pour chaque enfant de 12 ans envoyé à l’école, avec une prime s’il s’agissait d’une fille, afin de réduire la discrimination par genre. Le problème est que le transfert était fixe. L’expérience n’a donc pas pu mettre en évidence les variations du taux de scolarisation avec le montant du transfert, et donc déterminer le montant optimal.
« Le programme s’est montré efficace, mais ne permettait pas de connaître l’impact du montant du transfert sur la scolarisation. On peut alors se poser la question suivante : ne paie-t-on pas très cher des résultats faibles ? On n’a rien appris sur l’élasticité scolarisation/revenus car un seul et unique programme a été mené. Une expérience randomisée est comme une boîte noire : un flux entre et des résultats en sortent mais on ne sait absolument pas ce qui se passe. »
Comment ouvrir la boîte noire ?
Comprendre mieux les phénomènes mis en jeu lors de l’application d’un programme est un enjeu considérable pour pouvoir généraliser les observations effectuées lors de l’évaluation d’impact. Les critiques adressées à la méthodologie des essais randomisés et pointant l’absence de compréhension fine de ces phénomènes ont été entendues par les chercheurs du J-PAL. Lors de l’entretien qu’il nous a accordé, Ilf Bencheikh[ref], directeur adjoint de l’antenne européenne du J-PAL, a témoigné du fait que les chercheurs essayaient d’y remédier : « C’est donc une critique qu’on a accepté et à laquelle on essaie de répondre, par exemple en faisant des mesures intermédiaires lors de l’évaluation afin d’avoir une traçabilité des output mesurés. ». Il est conscient de l’enjeu d’ouvrir la boîte noire : « C’est pour répondre à la volonté de généraliser un résultat qu’il est important d’ouvrir la « boîte noire » et de comprendre les mécanismes en œuvre ainsi que les explications du comportement des acteurs, et non juste de mesurer l’impact. »
Une solution réside peut-être dans la pluridisciplinarité, pour mieux comprendre ce qu’il se passe au cours de l’expérience. Des études qualitatives accompagnent de plus en plus les études quantitatives. Les chercheurs, par exemple du J-PAL, travaillent en coopération avec d’autres chercheurs venant de champs disciplinaires différents, comme la sociologie et l’anthropologie. Les résultats intermédiaires sont analysés. Le but est de ne pas se cantonner au résultat final de l’expérience mais plutôt de comprendre les mécanismes mis en jeu.