Pour bien comprendre ce qu’est une expérimentation par assignation aléatoire, intéressons-nous à un exemple concret d’évaluation d’impact. L‘évaluation suivante, menée entre 2001 et 2003 par trois chercheurs affiliés au J-PAL, Michael Kremer, Edward Miguel et Rebecca Thornton, concerne Girls’Scholarship Program, un programme de bourses au mérite pour jeunes filles mis en place par l’ONG International Child Support Africa au Kenya. Nous l’avons sélectionnée parce qu’elle permet de bien décrire la méthodologie associée à un RCT, et aussi d’introduire les différentes problématiques qui lui sont liées et qui seront abordées dans ce site.
Les bourses au mérite font partie des dispositifs d’incitation au travail utilisés par la plupart des systèmes éducatifs. Le fort abandon scolaire au Kenya, particulièrement chez les filles, a motivé leur mise en place dans ce pays. L’évaluation, réalisée simultanément au déploiement du projet dans un certain nombre d’écoles situées dans deux districts, Busia et Teso, a permis de quantifier les impacts d’un tel programme.
Sur un échantillon de 127 écoles primaires, 64 ont été sélectionnées aléatoirement pour constituer le groupe test, c’est-à-dire que le programme de bourses au mérite leur a été appliqué. Les 63 autres écoles ont alors formé le groupe de contrôle : elles n’ont pas été soumises au programme. Le but est en effet de comparer ce qu’il advient du groupe test et du groupe de contrôle pour déterminer l’impact moyen du programme. L’étape de randomisation est cruciale, car la validité de l’estimation de l’impact repose sur le caractère aléatoire de la sélection des groupes. Une enquête auprès des élèves a permis de vérifier que les deux groupes étaient effectivement comparables en termes d’éducation des parents, de niveau de vie… La randomisation a donc été jugée « très réussie » par les évaluateurs. Le choix des 127 écoles est un paramètre conditionnant la représentativité de l’échantillon vis-à-vis de la population globale, et donc la possibilité de généraliser les résultats de l’expérience.
Les bourses au mérite étaient promises aux 15% des filles en sixième année du primaire (le cycle primaire dure huit ans au Kenya) ayant obtenu les meilleurs résultats à un examen organisé par chacun des deux districts. Le classement était établi au niveau de chaque district. La bourse était garantie pendant deux ans, et consistait au versement annuel de 6.40 US dollars à l’école de l’élève pour couvrir ses frais d’inscription, et de 12.80 US dollars à la famille de l’élève pour les dépenses liées à son éducation. Le fais que cet argent soit bien consacré à ce but n’a pas été contrôlé : les évaluateurs mesurent certains paramètres mais ne peuvent maîtriser l’ensemble des événements et des phénomènes qui interviennent au cours de l’expérience.
Alors que la randomisation est une opération réalisée par les économistes, ce sont les responsables de l’ONG qui ont pris en charge la mise en œuvre de l’expérimentation. Ils ont ainsi rencontré les directeurs d’établissement du groupe test afin de leur proposer la mise en place du programme. Tous ont accepté. Les chefs d’établissement devaient ensuite communiquer aux parents la mise en place des bourses au mérite, et l’ONG a également tenu des réunions d’information en septembre et novembre 2011. Les examens ont alors eu lieu en novembre 2011, puis en novembre 2012 pour la génération suivante. Dans le district de Teso, le gouvernement a annulé les examens à cause d’interférences avec les élections se tenant à la même période. L’ONG a donc proposé ses propres examens en février 2003. Les évaluateurs, par la nature même des expérimentations, sont ainsi amenés à être confrontés aux réalités du terrain.
Les échantillons d’élèves test et témoin avaient été constitués au moment de la randomisation en amont du déploiement effectif du dispositif d’expérimentation. Au sein de ces groupes, tous les élèves n’ont pas passé effectivement l’examen. En effet, certains étudiants ont changé d’école, ou décidé de ne pas le passer. Par ailleurs, certaines écoles se sont retirées de l’expérience suite à une catastrophe survenue dans une école ne participant pas à l’expérience mais ayant déjà eu des liens avec l’ONG : la foudre s’est abattue sur l’école, entraînant le décès de sept élèves. Certains ont alors fait le lien entre la catastrophe et l’ONG. Ces désistements contribuent à un biais d’attrition dans les résultats qui doivent être pris en compte par les évaluateurs.
Les résultats aux examens constituaient la métrique pour juger du succès de l’intervention, autrement dit des bourses au mérite. Ils ont permis d’évaluer l’impact du programme sur le niveau général des élèves. Le paramètre d’évaluation était la différence de la moyenne des élèves des deux groupes mesurée en écart type. Ces résultats ont mis en évidence une réussite supérieure de 0.19 écarts type dans le groupe traité. Afin d’avoir une vision plus précise des divers effets du programme, des enquêtes sur l’assiduité des élèves et des enseignants ont aussi été réalisées par l’ONG. Cela a permis de mettre en évidence les externalités positives du programme dans ces domaines.
Il est à noter que des résultats différents ont été observés dans les deux districts. Les évaluateurs expliquent ce phénomène par des différences historiques – un plus faible niveau éducatif dans le district de Teso- et culturelles (rapport à l’étranger, etc.). La différence des résultats observés témoigne de leur dépendance contextuelle.
L’évaluation que nous venons de présenter introduit les enjeux liés à la réalisation des expériences sur le terrain et à la généralisation des résultats. Ces questionnements sont déterminants pour savoir si le programme doit être étendu ou non, ce que prétend pouvoir faire la nouvelle économie du développement ayant mis les essais randomisés au centre de l’attention.