La représentativité de l’échantillon étudié au cours de l’évaluation par rapport à la population cible conditionne la possibilité de tirer des conclusions politiques de l’expérience. Cette représentativité est déterminée par le choix de l’échantillon de départ sur lequel sera effectuée la randomisation.
Idéalement, la randomisation porte sur l’ensemble de la population cible. Cependant, le refus initial de certains individus de participer à une expérimentation randomisée ou la volonté des dirigeants politiques – ou des agences qui mettent en œuvre les programmes – de choisir eux-mêmes les individus sur qui portera la randomisation peuvent entrainer une disparition d’une certaine catégorie d’individus de l’échantillon initial. Dans le pire des cas, la randomisation peut même totalement disparaître.
Les personnes chargées de mettre en œuvre les programmes peuvent être amenées à vouloir choisir elles-mêmes les individus du groupe traité pour plusieurs raisons. Dans le cas où l’évaluation du travail de ces personnes dépend des résultats de l’expérience (ou du moins si ces personnes en ont l’impression), elles peuvent être tentées de sélectionner les personnes les plus motivées ou les plus à même de présenter des résultats positifs. Dans le cas des programmes de développement, le choix pourra avoir tendance à se porter sur les individus qui bénéficieront au mieux du programme en question. Denis Fougère résume cette tendance dans l’article Les méthodes d’expérimentation en question[ref]:
« […] si les agences chargées de la mise en œuvre des programmes ou interventions offrent un nombre de places limité ou si elles sont évaluées sur la base des résultats de l’expérimentation, elles peuvent être de ce fait incitées à sélectionner les candidats les plus qualifiés ou ceux pour lesquels le programme est potentiellement le plus bénéfique. »
L’expérimentation réalisée sur le RSA en France entre 2007 et 2009 est une bonne illustration de la difficulté d’effectuer une expérimentation randomisée. En effet, alors qu’il était initialement prévu que cette évaluation soit réalisée de façon randomisée, le caractère aléatoire de l’expérience a finalement totalement disparu. Comme nous l’a expliqué François Bourguignon[ref], les départements de l’étude ont tout d’abord été choisis sur la base du volontariat. Au sein de ces départements, « des villes efficaces et dont les responsables étaient motivés » ont été proposées par les conseils généraux pour constituer l’échantillon test, un protocole jugé « pas complètement rigoureux » par l’ancien vice-président de la Banque Mondiale. Bien qu’il reconnaisse l’absence de randomisation, le rapport final de l’expérimentation de 2009 cité par Bernard Gomel et Evelyne Serverin dans l’article Evaluer l’expérimentation sociale[ref] est plus optimiste quant à la qualité du protocole expérimental :
« Les territoires expérimentaux ont été choisis par les départements à la suite d’une démarche de concertation locale, soit pour leur représentativité, soit pour leur exemplarité (« positive » ou « négative ») […].En ce qui concerne l’évolution du taux de retour à l’emploi, l’ensemble des zones témoins est en moyenne une réplique, ou “contrefactuel”, satisfaisant de l’ensemble des zones tests. »
Comme nous l’avons rapporté précédemment, Esther Duflo explique dans L’approche expérimentale en économie du développement[ref] que dans le domaine de l’économie du développement, l’obstacle principal à la participation vient de la non-acceptation du caractère aléatoire de l’évaluation par certaines ONG et/ou gouvernements. En effet, l’acceptation de la randomisation par les individus susceptibles de participer à l’expérience est quant à elle plus forte comme nous l’avons mentionné dans la partie Enjeux éthiques.
« Le fait que les gens acceptent ou non la randomisation peut fausser la représentativité de l’échantillon par rapport à l’intégralité de la population », nous a expliqué Ilf Bencheikh[ref]“>[ref], Directeur-Adjoint du J-PAL Europe. Heckman [1992][ref], cité par Esther Duflo [2009][ref] , présente cette « autre forme plus subtile de biais lié à l’assignation aléatoire » au travers de l’expérimentation d’un programme de formation professionnel (JTPA). Dans le programme en question, certains sites ont « spécifiquement refusé l’expérimentation à cause de l’assignation aléatoire », or « il se peut que ces sites soient différents ». C’est cette différence spécifique aux sites absents de l’échantillon qui affaiblit fortement la représentativité de l’expérience. La même remarque est soulevée par Denis Fougère [2010][ref] à propos d’un programme éducatif : « il est à craindre que les établissements qui refusent de participer à l’évaluation expérimentale d’une nouvelle politique éducative soient précisément ceux qui pensent en tirer le moins d’avantages ». Le résultat d’une telle expérience ne seront valable qu’au sein « des établissements, des classes, etc., qui ont accepté de participer à l’expérience ». Or, comme le souligne l’auteur, l’écart entre « l’effet moyen de la politique éducative » et cet effet restreint aux établissements ayant accepté de participer « peut être assez substantiel ».
En économie du développement, Esther Duflo [2009][ref] voit dans la question de la représentativité une « objection de taille » et une « critique difficile à réfuter dans la mesure où les données – quel que soit leur nombre – ne seront jamais suffisantes pour nous rassurer totalement sur l’absence de ce problème. »
Arthur Jatteau [2013][ref] conclut en faisant référence à sa directrice de thèse Agnès Labrousse[ref], chercheuse en économie, que « la randomisation elle-même apparait davantage comme une construction sociale, qui diffère d’un article à l’autre, que comme un outil appliqué tel quel de manière uniforme ».