La volonté, détaillée dans la partie précédente, de certains décideurs locaux de choisir eux-mêmes le pré-échantillon sur lequel portera la randomisation – parmi les zones ou individus ‘‘exemplaires’’- est un premier obstacle auquel sont confrontés les chercheurs qui font des expérimentations aléatoires. Les intérêts des acteurs rencontrés sur le terrain – ONG, décideurs politiques, élites locales etc. – n’étant pas bornés à la qualité de l’évaluation d’un programme, d’autres barrières à la mise en pratique de l’expérimentation s’ajoutent à ce premier obstacle, comme l’énoncent Christopher B. Barrett et Michael. R. Carter dans The Power and Pitfalls of Experiments in Development Economics : Some Non-random Reflections[ref] :
« Intended random assignments are commonly compromised by field teams implementing a research design, especially when government or NGO partners have nonresearch objectives for the intervention that must be reconciled with researchers’ aim to cleanly identify causal effects. »
La corruption, tout d’abord, constitue un obstacle de taille. Le souci des élites locales dirigeantes de conserver leur pouvoir et avantages peut supplanter celui du développement de la région. Comme l’expliquent Christopher B. Barrett et Michael R. Carter, là où elle existe, la corruption peut « conduire à une adhésion partielle des personnes en charge de la mise en pratique de l’évaluation au protocole d’expérimentation prévu » et ainsi mener à des « biais d’échantillonnage » dans la randomisation. Les conséquences rejoignent alors celles étudiées dans la partie précédente : une diminution de la représentativité de l’échantillon par rapport à la population cible. Par ailleurs, il est également possible que les individus participant à l’évaluation s’arrangent avec les personnes en charge de sa mise en place pour changer de groupe – cela entrainant les biais de participation étudiés précédemment. Enfin, si une expérimentation implique des transferts monétaires, il est à craindre que cet argent soit en partie accaparé par certaines personnes, rendant caduque l’expérimentation.
Les intérêts personnels des individus en charge de la mise en pratique de l’expérience randomisée peuvent entrainer une adhésion partielle au protocole expérimental. Ilf Bencheikh[ref] reconnait qu’ « une expérimentation aléatoire est très contraignante » et que « les gens sur le terrain peuvent ne voir l’évaluation que comme des ennuis ». Selon lui, tout le problème consiste à réussir à « convaincre l’intégralité de la structure ». En effet, « même si on est arrivé à se mettre d’accord avec le dirigeant de la structure, celui-ci peut être la seule personne convaincue ». Dans ces conditions, les personnes sur le terrain « peuvent soit refuser ouvertement de se plier à l’évaluation, soit faire de la résistance passive car [l’évaluation] complique leur travail ». Cela peut notamment s’expliquer par l’appréhension d’une « évaluation/sanction » et la crainte de « reproches futurs ». Dans d’autres situations, le personnel chargé de mettre en œuvre l’expérience peut justement vouloir tirer parti de l’évaluation, quitte à en biaiser les résultats. Ilf Bencheikh prend l’exemple de l’évaluation d’une offre de microcrédit. « Il faut, explique-t-il, s’assurer que l’agent de microcrédit, lorsqu’il a fini de vendre son produit dans les villages du groupe test, n’aille faire la même chose dans le groupe témoin » pour développer son activité. Le Directeur-Adjoint au J-PAL Europe insiste sur l’importance « d’avoir des points de contrôle » bien qu’il concède l’impossibilité de « mettre quelqu’un derrière chaque personne sur le terrain ».
Une dernière entorse au protocole expérimental peut survenir lorsque des partenaires de terrains sont plus soucieux de faire de l’aide au développement – dans sa dimension pratique – que de l’expérimentation, comme l’expliquent Christopher B. Barrett et Michael. R. Carter [2010][ref] :
« Field partners less concerned with statistical purity than with practical development impacts commonly deem it unethical to deny a “control group” the benefits of an intervention strongly believed to have salutary effects or to knowingly “treat” one household instead of another when the latter is strongly believed likely to gain and the former not. »
Certains évaluateurs prennent par exemple le parti d’administrer le traitement à des individus du groupe de contrôle. Christopher B. Barrett et Michael. R. Carter expliquent que de tels évaluateurs, même s’ils sont bien-intentionnés, réintroduisent de cette manière l’ « hétérogénéité invisible » – et ainsi des biais de participation – que l’on souhaitait annuler avec la randomisation.
“Well-meaning field implementers thus quietly contravene the experimental design, compromising the internal validity of the research and reintroducing precisely the unobserved heterogeneity that randomization was meant to overcome.”