Lors de l’évaluation d’un programme, les chercheurs sont associés à des institutions politiques et à des ONG qui le mettent en œuvre. Au terme de l’expérience, ils publient un document qui rend compte des résultats obtenus et des conclusions. Ils ne peuvent alors plus contrôler l’interprétation et l’utilisation qui sont faites de ces observations. Le risque est que celles-ci soient simplifiées voire manipulées par les responsables politiques, institutionnels et le débat public.
Les décideurs politiques et institutionnels placent parfois beaucoup d’espoir dans les expérimentations pour prouver l’efficacité de programmes qu’ils veulent mettre en place. Leur objectif peut alors être de généraliser ces programmes, alors que l’objectif du chercheur est plutôt de construire de la connaissance. Leur calendrier ne correspond pas à celui des chercheurs, et se trouve soumis à de multiples contraintes. Il arrive donc que la décision politique court-circuite l’évaluation et intervienne avant qu’elle ne soit menée à son terme. Ilf Bencheikh[ref], directeur adjoint de l’antenne européenne du J-PAL, témoigne :
« Dans la réalité des faits, il y a des problèmes de calendrier : la décision politique ne correspond pas au rythme du travail de recherche. Vous pouvez avoir des résultats bien après que la décision a été prise. Cela nous est arrivé assez souvent. Vous pouvez être confrontés à d’autres facteurs qui font que le résultat de recherche pure ne va pas peser assez lourd face à d’autres considérations. Cela nous est arrivé à de nombreuses reprises que le choix effectué ne soit pas celui qu’on aurait préconisé. »
Un exemple intéressant est l’évaluation d’impact menée sur le RSA en France. Martin Hirsch, alors Haut Commissaire aux solidarités actives, est un fervent défenseur des expérimentations sociales. Il est notamment à l’origine du Fonds d’expérimentation pour la jeunesse. Il a donc voulu expérimenter le dispositif du RSA avant de proposer la réforme au vote de l’Assemblée. La mise en place des expériences a été confrontée à de nombreuses difficultés et l’assignation n’a pu être aléatoire. Mais ce qui nous intéresse ici, c’est que la décision de lancer la réforme n’a pas attendu les résultats complets de l’expérience. Les premières observations tendaient en effet à constater une augmentation de la reprise d’emplois dans les zones dans lesquelles le dispositif avait été mis en place par rapport aux zones de contrôle. Cependant, ces premiers résultats n’étaient pas assez significatifs statistiquement, comme nous l’a expliqué François Bourguignon[ref], alors président de la Commission d’évaluation du RSA : « Le manque d’aléa pouvait éventuellement expliquer cela, les gens dans les zones de contrôle étant peut-être très dynamiques et désireux de voir la réforme mise en place. On a donc prévenu que ces premiers résultats n’étaient pas significatifs et qu’il fallait attendre de nouvelles observations. » Alors que l’enthousiasme a peut-être pu rapidement gagner les esprits des décideurs publics, la publication du premier rapport confirmait les réserves et les demandes de délai pour tirer des conclusions. Mais le président Sarkozy a décidé de lancer le processus de réforme. Il s’est avéré par la suite que l’expérience ne démontrait pas une reprise d’emplois due au RSA, mais par contre des améliorations en termes de baisse de pauvreté et d’augmentation de niveau de vie des personnes concernées. Telles ont été les conclusions du rapport final. François Bourguignon conclut :
« L’expérience a été d’une certaine façon télescopée par une décision politique trop précoce. Je me souviens avoir écrit des articles dans les journaux et avoir été interviewé à l’époque en prévenant que la base empirique n’était pas rigoureuse, que l’évaluation ne permettait pas d’affirmer que la reprise d’emploi était beaucoup plus importante dans les zones test. […] Ceci permet de se rendre compte qu’il est difficile d’évaluer des mesures économiques qui ont ce genre d’impact social et politique. »
Bernard Gomel et Évelyne Serverin[ref] ont rédigé un article, Évaluer l’expérimentation sociale, critiquant fortement l’utilisation des expériences qui a été faite dans le cadre du RSA. Selon eux, elles ont exercé un fort pouvoir de persuasion sur les députés, même si la loi dépassait largement les dispositifs testés dans l’expérience. Le caractère scientifique de la méthode aurait donc moins servi à construire le dispositif légal du RSA qu’à servir d’argument permettant d’emporter l’adhésion. Aux auteurs de conclure : « L’adhésion pratiquement sans critique au principe du recours à ce type d’observation, la rareté des objections sur le choix de l’objet de l’expérimentation, sont autant de raisons de s’inquiéter de l’irruption sur la scène politique de cette forme de justification. »
Dans le cadre de programmes ou de mesures fortement controversés, le débat public peut également s’emparer de résultats d’évaluation, les déformer voire les manipuler. Une étude réalisée en 2009-2010 par le J-PAL s’est intéressée au CV anonyme, c’est-à-dire sans nom ni adresse, qui fait partie des politiques envisagées d’égalité des chances et de lutte contre les discriminations à l’embauche. L’expérimentation, réalisée en partenariat avec Pôle Emploi, concernait des entreprises acceptant de participer. Elles étaient réparties entre un groupe test qui recevait des CV anonymes et un groupe témoin. L’évaluation a montré qu’au sein des entreprises du groupe test, le dispositif égalisait les chances entre femmes et hommes, mais qu’il était plutôt contre-productif pour les discriminations liées à l’origine étrangère et l’adresse. Certaines personnes se sont emparées des résultats pour clamer qu’il n’y avait pas de discrimination à l’embauche en France. Ilf Bencheikh[ref] déplore : « Cela était très malhonnête intellectuellement et ne correspondait absolument pas ce que l’on avait dit. ». En effet, selon ce dernier, il est possible que les entreprises ayant voulu participer à l’expérience soient des entreprises peu discriminantes et désireuses d’égaliser les chances de recrutement. La discrimination à l’embauche était peut-être faible en leur sein, voire il y avait une reconnaissance du mérite de certains parcours issus de quartiers défavorisés. Le fait de ne pas savoir que certains candidats venaient de quartiers desquels il est très dur de se sortir a peut-être joué en leur défaveur, n’expliquant plus des CV parfois irréguliers. Quoi qu’il en soit, les conclusions de l’expérience étaient subtiles et dépendaient peut-être fortement du fait que l’expérience était basée sur le volontariat des entreprises. Ilf Bencheikh[ref] conclut : « Ces résultats sont intéressants mais subtils. Et vous ne pouvez pas juste vous contenter de balancer dans la presse que les CV anonymes n’ont pas d’impact et que cela montre bien qu’il n’y a pas de discrimination à l’embauche en France, ce qui est par ailleurs contredit par toutes les études réalisées sur la question de la discrimination. ».
Le but des essais randomisés est de mieux cibler l’aide au développement et les politiques sociales. Mais les objectifs et les contraintes des chercheurs ne correspondent pas à ceux des responsables politiques et institutionnels. Cela explique qu’il y ait parfois un écart entre la subtilité des résultats des évaluations d’impact et l’utilisation idéologique qui en est faite par ces derniers. Se confronter au monde réel et au débat public comporte des risques ; la manipulation en est un.