Résultats et incertitudes sur ces-derniers
Les résultats fournis par les études menées ont une précision assez variable selon la démarche adoptée. Concernant les études post-ante, dans le cas idéal où toutes les données ont pu être récupérées, l’évaluation d’impact est exacte, et alors indiscutable. Le problème est évidemment que l’on est rarement (pour ne pas dire jamais) dans le cas idéal, et c’est là que les impacts mesurés peuvent être totalement différents des impacts réels.
En effet, cela dépend de la robustesse des modèles utilisés pour la prévision des données manquantes. La robustesse d’un modèle est défini comme sa stabilité par rapport à une perturbation de ses hypothèses, c’est-à-dire que la robustesse représente à quel point les résultats du modèle sont fiables, sachant que les hypothèses considérées simplifient la réalité, et ne sont donc pas exactes.
De manière logique, plus de données ont été obtenues via des modèles, et plus celles-ci sont réutilisées par la suite, plus l’imprécision sur les résultats est grande. Cela est d’ailleurs valable pour tous les modèles, qu’ils soient économiques, physiques ou encore biologiques.
Par ailleurs, les données récupérées ne sont pas forcément extrêmement précises, cela dépend des méthodes de mesures utilisées. Cela introduit donc encore de l’incertitude.
Concernant les études ex-ante, lorsqu’il faut récupérer et prévoir les données, les mêmes remarques sont valables. Mais, comme il faut en plus prévoir le résultat du modèle globale qui va donner les valeurs pour après l’événement, des incertitudes supplémentaires apparaissent: détermination des paramètres, hypothèses considérées, puis incertitudes sur les résultats obtenus.
Finalement, les résultats peuvent se retrouver être très peu fiables lorsque l’on regarde toutes les incertitudes qui s’accumulent au cours de la démarche, comme le montre le schéma suivant.
Comme le montre ce schéma, même si les incertitudes sont assez faibles pour chaque étape, le fait de combiner toutes les étapes crée une incertitude globale très importante, que ce soit pour les études post-ante (ou les 3 dernières étapes n’apparaissent pas) ou pour les ex-ante.
Interprétations subjectives et conflits d’intérêts
En raison de l’incertitude globale très importante des modèles de prévision des impacts, et en raison d’un manque de robustesse chronique des modèles (selon Patrice Bouvet), il est assez facile d’obtenir des résultats très variables avec des modèles semblables. Il suffit pour cela, par exemple, de changer une hypothèse, ou encore un paramètre du modèle et le tour est joué.
Cette volatilité des résultats entraîne des résultats orientés vers ce que l’analyste pense trouver. Il est donc facile, pour des analystes peu scrupuleux, de défendre leur point de vue à l’aide d’études pseudo-scientifiques et des chiffres qu’elles fournissent. Pour résumer, on peut faire dire ce que l’on veut aux données.
Tandis que la majorité des études ex-ante menées sont réalisées par des agences, ce problème est dénoncé par de nombreux économistes tous indépendants, qui remettent fortement en cause les résultats obtenus et les démarches adoptées, qu’ils ne trouvent pas assez rigoureuses. Typiquement, Patrice Bouvet, dans Les retombées des événements sportifs sont-elles celles que l’on croit?, explique le biais des méthodes utilisées et les dénonce de manière argumentée et détaillée.
Il analyse également ce qui pourrait pousser les cabinets d’analystes à publier des avis constamment positifs à l’organisation de grands événements sportifs. Les relations entre les organisateurs et les économistes peuvent être schématisées ainsi:
Toujours selon M. Bouvet, plusieurs cas se présentent alors, selon l’avis donné par les économistes sur la candidature du pays concerné:
Comme on le voit, les cabinets d’analystes ont intérêt à donner l’avis le plus favorable possible sur les candidatures qu’on leur demande d’évaluer. D’autant plus qu’ils sont parfois influencés financièrement à le faire, comme le laissent présager les récentes enquêtes ouvertes pour corruption à la FIFA.
Cela explique, pour Patrice Bouvet, pourquoi les pays organisateurs ne se précipitent pas pour réaliser des études post-ante qui pourraient remettre en cause le bien fondé de l’organisation de l’événement.
Tout ceci montre bien le problème lié aux mesures d’impact : ceux qui les commandent ont déjà des préférences pour les résultats, résultats que ceux qui réalisent les études essayent d’obtenir, faussant donc les mesures, tandis que, d’un autre côté, les économistes indépendants ne peuvent évaluer l’impact réel par manque de données, souvent parce que les organisateurs ne veulent pas leur fournir.