La « crise de réplication » cachée de la finance

Cela peut sembler un petit budget Coureur de lame arnaque, mais au cours de la dernière décennie, le monde scientifique a été en proie à une « crise de réplication » – les conclusions de nombreuses études fondatrices ne peuvent pas être répétées, avec d’énormes implications. L’investissement souffre-t-il de quelque chose de similaire ?

C’est l’argument incendiaire de Campbell Harvey, professeur de finance à l’université Duke. Il estime qu’au moins la moitié des 400 stratégies censées battre le marché identifiées dans les meilleures revues financières au fil des ans sont fausses. Pire encore, il craint que de nombreux collègues universitaires nient cela.

« C’est un énorme problème, dit-il. « La première étape pour faire face à la crise de réplication en finance est d’accepter qu’il y a une crise. Et en ce moment, beaucoup de mes collègues ne sont pas encore là.

Harvey n’est pas un obscur étranger ou un contradicteur performatif tentant d’attirer l’attention par une controverse inutile. Il est l’ancien rédacteur en chef du Journal of Finance, un ancien président de l’American Finance Association et un conseiller de sociétés d’investissement comme Research Affiliates et Man Group.

Il a écrit plus de 150 articles sur la finance, dont plusieurs ont remporté des prix prestigieux. En fait, la thèse de doctorat de Harvey en 1986 a d’abord montré comment les courbes du marché obligataire peuvent prédire les récessions. En d’autres termes, ce n’est pas comme si un enfant disait que l’empereur n’a pas de vêtements. Les critiques croissantes de Harvey contre la rigueur des universités financières depuis 2015 s’apparentent davantage au fait que l’empereur proclame avec regret sa propre nudité.

Pour comprendre ce qu’est la « crise de réplication », comment elle s’est produite et ses implications pour la finance, il est utile de commencer par sa genèse plus large.

En 2005, le professeur de médecine de Stanford, John Ioannidis, a publié un essai explosif intitulé « Pourquoi la plupart des résultats de recherche publiés sont faux », qui notait que les résultats de nombreux articles de recherche médicale ne pouvaient pas être reproduits par d’autres chercheurs. Par la suite, plusieurs autres domaines se sont tournés vers eux-mêmes et sont parvenus à des conclusions similaires. Le cœur du problème est un phénomène que les chercheurs appellent le « p-hacking ».

Dans les statistiques, une valeur p est la probabilité de savoir si une découverte pourrait être due au pur hasard – une simple bizarrerie de données comme la corrélation des films de Nicolas Cage avec les noyades en piscine aux États-Unis – ou si elle est « statistiquement significative ». Des scores p élevés indiquent qu’un certain médicament aide vraiment ou que les actions bon marché surperforment au fil du temps.

Le P-hacking se produit lorsque les chercheurs déforment ouvertement ou inconsciemment les données pour trouver une relation superficiellement convaincante mais finalement fausse entre les variables. Cela peut être fait en sélectionnant les métriques à mesurer ou en modifiant subtilement la période de temps utilisée. Ce n’est pas parce que quelque chose est statistiquement significatif qu’il est réellement significatif. Une stratégie de trading qui semble dorée sur le papier peut ne produire que des morceaux de charbon lorsqu’elle est réellement mise en œuvre.

Harvey attribue le fléau du p-hacking aux incitations dans les universités. Obtenir un article avec une découverte sensationnelle publié dans une revue prestigieuse peut faire gagner à un jeune professeur ambitieux le prix ultime : la titularisation. Perdre des mois de travail sur une théorie qui ne résiste pas à l’examen frustrerait n’importe qui. Il est donc tentant de torturer les données jusqu’à ce qu’elles produisent quelque chose d’intéressant, même si d’autres chercheurs sont par la suite incapables de reproduire les résultats.

De toute évidence, les enjeux de la crise de réplication sont beaucoup plus importants en médecine, où des vies peuvent être en jeu. Mais ce n’est pas quelque chose qui reste confiné aux tours d’ivoire des écoles de commerce, car les groupes d’investissement flairent souvent une opportunité de vendre des produits sur la base de facteurs apparemment dominants sur le marché, affirme Harvey. « Cela filtre dans le monde réel », dit-il. « Cela fait définitivement partie des portefeuilles des gens. »

AQR, un important groupe d’investissement quantitatif, est également sceptique quant au fait qu’il existe des centaines de facteurs durables et efficaces qui peuvent aider les investisseurs à battre les marchés, mais soutient que la « crise de réplication » brouhaha est exagérée. Plus tôt cette année, il a publié un article concluant que non seulement la majorité des études examinées pouvaient être répliquées, mais qu’elles fonctionnaient toujours « hors échantillon » – dans le commerce réel en direct – et étaient en fait corroborées par des données internationales.

Harvey n’est pas convaincu par la riposte et affrontera les auteurs de l’article de l’AQR lors de la réunion annuelle de l’American Finance Association début janvier. « Cela va être une discussion très intéressante », promet-il.

De nombreux membres les plus geeks de l’industrie se frotteront les mains à la perspective d’une confrontation de gladiateurs, même cérébrale, pour le coup d’envoi de 2022.

Courriel : robin.wigglesworth@ft.com

Twitter : @robinwigg