Loi des petits nombres : définition, expérience et exemples en Bourse

Qu’est-ce que la loi des petits nombres ?

La loi des petits nombres est la croyance erronée selon laquelle un petit échantillon reproduit fidèlement les caractéristiques de la population dont il est tiré, comme si la loi des grands nombres s’appliquait aussi aux petits. Elle conduit à tirer des conclusions fermes de quelques observations et à sous-estimer la part du hasard dans les résultats courts.

Le nom est une plaisanterie de mathématiciens. La loi des grands nombres, démontrée par Jacques Bernoulli dans son Ars conjectandi, publié à titre posthume en 1713, établit qu’une moyenne observée se rapproche de la moyenne réelle quand le nombre d’observations augmente. Elle ne dit rien des petits échantillons, qui peuvent s’en écarter beaucoup. Tversky et Kahneman ont observé que l’intuition, elle, fait comme si la convergence était immédiate, et ils ont baptisé par symétrie cette loi imaginaire, qui étendrait la loi des grands nombres aux petits.

La loi des petits nombres en résumé

C’est une conséquence directe de l’heuristique de représentativité : on attend d’un échantillon qu’il « ressemble » à sa source, quelle que soit sa taille. Elle explique à la fois que l’on voie des tendances dans le bruit et que l’on croie, à l’inverse, qu’une série doit vite se compenser. Sur les marchés, où les échantillons sont toujours courts et les résultats toujours bruités, elle est partout.

• Famille : les raccourcis du jugement
• Mis en évidence par : Amos Tversky et Daniel Kahneman
• Date : 1971 (« Belief in the law of small numbers », Psychological Bulletin, vol. 76)
• Expérience de référence : un questionnaire soumis à des chercheurs sur la probabilité de répliquer un résultat obtenu sur 20 sujets
• Proche de : l’erreur du joueur, l’illusion de la main chaude, l’heuristique de représentativité
• Sur les marchés : confiance excessive dans les historiques courts, qu’il s’agisse d’un fonds, d’une stratégie ou de son propre compte

Quelle expérience a révélé la loi des petits nombres ?

L’article de 1971 (Psychological Bulletin, vol. 76, p. 105-110) a une particularité qui fait son sel : ses sujets ne sont pas des étudiants, mais des spécialistes. Tversky et Kahneman distribuent un questionnaire lors d’une réunion du Mathematical Psychology Group et du congrès de l’American Psychological Association, c’est-à-dire à des chercheurs rompus aux statistiques. Ils obtiennent 84 réponses. Détail qui en dit long sur les auteurs : une note précise que l’ordre de leurs noms a été tiré au hasard.

Une des questions décrit une situation familière à tout chercheur. Vous avez mené une expérience sur 20 sujets et obtenu un résultat significatif qui confirme votre théorie (un écart statistique noté z = 2,23, soit une probabilité inférieure à 5 % que le hasard seul l’explique). Vous devez maintenant tester un groupe supplémentaire de 10 sujets. Quelle est la probabilité que le résultat soit significatif dans ce seul groupe ? La réponse médiane de deux petits groupes de répondants tourne autour de 0,85. Un calcul raisonnable donne environ 0,48. Seuls 9 des 84 répondants donnent une réponse comprise entre 0,40 et 0,60.

Autrement dit, des professionnels de la statistique, dans leur propre domaine, croient qu’un petit groupe reproduira presque à coup sûr ce qu’un autre petit groupe a montré. Les auteurs en déduisent toute une pathologie de la recherche : des échantillons trop petits, une confiance excessive dans les premiers résultats, l’explication après coup des échecs de réplication par des causes trouvées sur mesure. Leur diagnostic est sec : les intuitions des chercheurs sur l’échantillonnage aléatoire semblent obéir à la loi des petits nombres, et la familiarité avec la théorie des probabilités ne les en guérit pas.

Comment fonctionne la loi des petits nombres ?

Le ressort est le même que celui de la représentativité. On se fait une image de la source (une pièce équilibrée, un trader compétent, une stratégie gagnante) et l’on attend de chaque échantillon qu’il en soit le portrait réduit. Une suite de dix lancers doit contenir à peu près cinq piles ; dix trades d’une méthode qui gagne six fois sur dix doivent en gagner à peu près six.

Cette attente produit deux erreurs opposées, et c’est ce qui rend la loi des petits nombres si déroutante. Quand on connaît la source, on croit que l’échantillon doit se corriger vite : après cinq rouges, le noir « doit » sortir, c’est l’erreur du joueur. Quand on ne la connaît pas, on la déduit trop vite de l’échantillon : cinq trades gagnants prouvent la méthode, c’est le ressort de l’illusion de la main chaude. Matthew Rabin a montré en 2002, dans le Quarterly Journal of Economics, qu’un même modèle produisait les deux : la conviction que les petits échantillons sont représentatifs fait à la fois attendre la compensation et surinterpréter les séries.

Un calcul simple donne la mesure du problème. Avec une méthode qui n’a aucun avantage, donc 50 % de trades gagnants, la probabilité d’obtenir au moins 7 gains sur 10 trades est d’environ 17 %. Sur 1 000 débutants sans le moindre talent, environ 55 obtiendront au moins 8 gains sur 10. Ils auront tous une bonne histoire à raconter. L’effet est d’autant plus fort que l’échantillon est court, que les résultats sont dispersés et que l’on cherche une confirmation plutôt qu’une mesure.

Quels exemples de la loi des petits nombres en Bourse ?

Matthew Rabin en tirait lui-même la conséquence financière : des investisseurs qui croient à la loi des petits nombres verront des différences de talent entre gérants de fonds là où il n’y a que du hasard, parce que quelques années de performances leur paraissent révélatrices. L’échantillon d’un gérant est toujours court : dix ans, ce n’est que dix observations annuelles, avec des rendements dont la dispersion dépasse largement les écarts de talent que l’on cherche à mesurer.

Robin Greenwood et Stefan Nagel ont étudié un cas grandeur nature lors de la bulle Internet (Journal of Financial Economics, 2009, vol. 93, p. 239-258). Ils utilisent l’âge des gérants de fonds communs américains comme mesure de leur expérience. Près du sommet de la bulle, les fonds gérés par les plus jeunes détenaient davantage de valeurs technologiques que leur indice de référence, et nettement plus que les fonds de leurs aînés. Surtout, seuls les jeunes gérants suivaient la tendance, renforçant leurs positions après les trimestres de hausse des valeurs technologiques puis les allégeant pendant la baisse. Les auteurs y voient des gérants qui extrapolent à partir des quelques années de marché que leur carrière leur avait fait connaître, et citent eux-mêmes le modèle de Rabin. Le Nasdaq Composite, qui culminait à 5 048,62 points le 10 mars 2000, perdit 78 % jusqu’au 9 octobre 2002.

Le même travers se retrouve à l’échelle individuelle. Markku Kaustia et Samuli Knüpfer ont suivi les souscriptions aux introductions en Bourse en Finlande (Journal of Finance, 2008) : un investisseur qui a connu un bon rendement sur ses précédentes souscriptions a nettement plus de chances de souscrire à la suivante. Les rendements des autres introductions, qu’il pouvait observer, pèsent beaucoup moins que les quelques opérations qu’il a vécues. Deux ou trois expériences personnelles valent, à ses yeux, une statistique.

Comment reconnaître la loi des petits nombres dans ses décisions ?

Elle se reconnaît à la vitesse avec laquelle une conclusion se forme.

• Vous jugez une méthode efficace, ou inutile, après moins de trente trades.
• Une semaine de pertes vous fait changer de stratégie ; une semaine de gains vous fait augmenter la taille des positions.
• Vous choisissez un fonds ou un signal sur ses résultats des deux ou trois dernières années.
• Vous trouvez une « explication » à chaque série de pertes, au lieu d’envisager qu’elle soit normale.
• Un test historique concluant sur une seule période vous suffit.

Comment éviter la loi des petits nombres ?

Le premier réflexe est de fixer, avant de commencer, la taille de l’échantillon qui permettra de juger : un nombre de trades, une durée, un nombre de situations de marché différentes. Tant qu’il n’est pas atteint, les résultats s’enregistrent sans se commenter. Un journal de trading qui compte les occurrences, et des indicateurs comme le profit factor calculés sur l’ensemble plutôt que sur la dernière série, rendent visible la dispersion naturelle des résultats.

Le second est d’estimer la série de pertes « normale » d’une méthode, par un calcul ou une simulation, avant qu’elle ne survienne. Une série de six pertes d’affilée paraît catastrophique. Pourtant, pour une méthode qui gagne une fois sur deux, elle a environ une chance sur deux de se produire au moins une fois sur 100 trades, et quatre chances sur cinq sur 200. Su à l’avance, ce chiffre en fait un événement attendu plutôt qu’un verdict. Ce qui ne marche pas : se fier à son expérience pour juger de la taille suffisante d’un échantillon. L’expérience de 1971 l’a montré, les statisticiens eux-mêmes se trompent dans ce domaine.

Quelles sont les limites de la loi des petits nombres ?

Le diagnostic de 1971 a plutôt été conforté par la suite. La crise de la réplication en psychologie, dans les années 2010, a montré que de nombreux résultats publiés reposaient sur des échantillons trop petits, exactement comme Tversky et Kahneman l’avaient prédit. Leur article est souvent présenté comme l’annonce de cette crise, quarante ans à l’avance, par exemple par Braver, Thoemmes et Rosenthal en 2014.

Le débat porte plutôt sur certaines de ses applications. L’exemple le plus célèbre est celui de la main chaude au basket : en 1985, Gilovich, Vallone et Tversky avaient conclu que la croyance des joueurs en des séries de réussite relevait de l’illusion. En 2018, Joshua Miller et Adam Sanjurjo ont montré dans Econometrica que la méthode utilisée comportait un biais subtil, lui-même lié aux petits échantillons, et qu’une fois corrigé, une certaine main chaude réapparaissait. L’ironie n’a échappé à personne : le sous-titre de leur article parle d’une vérité dans la loi des petits nombres.

On peut aussi faire valoir que dans un monde changeant, accorder beaucoup de poids aux observations récentes et peu nombreuses peut être une stratégie raisonnable, puisque les données anciennes décrivent peut-être un autre monde. L’objection vaut pour les marchés, dont les régimes changent. Elle n’excuse pas pour autant de juger une méthode sur dix trades.

Questions fréquentes sur la loi des petits nombres

Pour aller plus loin

• L’illusion de validité, la confiance que l’on garde dans des jugements fondés sur trop peu de données
• L’oubli de la régression vers la moyenne, l’autre visage des résultats extrêmes obtenus sur de petits échantillons
• Karl Popper, et sa méfiance envers les confirmations trop faciles
• Sur le forum : un membre bloqué par une série d’une trentaine de trades gagnants, ou comment une série courte change le regard sur sa propre méthode