Changer de méthode à chaque perte : pourquoi 20 trades ne prouvent rien

Lundi, le trader suit des cassures de range. Trois pertes. Mercredi, il passe aux rebonds sur moyenne mobile, qu’un vidéaste présente avec des captures convaincantes. Deux pertes. Le mois suivant, il teste un indicateur de volume, puis revient aux cassures, parce qu’il vient de voir qu’elles auraient bien marché la semaine précédente. Au bout de six mois, il a essayé sept méthodes et n’en connaît aucune.

Cette errance a une cause précise : on demande à une poignée de trades de dire ce qu’ils ne peuvent pas dire. Une méthode ne se juge pas sur une semaine, pour la même raison qu’on ne juge pas une pièce de monnaie sur cinq lancers. La question utile n’est donc pas « ma méthode marche-t-elle ? », mais « combien de trades me faut-il pour le savoir ? ». La réponse surprend presque toujours.

Qu’est-ce que changer de méthode à chaque perte ?

Changer de méthode à chaque perte, c’est abandonner une méthode de trading après une perte ou une courte série de pertes, avant d’avoir accumulé assez de trades pour juger son espérance, et la remplacer par une autre choisie sur ses résultats récents, si bien qu’aucune méthode n’est jamais évaluée.

Il ne faut pas confondre ce travers avec l’abandon raisonné d’une méthode. Arrêter une méthode dont l’espérance est négative sur plusieurs centaines de trades, ou dont les conditions de marché ont manifestement changé, est une décision saine. Le problème n’est pas de changer, c’est de changer sur un échantillon qui ne prouve rien.

Changer de méthode à chaque perte en résumé

Changer de méthode à chaque perte revient à juger une méthode sur un échantillon trop petit. Une méthode gagnante, qui réussit une fois sur deux et rapporte 1,5 fois ce qu’elle risque, finit à zéro ou en perte dans 37,7 % des cas sur 10 trades, 25,2 % sur 20 et encore 10,1 % sur 50 ; il faut environ 100 trades pour que son avantage se distingue nettement du hasard. À l’inverse, une méthode perdante affiche un gain dans 27 % des cas sur 20 trades. Celui qui change de méthode après quatre pertes d’affilée en essaie en moyenne huit par tranche de 250 trades, avec une vingtaine de trades chacune. Le travers s’explique par la loi des petits nombres (Tversky et Kahneman, 1971) et par la vitesse à laquelle on perd confiance dans une règle qui se trompe (Dietvorst et coll., 2015).

Combien de trades faut-il pour juger une méthode de trading ?

Environ cent pour une méthode qui a un avantage honnête, et bien davantage si l’avantage est mince. Le calcul part de l’espérance de gain de la méthode et de la dispersion de ses résultats. Une méthode à 50 % de réussite, avec des gains de 1,5 R et des pertes de 1 R, rapporte en moyenne +0,25 R par trade, avec un écart-type de 1,25 R. Pour que l’avantage moyen dépasse deux fois son incertitude, seuil statistique courant, il faut environ 100 trades.

La première ligne est la plus importante, parce qu’elle ressemble aux méthodes réelles. Un avantage de 0,1 R par trade n’a rien de négligeable : sur cinq cents trades, il rapporte 50 fois le risque unitaire. Il faut pourtant plus de six cents trades pour le distinguer du hasard. Ce n’est pas une affaire de semaines, c’est une affaire de mois, parfois d’années.

Pourquoi quelques pertes ne prouvent-elles rien sur une méthode ?

Parce que le hasard produit, sur de courtes périodes, des écarts bien plus grands que la différence entre une bonne et une mauvaise méthode. Le calcul exact le montre dans les deux sens.

Une méthode réellement gagnante finit à zéro ou en perte une fois sur quatre sur 20 trades, une fois sur dix sur 50. Celui qui juge sur vingt trades jettera donc une bonne méthode sur quatre. L’erreur inverse est aussi fréquente : une méthode perdante, qui coûte 0,1 R par trade en moyenne, affiche un gain dans 26,8 % des cas sur 20 trades, 22,9 % sur 50 et encore 17,4 % sur 100.

Le trader qui passe d’une méthode à l’autre sur la foi des dernières semaines fait donc un tri à l’envers : il abandonne des méthodes bonnes qui traversent une série de pertes normale, et il adopte des méthodes mauvaises qui sortent d’une série heureuse.

Pourquoi change-t-on de méthode à chaque perte ?

Parce que l’esprit humain accorde aux petits échantillons une confiance que seuls les grands méritent. Amos Tversky et Daniel Kahneman l’ont montré en 1971 en interrogeant des chercheurs en psychologie, pourtant formés à la statistique : ils attendaient d’un petit échantillon qu’il ressemble fidèlement à la population dont il est tiré. Ils l’ont appelée la croyance en la loi des petits nombres : celle qui voudrait que la loi des grands nombres vaille aussi pour les petits.

Une deuxième cause tient à la façon dont on juge une règle. Berkeley Dietvorst, Joseph Simmons et Cade Massey ont montré en 2015, au fil de cinq études, que les gens perdent plus vite confiance dans un algorithme que dans un humain après l’avoir vu commettre la même erreur, au point de lui préférer un prévisionniste humain moins bon. Une méthode écrite est un algorithme ; chacune de ses pertes est visible, datée, imputable. Le jugement à l’instinct, lui, a toujours une excuse.

Le biais de récence fait le reste : les derniers trades pèsent plus lourd que les précédents, et la méthode qui a bien marché la semaine passée paraît la meilleure. Le marché des formations et des signaux s’en nourrit, puisqu’il y a toujours une méthode qui vient de gagner.

Que coûte le fait de changer de méthode à chaque perte ?

Il coûte d’abord la possibilité d’apprendre. Une simulation le chiffre : un trader dont chaque trade a une chance sur deux de gagner, et qui change de méthode après quatre pertes d’affilée, en essaie en moyenne 8,3 par tranche de 250 trades, avec une durée médiane de 20 trades par méthode. S’il change après trois pertes, il en essaie 17,7, avec 10 trades chacune. Aucune n’atteint les cent trades qui permettraient de la juger.

Il coûte ensuite de l’argent, d’une manière plus sournoise. La nouvelle méthode a été choisie parce qu’elle a bien marché sur le passé récent, ou sur un backtest flatteur. David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Zhu ont montré en 2014 qu’en essayant seulement sept variantes indépendantes de stratégies sans aucun avantage sur deux ans de données, on peut s’attendre à ce que la meilleure affiche un ratio de Sharpe annuel de 1, pour un rendement réel nul. Plus on essaie de méthodes, plus la meilleure d’entre elles est probablement un mirage : c’est la sur-optimisation.

Comment éviter de changer de méthode à chaque perte ?

En décidant, avant le premier trade, comment et quand la méthode sera jugée. Le jugement est alors une procédure, pas une humeur.

Écrire la méthode. Une méthode qui n’est pas écrite ne peut pas être testée : on la modifie sans le savoir. Le plan de trading écrit fixe les situations tradées, les sorties et la taille.

Fixer l’échantillon à l’avance. Cent trades au minimum, davantage si l’avantage attendu est mince. Pendant cet échantillon, on ne change rien, à taille réduite si besoin.

Fixer le seuil d’abandon à l’avance. Une perte maximale, en R, au-delà de laquelle la méthode est suspendue, par exemple une série de pertes plus longue que ce que son taux de réussite permet d’attendre une fois sur dix. Tant que ce seuil n’est pas franchi, une perte est un tirage, pas un verdict.

Distinguer la méthode et son exécution. Avant d’accuser la méthode, vérifier dans le journal de trading que les trades perdants la respectaient. Des stops déplacés, des entrées hors plan, une taille qui varie : ce sont des pertes du trader, pas de la méthode.

Changer une chose à la fois. Si une modification s’impose, une seule, testée sur un nouvel échantillon complet. Changer trois réglages à la fois interdit de savoir lequel a compté.

Ce que j’en dis sur le forum

« La grande majorité des traders va trader pendant des années mais ils n’ont rien appris. Ils tournent en rond. Ils sautent de méthode en méthode à chaque claque. Et le pire c’est qu’ils pensent sincèrement bosser. »

Benoist Rousseau sur le forum, le 23 décembre 2022, à un membre qui s’interrogeait sur la façon de travailler des scalpeurs

Quelles sont les limites de la règle « ne pas changer de méthode » ?

Elles sont réelles. D’abord, un marché peut changer pour de bon : une méthode construite sur des marchés calmes peut cesser de fonctionner quand la volatilité double. Attendre cent trades pour s’en apercevoir peut coûter cher. C’est pourquoi le seuil d’abandon compte autant que l’échantillon : il coupe court quand les pertes sortent de ce que le hasard explique.

Ensuite, tous les traders ne peuvent pas se permettre six cents trades d’apprentissage. La réponse n’est pas de juger plus vite, mais de trader plus petit pendant l’échantillon, en démo prolongée ou à taille réduite, ce que traite la fiche sur la démo, trop longtemps ou pas assez.

Enfin, rester fidèle à une méthode perdante par entêtement est l’erreur symétrique. La persévérance dans un choix qui a déjà coûté cher n’est pas une vertu. La règle n’est donc pas de ne jamais changer ; c’est de ne changer qu’au terme d’une épreuve décidée à l’avance.

Questions fréquentes sur le fait de changer de méthode de trading à chaque perte

Combien de trades faut-il pour tester une méthode de trading ?

Environ cent pour une méthode qui gagne une fois sur deux avec des gains de 1,5 R, selon le calcul de l’erreur type. Pour un avantage plus mince, de 0,1 R par trade, il en faut plus de six cents.

Ma méthode a perdu cinq fois de suite : faut-il en changer ?

Pas sur ce seul motif. Une méthode à 50 % de réussite subit au moins une série de cinq pertes dans 81 % des cas sur 100 trades ; seule une série nettement plus longue que prévu justifie de la suspendre.

Une méthode qui gagne sur 20 trades est-elle bonne ?

Rien ne le prouve : une méthode perdante, à −0,1 R par trade, affiche un gain dans 26,8 % des cas sur 20 trades.

Pourquoi perd-on confiance si vite dans une méthode ?

Parce qu’on perd plus vite confiance dans une règle écrite que dans son jugement après l’avoir vue se tromper, comme l’ont montré Dietvorst, Simmons et Massey en 2015.

Quand faut-il abandonner une méthode de trading ?

Quand un seuil fixé à l’avance est franchi : espérance négative sur un échantillon suffisant, ou perte en R plus forte que ce que le hasard explique une fois sur dix.

Sources de référence utilisées

4

• Amos Tversky et Daniel Kahneman, « Belief in the law of small numbers », Psychological Bulletin, vol. 76, n° 2, 1971, p. 105-110.
• Berkeley J. Dietvorst, Joseph P. Simmons et Cade Massey, « Algorithm Aversion : People Erroneously Avoid Algorithms After Seeing Them Err », Journal of Experimental Psychology : General, vol. 144, n° 1, 2015, p. 114-126.
• David H. Bailey, Jonathan M. Borwein, Marcos López de Prado et Qiji Jim Zhu, « Pseudo-Mathematics and Financial Charlatanism : The Effects of Backtest Overfitting on Out-of-Sample Performance », Notices of the American Mathematical Society, vol. 61, n° 5, mai 2014, p. 458 et suivantes.
• Tableaux et graphique : calculs exacts (loi binomiale) et simulations andlil.com (20 000 tirages de 250 trades).

Pour aller plus loin

Juger ses décisions, pas ses résultatsLa discipline qui sépare un bon trade d’un trade gagnant.Les erreurs du débutant en tradingLes pièges les plus courants, et comment les éviter

• Penser en probabilités : un trade n’est qu’un tirage parmi d’autres, le cadre mental de cette fiche.
• Les erreurs du débutant en trading : dix pièges, et pourquoi on y tombe, le guide complet.