Sur-optimisation d’une stratégie de trading : la mesurer et l’éviter

Qu’est-ce que la sur-optimisation d’une stratégie de trading ?

La sur-optimisation d’une stratégie de trading est le défaut d’un réglage choisi parce qu’il a donné le meilleur résultat sur une période passée, et qui doit ce résultat au hasard de cette période plutôt qu’à une régularité du marché : ses performances dans l’échantillon dépassent systématiquement celles qu’il obtient hors échantillon. David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Jim Zhu en donnent la mécanique : avec assez de paramètres, une stratégie peut viser des points précis de l’historique, acheter par chance juste avant une hausse ou vendre juste avant une baisse, au lieu de déclencher ses trades selon l’hypothèse qui la fonde.

Optimiser n’est pas une faute. Chercher la longueur de moyenne ou le niveau de stop qui convient le mieux est une étape normale du développement, et tous les logiciels de backtest le proposent. La faute est de juger ce réglage sur les données qui ont servi à le choisir, après avoir essayé un grand nombre de variantes, sans compter ces essais. La mise en pratique dans ProRealTime est décrite dans la fiche du guide ProRealTime consacrée à la sur-optimisation sur ProRealTime ; cette fiche-ci en donne les fondements, valables pour toute plateforme.

La sur-optimisation en résumé

Les travaux de Bailey et ses coauteurs, parus dans les Notices of the American Mathematical Society en 2014 puis dans le Journal of Computational Finance en 2017, ont donné à ce problème connu des praticiens des chiffres précis. Les repères :

• Définition : des performances dans l’échantillon qui dépassent systématiquement les performances hors échantillon
• 10 variantes sans avantage : ratio de Sharpe espéré de 1,57 pour la meilleure, sur un an de données
• 5 ans de données : 45 configurations indépendantes au plus avant de fabriquer un ratio de Sharpe de 1 par hasard
• 2 ans de données : 7 configurations suffisent à ce mirage
• Probabilité de sur-optimisation : part des cas où la meilleure configuration du passé finit sous la médiane sur des données nouvelles (Bailey et al., 2017)
• Seuil de preuve d’un nouveau facteur : statistique t supérieure à 3,0 (Harvey, Liu et Zhu, 2016)

Comment se produit la sur-optimisation d’une stratégie de trading ?

Elle se produit par la multiplication des essais : chaque variante testée est un billet de loterie de plus, et la meilleure finit en tête même si aucune n’a d’avantage réel. Bailey et ses coauteurs le démontrent : un chercheur qui essaie seulement dix configurations d’une stratégie, toutes sans avantage, doit s’attendre à ce que la meilleure affiche un ratio de Sharpe de 1,57 sur un an de données, alors que toutes, y compris celle-là, rapporteront en moyenne zéro ensuite. Plus les essais sont nombreux, plus le meilleur résultat du passé est élevé, et moins il dit quelque chose de l’avenir.

Le nombre d’essais grandit plus vite qu’on ne le croit, parce que chaque paramètre le multiplie. Un modèle à un seul paramètre qui prend deux valeurs n’offre que deux combinaisons ; avec cinq paramètres, il en offre 32 ; avec sept, 128, et la meilleure de ces 128 combinaisons affiche sur un an un ratio de Sharpe espéré supérieur à 2,6 sans la moindre compétence. Les auteurs rappellent à ce propos le mot de John von Neumann rapporté par Enrico Fermi : avec quatre paramètres, on dessine un éléphant, et avec cinq, on lui fait remuer la trompe.

Ils visent explicitement l’analyse technique, dont la plupart des stratégies reposent sur des filtres, des conditions qui déclenchent les ordres. Ils visent aussi les logiciels conçus pour trouver la combinaison de paramètres qui colle le mieux aux données, et qui permettent d’ajouter des filtres sans jamais dire de combien chacun accroît le risque de sur-optimisation. Le manuel de ProBacktest présente l’optimisation des variables comme le moyen de déterminer la combinaison qui rendra le système « optimal », tout en notant que les valeurs optimales peuvent changer selon l’unité de temps ou l’historique utilisé.

Pourquoi une stratégie sur-optimisée peut-elle faire pire que le hasard ?

Parce que les séries financières ont souvent de la mémoire, répondent Bailey et ses coauteurs. Dans une série sans mémoire, une marche au hasard, ils montrent qu’une stratégie sur-optimisée rapporte en moyenne zéro hors échantillon : le réglage choisi n’apporte rien, mais il ne coûte rien non plus. Dès que la série comporte des effets de compensation, une phase de hausse qui appelle une correction, des rendements corrélés d’une période à l’autre, la relation s’inverse : plus le réglage a été optimisé sur le passé, plus il perd sur des données nouvelles. Dans leur simulation, l’ajout d’une seule contrainte de ce type suffit à rendre la performance hors échantillon négative, sur une série qui n’a pourtant aucune tendance.

L’intuition est simple. Un réglage qui a profité d’un excès passé est taillé pour cet excès ; si le marché le corrige ensuite, le même réglage se trouve à contre-pied. Les auteurs en tirent une conclusion sévère : l’avertissement habituel selon lequel les performances passées ne préjugent pas des performances futures sous-estime le risque, car lorsque les conseillers ne contrôlent pas la sur-optimisation, un bon backtest annonce souvent de mauvais résultats.

Comment mesurer le risque de sur-optimisation ?

En comptant les essais, puis en jugeant le meilleur résultat à l’aune de leur nombre. La règle de Bailey et ses coauteurs tient en une phrase : un chercheur qui ne dit pas combien de configurations il a essayées rend impossible l’évaluation du risque de sur-optimisation. Ils en tirent une longueur minimale de backtest : avec cinq ans de données, pas plus de 45 configurations indépendantes, faute de quoi l’on est presque assuré d’obtenir un ratio de Sharpe de 1 sur le passé pour un ratio espéré nul ensuite ; avec deux ans, sept suffisent. Le ratio de Sharpe exigé doit donc monter avec le nombre d’essais.

Leur article de 2017, « The Probability of Backtest Overfitting », propose une mesure directe : la probabilité que la configuration classée première sur une partie des données finisse sous la médiane de toutes les configurations sur l’autre partie. Pour l’estimer, la méthode dite de validation croisée combinatoire symétrique découpe l’historique en blocs et forme toutes les manières d’en réunir la moitié pour l’optimisation et l’autre moitié pour le contrôle : 12 870 combinaisons avec 16 blocs, autant que de façons de choisir 8 blocs parmi 16. Les auteurs suggèrent, par analogie avec les usages statistiques, d’écarter les modèles dont cette probabilité dépasse 5 %.

Les chercheurs en finance ont d’autres corrections, toutes fondées sur la même idée. Dans leur étude de 1999, Ryan Sullivan, Allan Timmermann et Halbert White ont testé 7 846 règles techniques sur le future S&P 500 de 1984 à 1996 : considérée isolément, la meilleure, qui gagnait près de 10 % par an, n’avait que 4 % de chances d’être égalée par une règle sans avantage ; replacée dans l’univers des 7 846 règles dont elle était tirée, cette probabilité montait à 90 %. Campbell Harvey, Yan Liu et Heqing Zhu, après avoir recensé 316 facteurs de rendement proposés dans la littérature, soutiennent qu’un nouveau facteur doit franchir une statistique t de 3,0, soit une p-valeur de 0,27 %, et non plus 2,0 ; selon la correction la plus stricte qu’ils appliquent, celle de Bonferroni, 158 des 296 facteurs publiés comme significatifs seraient de fausses découvertes, 80 selon la plus indulgente.

Comment éviter la sur-optimisation d’une stratégie de trading ?

En limitant les essais, en préférant les réglages robustes aux réglages records, et en gardant des données que l’optimisation n’a jamais vues. L’hypothèse vient d’abord : une stratégie dont on sait pourquoi elle devrait gagner a besoin de moins d’essais qu’une stratégie trouvée en balayant toutes les combinaisons. Les paramètres doivent être peu nombreux, et testés avec des pas larges : une moyenne de 50 ou de 100 séances, pas chaque valeur de 47 à 53.

Le meilleur réglage n’est pas toujours le bon. Un réglage dont les voisins donnent des résultats comparables décrit plus probablement une propriété du marché ; un réglage qui trône seul au milieu de résultats médiocres, plus probablement un accident. La stratégie gagne aussi à être éprouvée sur d’autres périodes et d’autres marchés que ceux qui ont servi à la régler, et sur une période mise de côté avant le premier test, que l’on ne regarde qu’une fois. La méthode du walk forward systématise ce principe en répétant le cycle optimisation puis contrôle en avançant dans le temps.

Le dernier remède est comptable : tenir le journal des essais, y compris ceux qui ont échoué, et juger le résultat final en fonction de leur nombre. Chaque retouche faite après avoir regardé la période de contrôle la transforme, un peu, en période d’optimisation.

Ce que j’en disais sur le forum

« Rappelons encore une fois que le backtest tu connais l’ordre de sortie des cartes d’une partie de poker et quand backtestant 10 20 30 50 500 fois tu sortiras toujours la combinaison parfaite. En réel tu ne connais pas la prochaine carte et tu ne peux pas recommencer xxx fois. »

Benoist Rousseau sur le forum, le 16 juillet 2017, à un membre qui présentait le backtest d’un algorithme sur le DAX annonçant 13 000 % de gain

Quelles sont les limites de la lutte contre la sur-optimisation ?

La première limite de la lutte contre la sur-optimisation est qu’aucune méthode ne l’élimine. Bailey et ses coauteurs le disent de leur propre longueur minimale de backtest : un test peut être sur-optimisé même s’il la respecte, et elle n’est qu’une condition nécessaire, non suffisante. Leur calcul suppose en outre des essais indépendants, ce qui le rend assez conservateur : des variantes très proches les unes des autres comptent pour moins d’essais réels qu’il n’y paraît.

La deuxième est que l’excès de méfiance a aussi un coût. Harvey, Liu et Zhu le reconnaissent : la quantité optimale de fouille des données n’est pas nulle, car une partie de cette fouille produit de la connaissance. Theis Ingerslev Jensen, Bryan Kelly et Lasse Heje Pedersen soutiennent même, dans le Journal of Finance en 2023, que la majorité des facteurs publiés se reproduisent, y compris hors des États-Unis. Bailey et ses coauteurs soupçonnent enfin que les stratégies qui battent nettement le marché en backtest reposent en général sur une idée valable, gonflée par une part de sur-optimisation. Le problème n’est pas d’avoir optimisé, mais de prendre le chiffre gonflé pour la mesure de l’idée, ce que l’illusion des séries rend très tentant.

Questions fréquentes sur la sur-optimisation