Walk forward : valider une stratégie de trading hors échantillon

Qu’est-ce que le walk forward ?

Le walk forward, ou analyse en marche avant, est une méthode de validation qui optimise les paramètres d’une stratégie sur une période passée, dite « dans l’échantillon », applique le meilleur réglage sans le retoucher à la période suivante, dite « hors échantillon », puis décale les deux fenêtres dans le temps et recommence ; la performance retenue est la mise bout à bout des seules périodes hors échantillon. Robert Pardo, qui lui consacre le chapitre 11 de The Evaluation and Optimization of Trading Strategies (Wiley, 2008), la définit comme une méthode qui juge une stratégie exclusivement sur ses résultats après optimisation, hors échantillon, et y voit la simulation la plus fidèle de la manière dont une stratégie optimisable est utilisée en temps réel.

C’est la routine d’un trader systématique qui réoptimise à intervalles réguliers : il règle sa stratégie sur le passé récent, la laisse tourner quelques mois sans y toucher, puis la règle à nouveau. Le walk forward rejoue ce cycle sur l’historique et ne garde que ce qu’un trader aurait réellement pu gagner, avec des réglages choisis sans connaître la suite. La mise en pratique dans ProRealTime est détaillée dans la fiche du guide ProRealTime consacrée au walk forward de ProBacktest ; cette fiche en donne les principes, valables pour toute plateforme.

Le walk forward en résumé

On retrouve la méthode dans des logiciels de backtest destinés aux particuliers : TradeStation indique que son module Walk-Forward Optimizer met en œuvre la plupart des idées du livre de Pardo, et ProRealTime en propose une version dans ProBacktest. Ses repères :

• Principe : optimiser sur une fenêtre, tester sur la suivante, avancer, recommencer, ne garder que les tests
• Référence : Robert Pardo, The Evaluation and Optimization of Trading Strategies, Wiley, 2008, chapitre 11
• Deux modes : fenêtre qui glisse (non ancrée) ou fenêtre qui s’allonge depuis un même départ (ancrée)
• Ratio WFE : gain annualisé du test divisé par gain annualisé de l’optimisation ; 50 % ou plus, par usage
• Part réservée au test : 10 à 25 % selon TradeStation (20 % par défaut), 20 à 30 % selon le manuel ProBacktest
• Critère du manuel ProBacktest : au moins 3 périodes de test sur 5 au-dessus de 50 % de WFE

Comment fonctionne le walk forward ?

Le walk forward fonctionne par cycles : à chaque cycle, une optimisation sur une fenêtre de données, puis un test du réglage retenu sur la fenêtre qui suit immédiatement. Prenons un exemple fictif : dix ans d’historique, de 2015 à 2024, une fenêtre d’optimisation de quatre ans et une fenêtre de test d’un an. Le premier cycle règle la stratégie sur 2015-2018 et la teste sur 2019 ; le deuxième la règle sur 2016-2019 et la teste sur 2020 ; le sixième la règle sur 2020-2023 et la teste sur 2024. Les six années de test, de 2019 à 2024, mises bout à bout, forment la courbe de gains du walk forward. Chacune a été tradée avec un réglage choisi sans la connaître.

Deux modes coexistent. En mode non ancré, la fenêtre d’optimisation garde la même longueur et glisse : elle oublie les années les plus anciennes, ce qui suppose que le marché change et que le passé lointain renseigne moins. En mode ancré, toutes les fenêtres partent du même point et s’allongent à chaque cycle : la stratégie est réglée sur tout l’historique disponible, ce qui donne des estimations plus stables mais réagit moins aux changements. Le manuel de ProBacktest décrit les deux à sa page 37, sans dire que l’un vaut mieux que l’autre.

Le point essentiel est ce que le walk forward interdit : regarder la période de test pour choisir le réglage. Dans un backtest classique, on optimise et on juge sur les mêmes données, et le meilleur réglage est par construction flatté. Ici, chaque année de test est jugée avec un réglage qui n’a pas pu en profiter.

Que mesure le ratio WFE du walk forward ?

Le ratio WFE, pour Walk Forward Efficiency, mesure ce qu’il reste de la performance d’optimisation quand la stratégie affronte des données nouvelles : c’est le gain annualisé de la période de test divisé par le gain annualisé de la période d’optimisation. L’annualisation permet de comparer des fenêtres de longueurs différentes, quatre ans et un an dans l’exemple. Un WFE de 50 % signifie que la stratégie a gagné hors échantillon, au rythme annuel, la moitié de ce qu’elle gagnait sur la période qui a servi à la régler.

L’aide en ligne du Walk-Forward Optimizer de TradeStation retient comme règle empirique qu’un WFE de 50 % ou plus signale un walk forward réussi. Elle ajoute un second critère, moins connu et souvent plus sévère : l’analyse peut être invalidée par un gain, une série de gains ou une période inhabituellement forte qui apporterait à elle seule plus de 50 % du gain net total. Le manuel de ProBacktest rapporte un repère voisin, en l’attribuant à « différentes études » qu’il ne nomme pas : une stratégie peut être considérée comme robuste si au moins trois périodes de test sur cinq affichent un WFE supérieur à 50 %.

Un WFE nettement supérieur à 100 % n’est pas une bonne nouvelle en soi. La même aide de TradeStation observe qu’un chiffre élevé isolé, que ne confirment pas les autres cycles, relève plutôt de l’accident. Ce qui compte est la régularité des cycles, pas le meilleur d’entre eux.

Comment régler un walk forward ?

Le réglage d’un walk forward tient en trois choix : la part de l’historique réservée au test, la longueur des fenêtres et le critère d’optimisation. Pour la répartition, l’aide de TradeStation indique que la recherche suggère un rapport de 3 à 9 pour 1 entre optimisation et test, soit une part hors échantillon de 10 % à 25 %, et recommande sa valeur par défaut de 20 %. Le manuel de ProBacktest écrit que la période d’optimisation représente « souvent » 70 % de l’analyse et la période de test 30 %, puis, deux pages plus loin, que « la recherche suggère » 80 % et 20 %. Ces chiffres sont des usages, pas des lois.

La longueur des fenêtres est un arbitrage. Une fenêtre de test trop courte contient trop peu de trades pour juger quoi que ce soit ; une fenêtre d’optimisation trop longue mêle des marchés qui ne se ressemblent plus. Deux sections du chapitre de Pardo touchent à cette question, sous les titres « The Theory of Relevant Data » et « Shifting Markets ». La règle pratique est de partir du nombre de trades : chaque fenêtre de test doit en contenir assez pour que son résultat ne dépende pas de deux ou trois journées, ce qui impose des fenêtres plus longues aux stratégies qui tradent peu.

Ce que j’en disais sur le forum

« Tu trouveras de beaux backtests en fouillant mais je te “conseille” de rester sur 3 ans de profondeur, le marché a beaucoup changé depuis 10 ans donc il faut se concentrer plutôt sur les temps proches à mon humble avis. »

Benoist Rousseau sur le forum, le 3 août 2021, à un membre qui présentait un système quotidien testé depuis 1988 avec un seul trade perdant

Le critère d’optimisation, enfin, est ce que la plateforme maximise dans chaque fenêtre : le gain, le ratio gain sur perte maximale, le ratio de Sharpe. Le choix n’est pas neutre : maximiser le gain seul favorise, dans chaque fenêtre, le réglage qui a pris le plus de risque et en a été récompensé. Les réglages pratiques dans ProRealTime, des variables à optimiser à la période testée, sont détaillés dans le guide ProRealTime. Le manuel de ProBacktest recommande d’effectuer le plus de tests possible pour fiabiliser l’analyse.

Que montre un walk forward qu’un backtest ne montre pas ?

Un walk forward montre trois choses qu’un backtest optimisé cache. La première est une performance faite uniquement de trades que le réglage n’avait pas vus : c’est l’estimation la plus honnête que permette l’historique, et l’une des sections du chapitre de Pardo s’intitule précisément « A More Reliable Measure of Risk and Return ». La deuxième est l’usure : l’écart entre les résultats d’optimisation et les résultats de test, que le WFE chiffre cycle par cycle, mesure ce que le réglage devait au hasard de sa fenêtre.

La troisième est la stabilité des paramètres. Si la longueur de moyenne retenue passe de 20 à 180 puis à 45 d’un cycle à l’autre, l’optimisation suit le bruit de chaque fenêtre et non une propriété durable du marché ; si elle reste dans une zone étroite, la stratégie a peut-être trouvé quelque chose. Cette lecture ne demande aucun calcul : il suffit de noter, cycle par cycle, le réglage choisi.

Quelles sont les limites du walk forward ?

La première limite du walk forward est qu’il ne compte pas les essais. David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Jim Zhu le reprochent à la méthode qui met une partie des données de côté pour le contrôle, dont le walk forward est une forme répétée : parce qu’elle ignore le nombre d’essais faits avant de retenir un modèle, elle ne peut pas évaluer la représentativité d’un backtest. Leur article de 2017 sur la probabilité de sur-optimisation juge ces techniques peu fiables et imprécises dans le cas des backtests, et propose d’éprouver la stratégie sur toutes les combinaisons de blocs de l’historique plutôt que sur un seul découpage.

La deuxième tient à l’usage. Le manuel de ProBacktest invite, si le walk forward révèle un risque de sur-optimisation, à ajuster les variables, les stops ou la période de trading, et à relancer le processus autant de fois que nécessaire pour obtenir une stratégie robuste. Chaque relance fait pourtant regarder les périodes de test une fois de plus ; au bout de dix retouches, elles ont servi au réglage presque autant que les périodes d’optimisation, et le WFE final mesure surtout la persévérance de son auteur.

La troisième est statistique. Cinq périodes de test, c’est cinq observations : trois sur cinq au-dessus d’un seuil peuvent arriver par hasard, et chaque période ne contient parfois qu’une poignée de trades. L’aide de TradeStation estime elle-même qu’il faut au moins dix tests de walk forward pour approcher une fiabilité suffisante face aux résultats aléatoires. Le walk forward réduit la sur-optimisation ; il ne transforme pas un historique court en preuve, et des résultats passés, même hors échantillon, ne préjugent pas des résultats futurs.

Questions fréquentes sur le walk forward