Lire un backtest : gain, Sharpe, perte maximale et espérance en R

Qu’est-ce que lire les résultats d’un backtest ?

Lire les résultats d’un backtest, c’est interpréter le rapport statistique d’une stratégie testée sur des cours passés (gain net de frais, nombre de trades, taux de réussite, gain moyen, espérance par trade exprimée en R, perte maximale, ratio de Sharpe) pour répondre à deux questions distinctes : combien la stratégie a-t-elle gagné, et avec quel risque ; puis, ce résultat a-t-il une chance de se reproduire, ou est-il le produit du hasard et de la sélection ? La première question se lit dans le rapport. La seconde exige de savoir ce que le rapport ne dit pas.

Tous les logiciels de backtest affichent les mêmes familles de chiffres, sous des noms voisins. Cette fiche en donne la lecture générale, valable pour toute plateforme ; les définitions exactes du rapport de ProBacktest, ligne par ligne, sont détaillées dans la fiche du guide ProRealTime consacrée au rapport détaillé d’un backtest.

La lecture d’un backtest en résumé

Un backtest se lit à l’envers de l’ordre dans lequel il s’affiche : le gain est en haut du rapport, mais il ne vaut que ce que valent les lignes du dessous. Les repères chiffrés de cette fiche :

• Ordre de lecture : coûts, nombre de trades, perte maximale, régularité, nombre de variantes essayées, puis le gain
• Ratio de Sharpe : excédent de rendement moyen divisé par son écart type (William Sharpe, 1966, revu en 1994)
• Statistique t : ratio de Sharpe multiplié par la racine carrée du nombre d’observations (Sharpe, 1994)
• Espérance : le résultat moyen par trade en multiples du risque initial R ; 2 R dans l’exemple de l’institut de Van Tharp
• Piège de l’annualisation : un ratio de Sharpe annuel surévalué jusqu’à 65 % pour un hedge fund (Andrew Lo, 2002)
• Piège de la sélection : 1,57 de ratio de Sharpe espéré pour la meilleure de 10 variantes sans avantage (Bailey et al., 2014)

Par quels chiffres commencer la lecture d’un backtest ?

Par ceux qui peuvent invalider tout le reste : les coûts, le nombre de trades, la période et le point de comparaison. Le gain affiché n’a de sens que net de frais. Le manuel de ProBacktest, par exemple, définit le gain comme le capital final moins le capital initial, en y intégrant les frais de courtage saisis dans les paramètres, et précise que seules les positions clôturées entrent dans les statistiques : le rapport ne compte donc que les frais que vous y avez saisis, et rien des positions encore ouvertes.

Le nombre de trades vient ensuite. Un gain bâti sur quinze positions repose sur quinze tirages ; une ou deux journées exceptionnelles suffisent à le faire, et à le défaire. C’est la loi des petits nombres appliquée au trading : on prête à un petit échantillon la régularité d’un grand. La période compte autant : un test qui ne couvre qu’un marché haussier ne dit rien du comportement de la stratégie dans une baisse.

Le point de comparaison, enfin. William Sharpe, dans l’article de 1994 où il revient sur le ratio qui porte son nom, le définit à partir d’un rendement « différentiel », celui de la stratégie moins celui d’une référence. Une stratégie qui n’achète jamais à découvert, testée sur un indice qui a doublé, peut afficher un beau gain sans rien apporter de plus que la simple détention de l’indice. La question n’est pas « a-t-elle gagné ? », mais « a-t-elle fait mieux que l’alternative la plus simple, et avec moins de risque ? ».

Comment lire le taux de réussite et l’espérance en R d’un backtest ?

Le taux de réussite ne se lit jamais seul : il compte les trades gagnants sans les peser. Le chiffre qui les pèse est l’espérance, le résultat moyen d’un trade. L’institut de Van Tharp l’exprime en multiples du risque initial : le risque d’un trade, la perte prévue si le stop est touché, est noté R, et chaque résultat est divisé par ce risque. Un gain de 2 000 dollars pour 1 000 dollars risqués vaut 2 R ; l’espérance de gain d’une stratégie est la moyenne de ces multiples.

L’exemple de l’institut tient en quatre trades : un gain de 2 R, une perte de 3 R, un gain de 10 R et une perte de 1 R. Le total fait 8 R, l’espérance 2 R par trade, avec un taux de réussite de 50 %. Une perte de 3 R, trois fois le risque prévu, n’a rien d’un cas d’école : c’est ce que coûte un stop exécuté loin de son niveau, après un écart de cours. L’institut pousse l’argument jusqu’au paradoxe : 99 trades perdants d’un dollar chacun et un gagnant de 500 dollars laissent un gain net de 401 dollars, avec 1 % de réussite.

Le calcul inverse se fait de tête. Avec 40 % de trades gagnants qui rapportent en moyenne 2 R et 60 % de perdants qui coûtent en moyenne 1 R, l’espérance vaut 0,4 × 2 − 0,6 × 1, soit 0,2 R par trade. Ce chiffre est le plus utile du rapport, et le plus fragile : un dixième de R de frais et de glissement par trade en emporte la moitié. Le ratio gains/pertes du rapport, la somme des gains divisée par la somme des pertes, raconte la même chose sous une autre forme.

Comment lire la perte maximale d’un backtest ?

La perte maximale, ou maximum drawdown, est la plus forte baisse de la courbe de gains depuis un sommet précédent. Le manuel de ProBacktest la définit ainsi : en chaque point, l’écart entre ce point et le point le plus haut qui le précède sur la courbe des gains et pertes ; la perte maximale est le plus grand de ces écarts sur toute la période. Elle répond à la question que le gain élude : combien aurait-il fallu supporter, à un moment donné, pour obtenir ce résultat ?

Elle se lit avec sa durée et avec l’arithmétique des pertes. Une baisse de 20 % demande une hausse de 25 % pour revenir au sommet, une baisse de 50 % une hausse de 100 %. La durée de la baisse, du sommet au retour au sommet, compte autant que sa profondeur : rester dix-huit mois sous son sommet sans toucher à la stratégie est une épreuve, et une stratégie modifiée en cours de route n’est plus celle qui a été testée. Rien ne garantit, enfin, que la pire baisse du passé soit la pire à venir : elle n’en est qu’un premier aperçu, tiré d’un seul enchaînement de trades parmi tous ceux qui auraient pu se produire.

Ce que j’en disais sur le forum

« Les pros visent 20 % 25 % / an sans trop de drawdown mais ils font cela pendant 10 ans, pas pendant 1 mois. »

Benoist Rousseau sur le forum, le 6 février 2019, dans un sujet intitulé « Un trader novice fait 2200 % en 2 mois »

Que mesure le ratio de Sharpe d’un backtest ?

Le ratio de Sharpe mesure le rendement obtenu par unité de risque : la moyenne de l’excédent de rendement de la stratégie sur sa référence, divisée par l’écart type de cet excédent. William Sharpe l’a proposé en 1966 sous le nom de « reward-to-variability ratio », que l’usage a remplacé par le sien ; il en a révisé la définition en 1994 dans le Journal of Portfolio Management. Il y souligne deux réserves que les rapports de backtest oublient : le ratio dépend de la période sur laquelle on le mesure, et un ratio historique, calculé après coup, ne peut pas être pris sans correction pour une prévision.

Le même article donne la clé de lecture la plus utile : la statistique t, qui mesure si un résultat se distingue du hasard, est égale au ratio de Sharpe multiplié par la racine carrée du nombre d’observations. Un ratio de Sharpe annuel de 1, mesuré sur quatre ans, donne une statistique t voisine de 2, à la limite de la significativité habituelle. Campbell Harvey, Yan Liu et Heqing Zhu soutiennent qu’un nouveau facteur de rendement doit aujourd’hui franchir une statistique t de 3 ; transposé à une stratégie, ce seuil demanderait neuf ans de données au même ratio de Sharpe. C’est un ordre de grandeur, non une règle, mais il dit pourquoi deux ans de backtest ne prouvent presque rien.

L’annualisation est un second piège. Andrew Lo a montré dans le Financial Analysts Journal en 2002 qu’un ratio de Sharpe mensuel ne s’annualise en le multipliant par la racine de 12 que dans des circonstances très particulières : quand les rendements mensuels sont corrélés entre eux, la multiplication fausse le résultat, et dans son exemple tiré de fonds réels, le ratio annuel d’un hedge fund peut être surévalué jusqu’à 65 %. Quand les résultats mensuels d’une stratégie s’enchaînent avec une régularité suspecte, la méthode d’annualisation mérite donc d’être vérifiée.

Pourquoi le meilleur backtest d’une série est-il trompeur ?

Parce qu’il a été choisi après coup parmi d’autres, et que le hasard suffit à fabriquer un bon chiffre. David Bailey, Jonathan Borwein, Marcos López de Prado et Qiji Jim Zhu le chiffrent dans les Notices of the American Mathematical Society en 2014 : un chercheur qui essaie seulement dix configurations d’une stratégie, toutes dépourvues d’avantage réel, doit s’attendre à ce que la meilleure affiche un ratio de Sharpe de 1,57 sur un an de données, alors que toutes, y compris celle-là, rapporteront en moyenne zéro sur des données nouvelles.

Ils en tirent une longueur minimale de backtest : avec cinq ans de données, il ne faudrait pas essayer plus de 45 configurations indépendantes, faute de quoi l’on est presque assuré de trouver un ratio de Sharpe de 1 sur le passé pour un ratio espéré nul ensuite ; avec deux ans, sept configurations suffisent à produire ce mirage. Un rapport de backtest ne dit pas combien de variantes l’ont précédé. C’est pourtant le chiffre qui permet de juger tous les autres, et c’est l’objet même de la sur-optimisation.

Quelles sont les limites des statistiques d’un backtest ?

La première limite des statistiques d’un backtest est qu’elles décrivent un seul chemin. Les mêmes trades, dans un autre ordre, auraient donné le même gain mais une autre perte maximale, parfois bien plus profonde ; un rapport ne montre qu’une des histoires possibles. La deuxième tient aux mesures elles-mêmes : le ratio de Sharpe traite de la même façon les écarts à la hausse et à la baisse, et résume mal une stratégie qui gagne souvent un peu et perd rarement beaucoup, comme la vente d’options, dont la pire journée peut ne pas figurer dans l’historique testé.

La troisième est la plus simple : un backtest décrit le passé, avec les coûts qu’on lui a donnés et sur le marché tel qu’il était. Il permet d’écarter une mauvaise idée à peu de frais ; il ne peut pas garantir qu’une bonne idée le restera. Les résultats passés, réels ou simulés, ne préjugent pas des résultats futurs.

Questions fréquentes sur la lecture d’un backtest