Mes clés pour des robots gagnants

Salut Algoteam !

Merci pour ta contribution Tu as une plume assez pédagogique et je pense que cela devrait en sensibiliser plus d'un, notamment sur le sujet clé qui est évoqué ici.

Je me permet d'ajouter quelques pierres à ton édifice

1. Diversification

- Pour rebondir sur ce qu'à dit Euraed (et toi également) : le max DD (sous toutes ses formes) est un indicateur clé de mesure de la performances/risques. Au delà du fait d'avoir plusieurs robots, traitant le même actif ou en mode multi-actifs, il me parait essentiel (et je l'ai indiqué à maintes reprises sur ce forum) d'avoir également en tête le principe de diversification, au sens "large" du terme. The only "free-lunch". Ce principe va au-delà du simple et "fameux" : "j’investis sur plusieurs actifs". Il va beaucoup plus loin. Notamment dans les indicateurs de tout types et les algos. La vraie puissance de la diversification c'est l'association d'indicateurs/stratégies/algo qui ne sont pas parfaitement corrélés. Ils n'ont ainsi pas besoin individuellement d'être les 1er de la classe. Il faut juste qu'ils soient pertinents sur le long terme (j'entends par là, qu'ils soient pérennes dans leur valeur ajoutée). C'est alors leur association qui peut en faire un portefeuille (d'indicateurs, de stratégies, d'algos, d'actifs...) qui sera là en bonne position pour être 1er la classe, toujours sur l'angle fondamental rendement/risque (dans le facteur risque j'inclue tout ce qui a déjà été cité, en particuliers l'étude des distributions : queues, épaisseurs de queues => non-normalité, etc...)

2. Simulations

En ce qui concerne les simus de monte carlo. C'est une approche intéressante et largement utilisée dans la sphère financières, tout particulièrement en structuration/pricing. En revanche comme tu l'a très bien indiqué, ces simulations sont exogènes, en ce sens qu'elles ne prennent pas en compte les phénomènes réellement observés dans les datas. Je m'explique sur l'exemple le plus probant : la non-normalité des rendements. Il a été prouvés x fois que les rendements des actifs n’étaient pas normaux (de façon assez générale). Il a également été "prouvé" que les séries de rendements présentent des caractéristiques aujourd'hui bien connues, notamment 1. l'existence des clusters de volatilité (la vol à TCT est un prédicteur de la vol à TCT, dans ses niveaux et sa structure) et 2. l'hétéroscédasticité = non constance de la variance des rendements = présence d'autocorréléation dans les rendements (et très précisément dans les fameux résidus).

A et effet, il a été développé dans les années 2000 par la recherche une méthode très intéressante, gardant les avantages de Monte Carlo et prenant en compte les 2 effets ci-dessus. Il s'agit de la méthode FHS = Filtered Historical Simulations. J'en ai déjà parlé sur ce forum en citant de façon très précise le process à appliquer (tu pourrais le répliquer rapidement en Python/R/Matlab, whatever). En somme, la méthode te permet, à partir d'un échantillon de données (cela peut être une journée d'intraday, 30 ans de SP500, etc...) de simuler x trajectoires en tenant compte des propriétés du jeu de données cible + des 2 effets ci-dessus. C'est vraiment hyper intéressant comme approche.

Le lien où je présente la méthode : je-backteste-le-dax-au-tick-pres-sur-2- ... 00-30.html

Bien à toi++

Sujet intéressant, qui m'intéresse d'autant plus que je me suis mis récemment au trading algo. Un peu par hasard, à la base je voulais faire du trading intraday tout court, mais comme toi, je n'ai pas la patience (et tout compte fait, pas le temps).

Ce que tu expliques me parles, Algoteam, mais je n'ai pas les connaissances mathématiques pour tout suivre. Malheureusement j'ai oublié trop de tout ce que j'avais appris. Mais je vais prendre inspiration de cette discussion pour essayer de m'y replonger.

En tout cas, je retiens que tu insistes sur le MaxDD, ce qui est un point que j'ai aussi rapidement intégré comme essentiel. La performance brute d'une stratégie n'a pas grand intérêt si elle ne peut pas être obtenue via une progression relativement régulière. Tous mes efforts d'élaboration de stratégie visent donc à trouver un compromis entre performance et DD.

Bravo Algoteam !
Tes robots tu les backtestes sur combien de temps ? sur quelle période ?
Bye

Salut! Merci Algoteam et tout le monde. Pas encore tout lu mais ça paraît prometteur. Quasiment pas retouché aux algos depuis 2017, année qui s'est soldée par l'échec de mes robots qui avaient bien donné pendant quelques mois. Bref.

Pour compléter, je crois que vous n'avez pas parlé de "Walk Forward" (littéralement "Marche en avant", en déplacant une fenêtre). Je recopie la compréhension qui est la mienne du process, que j'avais posté ailleurs (aide-algo-stanisme-t24159.html):

"Il ne faut pas tester l'algo sur toute l'historique dont tu disposes, car sinon tu n'auras plus d'historique "vierge", sur laquelle effectuer des vérifications quant à la validité de ton algo.

J'entends par là, si tu modifies "à tâton" des paramètres de ton programme (par exemple la longueur de la moyenne mobile, ou encore la moyenne ou l'écart type utilisés pour ton bollinger) et que tu lances le test sur TOUTE l'historique dont tu disposes, forcément va arriver un moment où il sera gagnant, car tu auras adapté ton programme ("to fit" en anglais) à l'historique du sous-jacent.

(...)

Exemple:
1) on optimise sur Janvier à Avril 2018 , et on teste ensuite les résultats sur Mai 2018
2) quelque soit le résultat de 1), on continue en optimisant sur Février à Mai 2018 et en testant sur Juin 2018
3) puis Mars à Juin 2018 / Juillet 2018
etc...

Et en ce qui me concerne, je m'arrête de tester et je mets l'algo de côté (ou souvent en fait je le mets carrément à la poubelle) dés que je considère que j'ai trop de mois rouges. J'ai constaté que très très peu d'algos survivent en faisant comme ça. (peut-être malheureusement que du coup je jette des algos qui constituaient en fait une base de travail intéressante, je ne saurais pas dire...)

Note: dans mon exemple j'ai pris 4 mois de "in sample" et 1 mois de "out of sample", mais il n'y a pas de "règle" absolue pour choisir la taille des fenêtres.

Disclaimer : l'optimisation d'algo est un principe qui semble déconseillé par certains, mais perso je ne vois pas d'alternative à ça, et puis ça me semble sensé d'adapter le comportement à une période donnée (in sample data) et la tester sur une plage inconnue (out of sample data). Je rationalise (et me rassure ) en me disant que c'est adapter l'algo, dont on pense que le principe est "logique", aux conditions de marché changeantes."

Très très intéressant. Je fais joujou avec le ProBackTest aussi en ce moment. Je vais suivre cette file avec attention.

J'ai voulu regardé en détail mais premier calcul, je ne tombe pas pareil de mon côté

180€ pour 2500 de capital : 7,2% par mois donc 86 % par an (sans capitalisation) c’est top.

Je trouve 0,72% par mois et 8,64% par an. quelqu'un peut m'expliquer ?

Salut Zoom. Je pense qu'il a fait 180 / 2500 = 0.072 (soit *100 = 7.2%) * 12 = 0.864 (*100 = 86.4 %).

Quel nul, je sais pas ce que j'ai Fichu Merci BeerIsDead :roll:

La fatigue on va dire :musique:

BeerlsDead fait reference au risque d'overfitting et il a bien raison. Insample/outof sample est une bonne approche. A completer par un test de validation des parametres (ex : si vos backtests donnent des resultats tres differents avec une MM de 80 ou 90 et bien il y a un pb). A cet effet @Euraed a crée un sujet sur le forum.

C'est part ailleurs un sujet qui a été evoqué à plusieurs reprises. Mais il est si important que c'est toujours bon de remettre une couche, surtout afin que les débutants en auto y soient sensibilisés au plus tot.

- robinhood :
C’est exactement ça, robinhood : moi qui ne suis toujours que sur un actif, le CAC, je me suis aperçu que je pouvais diversifier juste en utilisant des signaux d’entrée différents et des UT différentes, car elles sont en fait assez décorrélées à l’échelle du day trading
Pour aller plus loin, je vais essayer de relire et de comprendre la méthode FHS que tu sites, mais je ne suis pas sûr d’avoir le bagage mathématique suffisant…

- Kero :
Pour ce que je fais, le niveau mathématique que j’utilise ne dépasse pas la terminale S, et encore ! L’important est surtout de bien avoir compris le fond des concepts utilisés : le fond de ce que veut dire une corrélation entre 2 séries, le fond de ce que veut dire une distribution non normale etc. Après, les formules, on galère à les retrouver et les utiliser, mais déjà si on comprend ce que ça veut dire on avance pas mal, même si on ne sait pas tout quantifier…

- Beerlsdead , et tous :
Alors, ça ça m’intéresse beaucoup : je comprends bien cette notion d’optimisation sur un historique, puis de test sur un échantillon neuf pour éviter la sur-optimisation, j’ai essayé ave les back-test PRT qui le permettent mais je n’ai jamais rien obtenu de concluant … Alors j’ai abandonné l’idée d’avoir des robots qui marchent des années et même des mois, sans retouche.

Donc pour ma part voilà comment je fais :
D’abord, je surveille chaque jour la performance globale du groupe de robots, mais aussi de chaque robot. La question cruciale est : quand un robot commence à perdre, est-ce que c’est normal c’est-à-dire c’est juste le début d’une mauvaise série statistiquement normale, ou est-ce que c’est le signe que le marché change et que le robot n’est plus adapté ? C’est là que j’utilise mon outil de simulation de MaxDD :
- Tant que le DD observé est inférieur au MaxDD calculé, je considère que c’est une perte normale.
- Quand le DD observé atteint le MaxDD calculé, ça veut dire que j’ai 50% de chances que mon robot se soit désynchronisé. Alors là je l’arrête et laisse tourner les autres et j’analyse finement tous les trades perdants pour trouver une explication. Exemples : stop un peu près alors que la volat a augmenté, TP un peu loin ou stop suiveur trop lent alors que la volat a diminué, signal d’entrée trop permissif…
- Si je trouve, j’adapte le paramètre, je backteste et je repars.
- Si je ne trouve pas (cas rare) je garde le robot en observation et si plus tard il redonne de bons résultats, je vais à nouveau chercher à comprendre pourquoi il remarche et si je comprends, l’améliorer et le remettre en service.

C’est essentiel d’avoir un critère précis pour éviter le « j’attends un peu, ça va remarcher » destructeur

En pratique, les signaux d’entrée sont assez stables, je les retouche très rarement. C’est plus souvent sur les conditions de sorties que ça se dérègle. Bref je suis amené à retoucher 1 ou 2 paramètres d’un des 10 robots toutes les 2 ou 3 semaines peut-être. Donc finalement ça n’est pas si souvent que ça.

Et pour que cette méthode soit efficace, il faut aussi avoir des robots dont le taux de réussite est élevé donc avec des MaxDD statistiques assez faibles :
- Avec un robot qui a un taux de réussite de 85% par exemple et donc un MaxDD de 3 pertes moyennes sur un an par exemple, je peux attendre la 3° perte pour arrêter le robot et mettre les mains dans le moteur
- Avec un robot qui a un taux de réussite de 45% et un MaxDD de 10 pertes moyennes, et que je dois atteindre ce niveau de pertes pour savoir que mon robot est peut-être en train de se désynchroniser, il va déjà me falloir des semaines voire des mois pour remonter la pente…

Donc j’ajouterais bien une 2° règle :
Règle n°2 :
Quand on constate un début de DrawDown qui approche ou atteint le MaxDD prévu (au minimum par backtest, au mieux par calcul), on arrête le robot et démonte le moteur sans attendre…


Alors, malgré tout ça, comment éviter la sur-optimisation ? Bien sûr avec la méthode du Walk-Forward, même si moi je n’en tire pas grand-chose…
Quand je dis que je n’en tire pas grand-chose je veux dire que quand j’arrive à faire une stratégie qui résiste à ce test, et fonctionne par exemple sur 3 ou 4 ans, elle n’a plus aucun intérêt car elle est tellement tous terrains qu’elle ne rapporte plus que quelques % par an, autant placer ses sous dans du fond en euros …

Alors, peut-être faudrait-il faire ça sur des périodes plus courtes : historique de 2 ou 3 mois, et 2 semaines de out of sampling par exemple, mais pas sûr d’avoir assez de trades pour que ça soit significatif. Je n’ai pas essayé, toi tu fais comment ? Et tu es sur du day trading ou pas ?

Alors en fait je fais surtout extrêmement attention à ne pas définir un paramètre sur « un optimum local pointu ». En pratique si j’ai un paramètre dont la valeur potentielle logique est par exemple entre 10 et 30, si je trouve une maximisation de ma performance à 23, j’ai plusieurs cas :
- Le résultat est moins bon mais reste correct dès la valeur de 20, et aussi au-delà de l’optimum jusqu’à 26 : OK, cet optimum est bon à prendre
- Toujours avec un optimum à 23, le résultat est correct depuis 18 mais s’écroule à 23,1 : j’ai un effet de seuil. Alors je prends une valeur non optimale, par exemple à 21. Et par ailleurs, je cherche pourquoi j’ai cet effet de seuil, qui vient peut-être de ma stratégie. Exemple : la performance augmente quand le TP augmente, et à partir d’une certaine valeur, elle s’écroule. Il faut peut-être un dispositif moins brutal qu’un TP..
- Toujours avec un optimum à 23, chaque fois que je fais varier le paramètre de 0,1 j’obtiens des résultats complètement différents, bons ou mauvais : le système est chaotique, il faut revoir ce coin de stratégie.

Donc règle n°3 :
Ne jamais fixer un paramètre sur une valeur qui forme un pic de performance : choisir le milieu d’une plage raisonnable de valeurs acceptables
-

VB6backtester
Comme je ne fais pas de Walk forward (et pourtant je ne suis pas satisfait de ne pas en faire..), je backteste tout sur 1 an, ce qui me semble représenter pas mal de conditions de marché à l’échelle intraday.
Et toi ?

- tous :
Je dis depuis le début qu’il faut des taux de réussite élevés. Je vais essayer d’expliquer pourquoi, et les conditions qui vont avec, ceci notamment pour ceux qui découvrent un peu ces histoires de MaxDD.

Fondamentalement, c’est quoi le Drawdown :musique: ?
Le drawdown, c’est une série malheureuse de pertes, éventuellement entrecoupée de quelques gains qui ne suffisent pas à compenser les pertes qui sont autour.

Donc premier point : plus le taux de réussite est élevé, moins j’ai de risque d’avoir une série noire longue : Si je gagne 4 fois sur 5, j’ai moins de 1 chance sur mille de faire 5 pertes de suite ((1-0,8)^5). Mais si je ne gagne qu’une fois sur 5 j’ai 35% de chances que ça m’arrive ((1-0,2)^5)…

Deuxième point : cette série noire peut être entrecoupée de gains : si ce ou ces gains sont importants, ça suffit à récupérer d’un coup le drawdown, qui s’arrête donc. C’est ce qui arrive si on a un reward ratio très élevé. En pratique dès que le reward ratio est supérieur à 1, un gain compense au moins 1 perte et « permet » une perte de plus pour le même drawdown. Si le reward ratio est faible, même une petite série blanche au milieu d’une série noire ne suffit pas à casser la série noire.

Dans tous les cas, plus le taux de succès est élevé, mieux ça vaut, et plus le reward ratio est élevé et mieux ça vaut. Mais ça on le savait déjà , et les deux ne sont pas possibles en même temps…

Pour ma part, je vise des taux de succès le plus élevés possibles (70 à 80% en backtest qui donneront 60 en réel, avec des reward ratio autant que possible entre 0,9 et 1,4)

Dernier point, le MaxDD augmente évidement avec le nombre de trades : si on trade pendant 10 ans, on a des chances d’avoir de temps en temps des séries noires plus longues que si on trade 1 mois…

Donc règle n°4 :
Pour minimiser le MaxDD il faut augmenter optimiser les backtests pour avoir le meilleur taux de réussite (ça, PRT sait faire) tout en gardant un reward ratio guère en dessous de 1. Ensuite parmi les taux de réussite les plus élevés, là seulement choisir le gain le plus élevé.

En pratique, je considère qu’une stratégie n’est viable (c’est-à-dire solidement rentable que si le ratio (taux de réussite*reward ratio)/(1-taux de réussite) est supérieur à 1,5.

Alors la question suivante est : pour ces stratégies là, quel serait l’effet d’un changement du nombre de trades (augmentation de l’horizon de trading) ou d’une amélioration ou déterioration du taux de réussite (tout en restant dans le cadre du ratio précédent !).

Exemple : on a une stratégie qui génère 100 trades par an avec un taux de réussite de 60% et un reward ratio de 1,2, pour une perte moyenne de 25 points. Le backtest donne un MaxDD de 130 points. Exprimé en points cela fait 130/25=5,2 (bref une série noir de 5 pertes moyennes, ou un peu plus avec un petit gain dedans.)
Mon ratio de validité donne 0,6*1,2/0,4=1,8 : stratégie viable.

Question 1 : si je trade 20 ans, quel sera le Max DD ? Eh bien on peut considérer que le MaxDD va augmenter de –ln(µ)/ln(1-R) ou µ est le facteur d’augmentation du nb de trades (ici 20/1=20) er r est le taux de réussite. Attention, c’est additif, pas multiplicatif .

Donc le DD exprimé en perte moyenne va passer de 5,2 à 5,2 –ln(20)/ln(0,4). Le moins en début de formule vient de ce que le taux de réussite étant par nature inférieur à 1, le log népérien de ce taux de réussite est toujours négatif. Et moins par moins ça fait plus… :musique:
Ln(20)=2,996 ; ln(0,4)=-0,92 donc le MaxDD va augmenter de -2,996/-0,92 soit environ 3 pertes moyennes : on passe en gros de 5 à 8 pertes moyennes.

On peut aussi se demander ce qui se passerait si en plus, du passage à 20 ans, en passant en réel mon taux de réussite tombait de 60 à 50% !
Eh bien on aurait une variation du DD de : -ln(20)/ln(1-0,5)= 4,3 : le Max DD passerait donc de 5,2 à 9,5 pertes moyennes… Question : serait-ce acceptable au regard de mon money management, ou plus exactement quelle exposition dois-je choisir pour que cela le soit (cf mon premier post)…

Bonne fin de WE à tous…

Oula mais cette file grandit trop vite lol, je vais avoir de la lecture après mon absence du weekend

En pratique, je considère qu’une stratégie n’est viable (c’est-à-dire solidement rentable que si le ratio (taux de réussite*reward ratio)/(1-taux de réussite) est supérieur à 1,5.

Il me semble que le présupposé est ici d'avoir un RR quasi fixe. Correct ?

Si oui, c'est donc que tu travailles en ratios SL/TP quasi constants
Si non, cela serait très difficile en pratique de maintenir la condition x*y/(1-x)>k avec x (taux de réussite) et y (RR) variables.

Au passage l'inéquation que tu nous indiques 1,5 (1-x)/x <= y (RR) est une hyperbole qui trace donc la frontière d'efficience minimale telle que tu l'as définie.

En x le taux de succès, en Y le RR minimum

FrontiereEfficienceAlgoteam.jpg (27.01 Kio) Vu 1168 fois

Par exemple avec un RR de 2 il faudrait un taux de succès mini de 43%, ou vice-versa avec un taux de succès de 43% il faudrait un RR >= 2


NB: la valeur de 1,5 est issue de l'expérience j'imagine. Avec une valeur de 2 on obtient la même hyperbole, mais au dessus, donc plus exigeante (Avec succès de 43% il faut RR>=2,6).

J'ai mis la courbe pour que chacun voit concrètement l'ensemble des solutions possibles, selon ton inéquation, et notamment celles avec des taux de succès plus faibles ou plus forts que ceux que tu indiques.
Par exemple, un taux de succès élevé >90% autorise des RR bien inférieurs à 1... (ce qui est plutôt la zone dans laquelle se trouvent mes algos) mais ce qui aura un impact sur le MaxDD.

Ce qui montre que c'est une condition plutôt nécessaire mais pas suffisante pour l'objectif global. Et donc par rapport à l'objectif énoncé de réduction des MaxDD un coefficient supérieur à 1,5 serait bienvenu à mon humble avis.

Wow.

Faut vraiment que je retravaille mes bases en maths.

lol kero

Condition éventuellement plaisante mais pas nécessairement utile pour trader
loin de là

Je sens quand même que ça bloque de ce côté là. Depuis que j'ai décidé de faire de l'algo, je me suis méchamment mis à la programmation, mais je sens qu'avoir quelques bases plus solides en maths ne me ferait pas de mal.

Après, je vais tout déchirer quand même.

Merci Euraed pour cette explication . d'Ou tiens tu cette formule de critère ? de 1.5 ?
Je viens de le calculer et j'arrive à 2.
Ouf ! parce qu'en première estimation à la louche c'était bien moins. Mais j'espère (difficile apparemment) faire mieux.

C’est d’algoteam, voir son message précédent

Ah euraed et son amour des maths

Moi je suis resté très terre à terre: je balance mon backtest et si à la fin j'ai des sousous "virtuels" dans la popoche sans prendre trop de risque et en payant tous les frais, ça me va

J'étais sur le point de craquer, de me décourager et de tout arrêter..... mais comme je suis à 2 je continue ! je touche pas mon VPS.

Pour ceux qui lisent l'anglais, voici un article intéressant sur le Risk To Reward Ratio et le lien entretenu avec le taux de succès sur trade.
(On retrouve la même courbe que celle ci-dessus mais avec les axes intervertis).
https://www.tradeciety.com/how-to-use-reward-risk-ratio-guide/

Ce qu'il est important de retenir VB6 c'est que tu as une infinité de solutions possibles, un RR de 2 c'est bien si ton taux de trades gagnants est suffisamment élevé. Et on peut aussi trader avec un RR plus faible ou plus élevé.
On a beaucoup trop tendance à faire preuve de manichéisme sur ce sujet, et souvent sur le forum, comme ailleurs. J'ai laissé tombé à ce sujet, mais on voit une quasi religion du taux de succès/trade élevé. Ce serait le parangon du succès. C'est une illusion vicieuse, en réalité les performances dépendent des proportions entre les indicateurs de performance.