Backtest : Pour ou contre les optimisations

Hi everyone,

Depuis quelques temps j'échange avec un membre émérite du forum et nous ne sommes pas d'accord sur l'utilité et la pertinence des modules d'optimisations des outils de backtest.

Perso je suis pour mais il faut avori conscience des limites.

Typiquement quand j'ai une idée de trade (enfin disons d'un setup) et que je peux le coder dans le module de backtest de prt, j'essaye toujours de faire jouer le backtest une première fois sans optimisations, l'idée brute de fonderie tel que mes yeux et mon cerveau l'ont vu et/ou imaginer.
Ensuite je passe phase debuging :
1) je regarde si mon backtest n'a pas d’erreur (des bougies ou des gains/pertes qui ne devrait pas exister, ou des entrées non prise ou prise par erreur.

Là une fois le code stable et propre par rapport à mon idée je passe en phase optimisation
2) soit j'optimise les paramètres d'entrées (une heure, un nombre de Bougie, une période d'un indicateur)
et je regarde ce qui influence le plus les résultats.
2') soit j'optimise les paramètres de sortie (idem à ceu d'entrée, TP/SL fixe ou nombre de Bougie, une période de moyenne mobile, autre, ...)
2'') Soit j'optimise les positions, c-à-d, que je ne change rien aux critère d'entrées/sortie mais je joue sur le nombre de lot engagé en fonction des gain et pertes précédentes.

Une fois que j'ai parcouru ces 3 "grand" domaine, j'évalue quel est la meilleur optimisation pour avoir un setup qui fonctionne selon mes critère (plus grand gain ou plus grand nombre de trade gagnant, ou gain moyen le plus élevé, ou nombre minimal de trade, ...)

Chaque critères apportent son lot d'optimisation et recherche l'optimal par rapport au passé. Évidement je prend comme critère implicite que le passé = le futur.

Donc oui j'optimise les variable "importantes" du setup, mais non je n'optimise pas l'ensemble des variables à ma disposition car là ça ne voudrait plus rien dire.

Et vous qu'en pensez-vous ?
Comment faites-vous ?

Salut,
Question intéressante.
Intuitivement, je suis de nature très méfiant vis-à-vis des optimisations de backtest car c'est le meilleur moyen d'avoir un système qui marche à un instant T et qui ne marche plus ensuite.

Personnellement, j'opte pour une autre démarche :
1. je programme mes indicateurs avec des paramètres approximatifs (exemple, j'utilise la mm100 dans mon backtest alors qu'utiliser la mm120 serait mieux sur une durée et une ut donnée)
2. Je programme ma sortie en fonction du déroulement du trade. Mon principe est de savoir sortir dans n'importe quelle situation
3. Je mesure mon % de réussite et le R moyen (moyenne des gains sur les pertes) dans chaque ut testée
4. Je backteste dans une vingtaine d'ut car un de mes autres principes est d'être agile en terme d'ut. Selon la volatilité ou autre paramètre, à certains moments il faudra être en UT15 ou UT10 et je peux appliquer mon modèle en ut très courte, genre 30 ticks, 5 ticks ...

Donc en résumé, pas d'optimisation sauf éventuellement pour déterminer mon paramètre approximatif du 1 mais en aucun cas, je l'inclus à mon modèle

D'une manière générale, l'optimisation est vraiment compliquée car le nombre de paramètres optimisables est sans fin et sont de plus de temps en temps incompatibles entre eux.

Mais je redis : débat qui m’intéresse au plus haut point.

Interessant car très très rarement je backtest l'ut.

Perso je pars du principe que quand on trade dans une ut on y reste, mais rien n'empèche d'avoir un setup dans une ut et un autre dans une autre.

A bien te lire j'ai quand même l'impression que nous partageons le point de vue : Oui à l'optimisation, non à la sur-optimisation.
Et que la limite enter opti et sur-opti est au libre-arbitre de chacun.

J'ai en règle générale entre 1 et 3 variables que je fais varier en même temps, mais bien souvent elles sont liées : Si je backtest un setup avec des TP et SL, je vais forcément avoir les deux en optimisation même si je pense que ça ne représente qu'une seul variable global.

Oui on est peut-être pas loin. D'ailleurs, il est possible que ce soit utile pour modéliser un MM donné, il y a beaucoup moins de risques de sur-optimisation
Pour les ut, 2 choses :
- Quand je suis dans une ut, j'y reste mais j'ai des indicateurs qui représente une ut différente. Exemple un macd 19,26,9 est supposé être de base pour l'ut tradée mais si j'utilise 45, 225, 30 elle représentera approximativement l'ut 5 fois supérieure, ce qui est utile pour accompagner les mouvements forts. C'est d'ailleurs une des lacunes de prt, c'est pouvoir obtenir un indicateur d'une autre ut dans le programme, on est obligé de contourner
- Quand je parle de "plusieurs ut", l'idéal pour moi est d'être alerté lors d'un signal se déclenchant dans n'importe quelle ut. Je mets mon modèle en route et j'attends un signal. Ah tiens en voilà un dans l'ut 5', Ah tiens en voilà un dans l'ut 60 ticks. C'est un de mes souci du moment : comment réaliser ces alertes sans avoir 1 fenêtre par ut possible

optimisation que je viens de tester :
exclure les jour férié.
Typiquement le 25/12 ou le 01/01 ig ne cote absolument pas les indices donc pas de souci, par contre le lundi de paques (21 avril cette année) ig quote les indices avec leur méthode "de nuit".

Entre le spread de 6,2, le manque de volatilité et le fait que je ne traderais pas ces jours, j'ai fait un bout de code qui exclu ces jours "batard".
ça élimine quelques trades et surtout ça donne des stats plus vrai.

---
Oui j'ai souvent vu des traders mettre des MM X fois plus grande pour "simuler" une MM d'une ut supérieur.

C'est mathématiquement totalement faux mais dans l’absolue ça te donne la position de la MM avec une marge d'erreur de 10 à 20%, why not ...

Pour ma part quand j'élabore une stratégie/setup, j'essaie de toujours passer par la case backtest car même si le module backtest a parfois des ratés ça permet de bien cerner certains principes.
Dans ma démarche je fais un peu du falex, je teste d'abord l'idée brut pour me faire un point de repère puis je passe à l'optimisation.
Je suis d'accord qu'optimiser à outrance est contre productif la plupart du temps, j'ai essayé !
Par contre ça permet de dégager des quasi certitudes sur l'influence de certains paramètres sur un setup donné et de fixer des valeurs limites à certains paramètres.
Ca permet de fait de classer les paramètres par ordre d'influence et de coder "en dur" ceux qui ont un effet marginal.
Alors c'est vrai que si on veut une stratégie et un set de paramètres qui fonctionne dans toutes les UTs, ça réduit l'intérêt d'optimiser.
En général mes optis tournent toujours autour de la volatilité et de la taille des fenêtres d'observations.

NB: Pour répondre à la question concernant la manipulation de plusieurs ut dans la même fenêtre il me semble que ça arrive avec la prochaine version de prt

NB: Pour répondre à la question concernant la manipulation de plusieurs UT dans la même fenêtre il me semble que ça arrive avec la prochaine version de PRT

Cool. Merci pour l'info

Oui j'ai vu ça dans le texte de présentation de la version 10.2 de prt.

h**ps://http://www.prorealtime.com/fr/nouveautes-de-ProRealTime-

On peut tester la beta de la 10.2 et rien que sur l'affichage des bulles du codes et tout plein de petites choses qui change pas mal et améliore grandement la lissibilité de l'interface.

Je n'ai pas trouvé d'info sur ce multi-ut. Dans quelle catégorie voyez-vous ça ?

NB: Pour répondre à la question concernant la manipulation de plusieurs UT dans la même fenêtre il me semble que ça arrive avec la prochaine version de PRT

Cool. Merci pour l'info

Ah Oui ce serait génial !!

Pour ma part, je considère que les backtests sont utiles dans la mesure où ça balance pas mal de stratégie qu'on pensait gagnantes à la poubelle. Après pour celles qui fonctionnent plutôt bien en théorie, je les épluches à la main (bon je vous cache pas que c'est long de backtester manuellement, même quelques jours :musique: ) et je tire les conclusions ensuite. Donc pour l'aide à l'optimisation : oui, je pense que c'est un bon outil.