Backtest MT4 : quels sont les pièges ? le débat est ouvert

[JUPITRADER]

Bonjour,

Enfin, je viens de réussir à faire coder ma stratégie. Facteur de profit = 1.42. Yes, je vais devenir millionnaire, voir milliardaire...

Non, si c'était si facile, ça se saurait. :musique: Donc, la question est : où est le piège ? ou plutôt pour être constructif, que doit comporter un backtest pour être fiable ? :roll:

J'ai une multitude de questions à ce sujet. Je souhaite évidemment des réponses constructives, et pas du genre : "tu rêves, tu vas tout perdre, un backtest ça marche bien en virtuel mais pas en réel...". Je l'ai déjà lu plein de fois.

Ma stratégie est basée sur un timeframe 1H sur l'eurodol. Mon backtest est fait sur 1 an. J'ai plus de 2000 trades passés. Je privilégie un faible drawdonwn et un bon facteur de profit; j'y ajoute une bonne dose d'optimisation du money management. Je laisse mijoter quelques minutes et voilà à quoi j'arrive (voir pièce jointe) ci-dessous

Je pense ensuite actualiser l'optimisation 1 fois par semaine afin de rester dans le style de marché en cours. Pour ceux ayant remarqué le modèle de bakctest "en prix d'ouverture seulement", j'ai fait aussi le backtest en tick (modelage 90% pour quasiment le même résultat) mais j'ai juste oublier de l'enregistrer.

Mes questions sont :
+ de 2000 trades passés sont ils suffisants ?
Optimisation sur 1 an est elle suffisante ?
Actualiser l'optimisation chaque semaine est il nécessaire ?
J'ai mis un spread de 2 sachant que mon vrai spread est en général à 0.2.

Il est certain que les conditions de marché changent et c'est pour cela que je souhaite ré-optimiser mon backtest chaque semaine. Mais cela est il une bonne solution afin d'avoir une stratégie toujours en phase avec le marché ? sinon comment faire ?

J'attends vos remarques constructives et vous souhaite de bonnes fêtes.

[Edd]

Salut, si tu travailles sur 5 décimales, un Spread de 2 pips correspond à un écart de 20 dans le backtest.
Tu as mis "2" au lieu de "20" donc tu sors un backtesting avec un spread de 0,00002 et non 0,00020

[JUPITRADER]

Oui j'ai bien une 5ème décimale mais je viens de faire le backtest en utilisant le spread actuel et je retombe sur le même résultat. C'est normal puisque j'ai un spread à 0.2 dans mes cours, donc un spread à 2 pips sur le backtest correspond bien à la 5ème décimale, soit 0.2 pips.

Par contre, je vais augmenter mon spread de 2 pips dans le backtest pour tenir compte des autres frais annexes (commissions, rollover, swapp....) et imprévus, soit un spread de backtest à 4 pips.

[G'sT]

Allez c est bien parce que c est toi que je vais te donner une reponses tres importante

Beaucoup de traders se plantent en passant du backest au reel pour une raison primordiale qu ils oublient souvent :
Les backtests sont calcules sur un prix fixe alors que dans la realite quand tu passes un trade manuellement il s agit d un prix a "un moment donne".
Or dans la pratique "moment donné" n estpas egal a "prix fixe"

C est de la que vient une grande difficulte a passer du backtest a la realite

[plataxis]

Autrement dit, backtest = 4 valeurs par bougie (open / high / low / close).

En live il y en a des ticks sur l'eurodoll en une heure de temps ! (159 094 ticks sur la séance d'hier selon -... et c'est une période calme !)

[Edd]

Un tick c'est un tick, l'EA lance l'ordre au marché donc au prochain tick, en réel pareil..... il n y a pas d'histoire de prix fixe...

[Ano782345]

De 90% à 99% de modelage tu as déjà de bonne différents essais avec les données historique avec Tickstory Lite et une encienne version mt4 pour voir et aussi en 15mn ( tick/tick )pour voir.

Oui et en plus tu prend que le prix d'ouverture alors... je la m'étrais pas en réel a ta place.

[G'sT]

Un tick c'est un tick, l'EA lance l'ordre au marché donc au prochain tick, en réel pareil..... il n y a pas d'histoire de prix fixe...

Tu as probablement du mal interpreter ma reponse dans la mesure ou elle est est postee dans le forum "Trading automatique".
Je te propose de relire ma reponse ("passe un trade manuellement).
Elle part du constat des echecs de ceux qui sont passes d un backtest "fabuleux" a un trading manuel desastreux.
Je souhaitais donner des elements de reponses a jupitertrader dans ses recherches, mais je peux te le consentir, ce n est pas forcement judicieux de l avoir poste sur ce forum......elle aurait plus eu une place dans mon journal

[JUPITRADER]

Bon, j'essaie de récapituler.

En backtest, je suis sur un prix fixe alors qu'en manuel, je suis à un prix à un moment donné. Là, je ne comprends pas bien parce que si je trade en manuel, je vais placer un ordre limite, ou stop, ou au marché, ce que fait mon EA à ma place. Le prix à un moment donné sera quasi-identique en manuel puisque l'ordre est pris à la milliseconde. Je ne fais pas de trading haute fréquence au point de rechercher la milliseconde près.

Concernant le backtest en tick, je savais qu'on allait m'en parler bien que j'ai précisé que je l'avais fait avec des résultats comparables mais je ne l'ai pas enregistré. Promis je le post dés qu'il sera réalisé.
Pour les 99% de modelage avec tickstory (cela fait l'objet d'un autre sujet sans réponse que j'ai posté il y a quelques jours), est ce vraiment nécessaire puisque je suis en timeframe 1H00 ?
Je pense que la qualité des historiques de données tick/tick se remarquent sur les petites UT (de 1 minute à 15 minutes). Moi, je suis sur du 1H00 mais c'est vrai qu'un modelage à 99%, ça fait plus sérieux.

Par contre, ce que je ne peux maîtriser entre autre, c'est le slippage ! Mais dans ce cas, j'ai paramétré mon EA pour ne pas prendre d'ordre au delà de 3 pips de slippage. Ce qui ne peut se voir dans le backtest. Mais bon, on n'a quand même pas 3 pips de slippage sur les 2000 trades passés.

[Ano782345]

Je dirais justes que s'il marche en h1 et pas en en 30 ou 15 mn je pense qu'il y a un problème les mayeurs robot que j'ai pu tester marche sur plusieurs unités de temps.

[G'sT]

- jupitrader : sur un " ordre limite" ca peut le faire et perso j y arrive tres bien en scalping ("scalping a 1 pt), car "ordre limite" = "prix fixe" pour moi....
...mais mon analyse n est pas par rapport au passage d un trade avec un cours limite, mais par rapport a une situation contextuelle (ex trade passe sur le rebon d une BB).
Je sais que c est pas comprehensible, alors je te propose que je revienne ce soir expliquer mon idee par un exemple(car pas facile pour moi la, suis au travail).

Attention je reprecise que je parle de trade manuel suite a un backtest.

[JUPITRADER]

Bon là, tu m'apprends quelque-chose. Je ne savais que ça devait et pouvait fonctionner sur différentes UT. Je vais essayer.

Ce que je remarque c'est que ça ne fonctionne pas toujours sur les anciennes périodes. Normal parce que les conditions de marché étaient différentes. Ce qui me pousse à vouloir optimiser régulièrement chaque semaine. Mais ça, je suis pas certain que ça soit une bonne méthode.

[JUPITRADER]

OK G'sT, je suis preneur de toutes suggestions. Pourrais tu me traduire BB : bougie baissière ?

[Ano782345]

Mon unité de temps préfère et le 15mn pour les robots. C'est très facile de faire un robot qui marche en 1h.

Bon je voudrais pas dire que tu perds ton temps mais tu gagnera 10 fois en manuel.

Les robots et les backtest c'est utile pour voir toute les posibiliter des différent état du marcher et gagnier du temps sur son aprentisage. (Teste le mode visual pour aprendre).

[G'sT]

OK G'sT, je suis preneur de toutes suggestions. Pourrais tu me traduire BB : bougie baissière ?

BB=bande de Bollinger

[Chino]

Salut JUPITRADER,

Tu optimises sur 1 an et tu poses la question de la pertinence de réoptimiser toutes les semaines.

A mon avis, tout BT doit se faire sur une série de deux échantillons de données (bougies 1h ici) :

Pour moi la bonne méthode :

1/ Tu optimises ton algo sur un échantillon d'optimisation (par exemple 6 mois, du 01/01/2015 au 01/07/2015)

2/ Puis tu le testes sur 1 mois (du 01/07/2015 au 01/08/2015) -> tu stockes le résultats

3/ Puis tu optimises ton algo du 01/02/2015 au 01/08/2015

4/ Puis tu le testes sur 1 mois (du 01/08/2015 au 01/09/2015) -> tu stockes le résultats

5/ Ect....

C'est un backtest en Walk forward car sinon le problème, c'est qu'avec la puissance des ordis, tu arriveras toujours à trouver une stratégie qui cartonne sur n'importe quel historique. Ca sera le plus robuste, sinon pour moi ca ne veut rien dire comme résultats.

Bon courage,

[JUPITRADER]

OK merci pour toutes ces infos.

Ano782345, Ci-joint le backtest par tick. Qualité modelage 90%. Le backtest sur des UT plus courtes restent très favorables voir mieux mais le drawdown est plus élevé, ce qui est logique puisque je prends beaucoup plus d'ordres. Par contre, je refuse catégoriquement de trader en manuel même si je peux gagner plus. Le trading manuel n'est pas fait pour moi (je suis trop à la recherche du trade parfait), chacun son truc. De plus, je pense qu'un trader manuel finit tôt ou tard par tout perdre pour une raison ou une autre. Mais ça, c'est un autre débat...

G'sT, BB oui c'est bande de bollinger j'avais oublié et non pas Brigitte Bardot

Chino, merci pour cette réponse. J'y avais pas pensé. C'est vrai que cette méthode a l'air pertinente et qu'elle permet de se faire une idée des résultats futurs. Je vais la tester. Sinon, c'est vrai qu'un cerveau humain ne peut pas rivaliser avec un processeur informatique, à part peut-être Kasparov...

[G'sT]

> Chino : merci beaucoup, je ne connaissais pas les "backtests walk forward". Je vais tester sur ma stratégie.

> Jupitrader.
Je dépeint "grossièrement" et de manière fictive ce que je souhaitais dire dans le passage du backtest au trading manuel.
Admettons que tu mets en place une stratégie de backtest sur le rebond des cours sur la BB (c'est fictif, j'aurai très bien pu dire le franchissement du PP ou d'une MM20....). Tu backtest ta stratégie avec un SL 5 et TP de 5. Le principe : dès que le cours touche la BB- tu achètes et tu déboucle avec une PV à +5 pts ou bien stoppé 5 points en dessous de ton achat.
Tu backtest ce scénario et tu obtiens sur l'année 2015 un taux de réussite de 80 % ; donc un rapport G/P de 4.
Voyons ce qui s'est passé sur l'exemple d'un trade (toujours fictif) :

==> Bougie de 15h en UT 5 : H(10520)/ O(10510)/B(10501)/C(10518)
==> BB : 10505
Le backtest a déclenché le trade à 10505 (=Prix fixe) puis débouclé à 10510 (pv de 5 pts)
Sur la journée de backtest tu auras 80 rebonds similaires qui t'auront rapporté 5 pts chacun et 20 qui auront été stoppés la baisse continuant après chacun des 20 achats.

Tu te dis chouette un backtest qui offre 80 % de reussite je lance cette strategie de rebond sur BB immédiatement en trading manuel....
Voyons ce qui peut se passer dans la pratique :

==> Bougie de 13h en UT 5 : H(10570)/ O(10560)/B(10551)/C(10568)
==> BB : 10555
(tu constateras que cette bougie a la même configuration que celle de ton backtest et devra donc en théorie t'apporter une PV)

Cette bougie de 13H va ouvrir à 10560 , va commencer à descendre vers la BB- et lorsque ton signal se déclenche sur les 10555 tu valides ton ordre, mais la volatilité du dax est telle qu'il fait 10555-10556-10551 puis remonte sur les 10570. Ton ordre sera déclenché à 10556 lorsque tu auras cliqué à 10555 (je parle pas slippage mais de délai de latence).....tu seras dans le réel stoppé (MV) sur un ordre qui était gagnant en backtests. Multiplies cette situation par plusieurs autres trades sur les 100 et ta réussite sera moindre que celle de ton backtest.
C'est ce que j'appelais "un moment donné" : tu achètes au moment où le cours touche la BB (mais tu l'obtiens à un autre prix).


Voilà j'espère que je t'aurais fait un peu cogiter pour progresser ......

[Ano782345]

Facteur profit devrais être à 2 au moins et le dd et trop élevé, fais le dourner pendant 1 ans er on en reparle, cela fais 15 ans que je vais des backtests la dessus.

Teste à 99% avec le bon réglage de ton broker le résultat serra sûrement différent.

Tu c'est je pensais comme toi avant j'ai testé des centaines et des centaines de robot parmi les mayeurs qu'on peu trouvé chez les russes et seulement très peu vale la peine il sont tous optimiser sur une période et personne ne connais l'avenir.

[Mister Hyde]

Tu sais je pensais comme toi avant j'ai testé des centaines et des centaines de robots parmi les meilleurs qu'on peut trouver chez les russes et seulement très peu valent la peine ils sont tous optimisés sur une période et personne ne connaît l'avenir.

Pour vendre des robots, il faut afficher des performances passées mirifiques, en général que des backtests, pas de réel, et pour cela tu optimises à mort sur ta période de backtest (curve fitting), une performance passée et un robot qui se vautre en réel

Mais la file c'est piège des backtests, pas des robots de trading russes.