ProRealTime
On y parle Livres et Outils de Trading, Station de Trading, des livres lus sur le trading, de notre vision du trader et de son métier

Backtesting Most important ?

par Greg31600 » 27 déc. 2013 23:10

Bonsoir,

Bonnes fêtes !

Plusieurs questions me viennent à l'esprit, et j'ai besoin d'avis.
Peut-on se fier aux résultats d'un backtesting sur 1 ans, 2 ans, 3 ans,..,5 ans ?
Qu'est-ce qui est le plus important à regarder/analyser/prendre en compte dans le résumé détaillé ?

Falex, je compte sur toi hein :D

Re: Backtesting Most important ?

par falex » 28 déc. 2013 10:09

tu peux :P
Spoiler:
En vrac car je n'ai pas le temps de développer :
Si vous voulez avoir une idée de ce que donne en réel votre backtest il faut absolument mettre le spread/frais et là on a souvent de mauvais surprise : une stratégie géniale devient nulle.

PRT tri les résultat par gain brut, ce n'est pas forcément le meilleur critère mais c'est un bon début pour éliminer les stratégies qui ne rapportent rien.

le Profit factor est un bon élément qui permet d'avoir en un seul coup d'oeil un mélange entre : gain/perte/taux de réussite.

Ensuite il y d'autre facteur important comme le drawdown, le dd max mais cela dépend de votre stratégie (si TP/SL fixe le DD on s'en Fiche puisqu'on le connait.

Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?

Re: Backtesting Most important ?

par clodreb » 28 déc. 2013 11:05

Hello,
Selon moi, les backtests permettent surtout de valider ou non un "feeling" de stratégie que tu veux mettre en place.
Tu as parfois des surprises entre ce que tu "vois" comme stratégie à l'oeil nu sur quelques journées et ce qui sort d'un backtest sur une année.

Maintenant, comme le rappel souvent Benoist et les autres, la bourse évolue toujours, je ne suis pas certain que prendre un historique de 5ans si tu veux faire de l'intraday soit vraiment utile.
(une stratégie gagnante cette année ne l'aurait probablement pas été en 2008...dans ce cas, tes backtests seront un peu faussés si tu remontes trop dans le temps).

Le profit factor est un bon indicateur à prendre en compte mais attention : il faut le mettre en vis à vis du nombres de positions gagnantes et perdantes que donne le backtest.

je m'explique : tu peux avoir un backtest qui te donnera un profit factor de 6 avec, par exemple, des stats de 1 seule position en MV sur 52 semaines.
Tu te dis : "génial, un profit factor pareil, c'est du velour".
Sauf que , dès qu'une nouvelle position est en MV, ton profit factor va passer à une valeur très faible (genre 1,2).
Et là, c'est une mauvaise position à prendre.

Donc, si ton profit factor est bon et que tu as une proportion correcte entre PV et MV, c'est que ton backtest te donne une bonne stratégie.... à priori. ;)


Bon courage.
le backtesting, ça prend énormément de temps si tu as plein d'idées :mrgreen:

Re: Backtesting Most important ?

par Greg31600 » 28 déc. 2013 17:16

falex a écrit :tu peux :P
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?
:arrow: Oui, curieux :)
Spoiler:
Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...
Je vais refaire mes backtests, et notez les résultats pour vous les communiquez et lire vos avis ;)
Je réfléchis depuis quelques temps sur un indicateurs qui arrive presque à maturité, il fonctionne plutôt bien, sur un time-frame de 1h, 30mins & 15 mins, mais je m'oriente plus sur 1h, car à priori on est à moins de 2 ordres/jours, ce qui est au vu de mon Taf, la meilleure solution ;)
Il à l'air très performant en "Market Bull", moins en "Market Bear".
J'ai donc, si les résultats des backtests sont probants, bien l'envie de le suivre sur les signaux @chats, et plus au feeling sur les signaux de vente...

Je fais cela tout à l'heure ;)

Merci de vos réponses :D

Re: Backtesting Most important ?

par clodreb » 28 déc. 2013 21:00

Greg31600 a écrit :
falex a écrit :tu peux :P
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?
:arrow: Oui, curieux :)
Spoiler:
Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...
Falex m'inspire pas mal aux niveaux des backtests et ses remarques sont judicieuses.
On sent qu'il a pas mal d'heures de boulot derrière lui sur les backtests.
Comme je ne veux pas lui gâcher son plaisir , je ne te dirai pas pourquoi il t'a posé cette question (si tu suis un peu ce qu'il poste, tu sais déjà que c'est son petit plaisir de faire remarquer ce critère de % gagnant).

Allez, Falex, fais toi plaisir , donnes lui un exemple :mrgreen:

ps : Greg31600, si tu veux notre avis sur un backtest, ne donne pas seulement les infos contenus dans le récap des % car les détails repris dans le rapport détaillé ont également leur importance (c'est là que tu trouves notamment le Profit factor et le nbr de trades perdants ou gagnant en long ou short). Sans ce détail, on ne sait pas vraiment te donner un avis complet sur ton backtest....enfin, c'est mon avis de débutant du backtest :lol:

Re: Backtesting Most important ?

par falex » 28 déc. 2013 21:52

Pour l'échantillonnage je dirais que "malheureusement" on fait avec ce que l'on a.

Chez ig c'est 2 mois pour les ut inf à 5min
1 an les ut entre 5min et inf à1 heure
Plusieurs années à partir de 1heure.

A titre perso je fais 99,9% de mes backtest en ut15. Donc je suis limite à une année glissante. Avec rogue nous avions fait le backtest sur son compte perso prt ou il y avait 2,5sns d'historique et là les résultats étaient totalement différent.

Donc je dirais qu'il est difficile de répondre à ta question sur la longueur d'historique. Dans les backtest si je limite le test par trimestre je n'obtiens pas forcément les mêmes résultats que du je backtest l'année entière.
Pour les ut courte la limite de deux mois est quand même sacrement handicapant car ks bourse c'est à mon humble avis au minimum un cycle d'un an.

Re: Backtesting Most important ?

par falex » 28 déc. 2013 21:55

clodreb a écrit :
Greg31600 a écrit :
falex a écrit :tu peux :P
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?
:arrow: Oui, curieux :)
Spoiler:
Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...
Falex m'inspire pas mal aux niveaux des backtests et ses remarques sont judicieuses.
On sent qu'il a pas mal d'heures de boulot derrière lui sur les backtests.
Comme je ne veux pas lui gâcher son plaisir , je ne te dirai pas pourquoi il t'a posé cette question (si tu suis un peu ce qu'il poste, tu sais déjà que c'est son petit plaisir de faire remarquer ce critère de % gagnant).

Allez, Falex, fais toi plaisir , donnes lui un exemple :mrgreen:
elaboration-d-une-methode-de-trading-do ... gie#p68975

Re: Backtesting Most important ?

par Greg31600 » 29 déc. 2013 00:34

Je me souviens effectivement de cette discussion ;)

Voilà donc les résultats des backtests "Market Bull", Market Bear est encore en "développement".
Sachant évidemment, comme vous vous en doutez qu'il prend obligatoirement toutes les positions du programme, et que, au vu de l'état du marché en étant devant le pc, à priori, on les ouvriraient pas toutes...

Alors voilà les rapports détaillés :

N°1 Capital de 1000€ ; contrat Mini-Dax 5€ ; aucun horaire :

http://uprapide.com/image/682548-bt-n-1

N°1 Bis changement horaire 0700-2200 :

http://uprapide.com/image/682550-bt-n--1-bis_1

N°2 Changement de capital 10000€ ; Contrat Idem ; Pas d'horaire :

http://uprapide.com/image/682551-bt-n-2

N°2 Bis changement horaire 0600-2200 :

http://uprapide.com/image/682552-bt-n--2-bis


Vos avis ? :D

Re: Backtesting Most important ?

par clodreb » 29 déc. 2013 09:42

Hello,
La première chose saute aux yeux est que tu prends uniquement les positions longues dans tes backtests.
Je ne sais pas ce qu'en pense Falex mais personnellement, je considère rarement un backtest avec uniquement des positions dans un seul sens.
Pourquoi ?
tout simplement parce que 2013 a été une année fortement Bull et que ton backtest va obligatoirement te donner de bons résultats rien qu'en prenant des positions longues. Etant donné qu'on ne sait pas dans quel sens va aller 2014 , je trouve ça plutôt dangereux comme hypothèse de base.

Le profit factor de tes différents tests me semble très faible : je prends rarement en compte un backtest avec un profit factor <2.
Pour tous tes tests, tes gains moyens sont fort faibles par rapport à tes pertes moyennes.

Il faut également voir ces tests en vis à vis de ton capital car si tu regardes par exemple ton test n°2.
Si tu es dans la pire configuration au départ de tes prises de positions :
- perte moyenne des positions perdantes : 93eur
- nbr de pertes max consécutives : 13

Donc, dans le pire scénario , tu aurais 93*13=1209 eur en MV et dans ce cas, ton capital de départ est déjà explosé.

Est-ce que tu mets de SL et des TP ou pas du tout ?
Si oui, est-ce que tu permets plusieurs positions en parallèle ou non ? Car il faut faire attention que les backtests te recalculent tes SL et TP en fonction de tes positions multiples. Ce qui peut également fausser tes résultats réels si tu laisses un SL et TP fixe à chaque position en réel.

Est-ce que tu as bien tenu compte du spread dans tes backtests ?
car, quand tu ne mets pas d'horaire ou des horaires à cheval sur les horaires d'ouverture des marché, le spread sera différent et peut avoir une grande influence sur tes résultats finaux.


Voilà, ce n'était que mon avis.
Je ne suis pas une référence en matière de backtest ni en matière de trading donc tu en fais ce que tu veux :lol2:

Je sais qu'en voyant un backtest qui te donne 836% de gains, c'est très alléchant et on a envie de le tenter mais fait juste bien attention au risque que tu prends en fonction de ton Moneymanagement.

Re: Backtesting Most important ?

par Greg31600 » 29 déc. 2013 11:13

Salut et merci,

Pour te répondre, l’algorithme pour les ventes je suis encore dessus...
Effectivement, comme expliqué avant, c'est un algorithme qui ouvre une position a chaque signal, donc parfois c'est peu judicieux, ça saute aux yeux devant l'écran, et puis parfois certaines positions sont ouvertes la nuit...je compte pas me lever ;)
Oui,2013,2012,2010 et 2009 ont étés des années Bull, mais l'on peut tous tomber d'accord que sans crise majeure ou problèmes internationaux, le marché est rarement bear... en attendant que je finalise mon algo vente, si j'y arrive, mes positions en VAD seraient faites au feeling.
On est d'accord sur le MM.
Alors, le SL est à 20 points, pas de TP, enfin le TP intervient sur signal.
Pas de positions en parallèle. D'ailleurs je me demande si un pyramidage est programmable en backtest du genre si une position est gagnante depuis x barres, alors en ouvrir une autre...
J'ai bien pris en compte le spread, mais pas les frais over-night (faisable ça ?).

Merci encore

Sujets similaires
backtesting : utile ??
Fichier(s) joint(s) par kapistar » 09 févr. 2013 09:06 (25 Réponses)
Backtesting horaire
Fichier(s) joint(s) par falex » 21 févr. 2013 10:47 (101 Réponses)
Backtesting PRT
par thomas1531 » 04 juil. 2013 00:21 (8 Réponses)
backtesting horaire cash
par LVO » 21 févr. 2014 10:05 (4 Réponses)
reglage fenetre backtesting
par adibool » 24 févr. 2014 15:25 (4 Réponses)
Avis sur backtesting
par Tulipe » 14 juin 2014 01:18 (10 Réponses)
Petite question sur le backtesting
par Benoist Rousseau » 04 mars 2015 11:44 (9 Réponses)
HELP Backtesting - stop loss pas exécuté !
par plataxis » 29 juil. 2016 17:49 (3 Réponses)
Backtesting
par Benoist Rousseau » 04 août 2017 15:12 (12 Réponses)