ProRealTime
Un Forum pour discuter des méthodes de trading que nous utilisons, de nos recherches...

Re: Backtest : Pour ou contre les optimisations

par kieran » 24 Avr 2014 18:16

Quand je gagne, je trouve les backtests super. Quand je perds avec le backtest, je le trouve pas terrible. :lol:

Personellement, j'utilise une optimisation sur le rsi mais j'ai remarqué que cela ne marche pas tout le temps. Cela marche à 50 % voir plus. J'ai de bons résultats sur renault et le cac40 en rsi optimisé. Si l'action ou l'indice continue à baisser avec un rsi qui est en zone de survente, alors, il vaut mieux être en vente à découvert sur plusieurs semaines car la tendance est cassé.
Le rsi optimisé (avec ses bornes et nombres de jours optimisés sur une période de temps) me donne un signal d'achat quand le rsi repasse sa borne inférieure à la hausse.

Re: Backtest : Pour ou contre les optimisations

par bobbyO » 24 Avr 2014 19:58

kieran a écrit:Quand je gagne, je trouve les backtests super. Quand je perds avec le backtest, je le trouve pas terrible. :lol:

Personellement, j'utilise une optimisation sur le rsi mais j'ai remarqué que cela ne marche pas tout le temps. Cela marche à 50 % voir plus. J'ai de bons résultats sur renault et le cac40 en rsi optimisé. Si l'action ou l'indice continue à baisser avec un rsi qui est en zone de survente, alors, il vaut mieux être en vente à découvert sur plusieurs semaines car la tendance est cassé.
Le rsi optimisé (avec ses bornes et nombres de jours optimisés sur une période de temps) me donne un signal d'achat quand le rsi repasse sa borne inférieure à la hausse.

Et bien là, je pense que tu es dans la sur-optimisation, c'est à dire la recherche de paramètres qui fonctionnent à l'instant T sur une action ou indice donnés mais il est très probable que sur d'autres actions ou dans 3 mois ce ne soit plus le cas

Re: Backtest : Pour ou contre les optimisations

par Benoist » 24 Avr 2014 20:30

c'est un débat éternel en bourse, proche de croyances religieuses :)
Ni pour ni contre, chacun fait ce qu'il peut.

Personnellement je n'y crois pas du tout car on backteste une série passée et en triturant on trouve toujours par trouver une série gagnante. Je donne souvent cette image : c'est comme une table finale de poker au championnat du monde de poker où on connait l'ordre de sortie des cartes. On finira toujours par trouver la combinaison idéale pour être champion du monde de poker tous les backtests sont gagnants dans le passé. Dans le présent... ils peuvent être gagnants mais le sont ils plus que le hasard ? Je pense que cela pouvait avoir plus de pertinence il y a 10 20 ans, la bourse était plus linéaire, moins violente, donc cela s'appliquait mieux à mon sens.

Si on cherche un Graal pour gagner de l'argent comme "je laisse tourner la machine et l'argent rentre tout seul", c'est perdu d'avance. Par contre pour repérer des récurrences, cela peut faire gagner du temps. Ensuite, la récurrence exploitable pour en tirer de l'argent, c'est du discrétionnaire pour moi.

Bref je ne suis pas croyant :)

Re: Backtest : Pour ou contre les optimisations

par blAst » 26 Avr 2014 06:00

Exactement comme Benoist, pour la non-croyance et l'illustration, donc rien à rajouter je paraphraserai.
Avec un bémol, coup d'épée dans l'eau surtout au niveau des modèles stratégiques avancés mais en incrustant du money management et en travaillant bien tous les aspects trading je suis plus optimiste.

D'une expérience personnelle, ce dont j'ai le plus conscience aujourd'hui est l'alternance des mutations de marché et je l'ai aperçu par des backtests de logiques simples ou compliquées de manière flagrante, tant, que les oscillations et décrochages de logiques sont archi fréquents sur toutes les UT (continuation d attestation d'un brassage de génie) et indomptables au sens où il n'est pas possible d'anticiper le timing des changements ni de tabler sur les nouvelles "natures" de marché car beaucoup trop diversifiées (même si on peut noter grossomodo des classifications ou ranger les variantes : l'avantage marche, ne marche plus, ou alterne vers une efficacité nulle)
En fait je suis persuadé que le marché est devenu si compétitif que toute brêche tend à retourner fréquemment sous l'équilibre et en conclusion j'envisage toute méthodologie avec des retombées sous la forme de sinusoides d'un oscilloscope... (+ - + - + -)
Pour ainsi dire je suis en accord avec les analyses du Docteur Schwager (vidéo dans un autre sujet) qui relate que l'on a intéret à piocher (picking) des modèles ou des gestions (secteur, etc, toujours modèle du sinusoide type ramassage de "valeur", potentiel dans un creu) sous performantes par le passé

....désolé c est flippant mais je serai particulièrement inquiet à mettre mon argent sur un principe qui performe et qui n'est pas un minimum "intelligent", de longue date encore plus. Et l'inverse, miser sur des chevaux malades, demande beaucoup de corones et va à l'encontre de la volonté de se rassurer et de satisfaire nos envies cartésiennes... pourtant, semble y avoir une cohérence au tout dans uple cadre d'un jeu à somme "quasi" nulle (hors courtage) ouvert et maintenant globalisé.
Comme Benoist, durant les temps anciens le discours n'était pas le même, beaucoup plus de stabilité. De vieux traders m'ont raconté glander en suivant de vulgaires croisements et inversions de MACD, une uthopie aujourd'hui.

Parceque rien n'est tout noir et que l'apprentissage passe aussi par la modélisation de concepts même lorsque les réalisations sont en fait des éliminations et des mises au ban ;)

Je ne suis pas le seul à le dire/penser, mais une façon de créer des automates robustes tient à procéder via walk-forward optimisation plutôt que backtests aveugles dont le risque de suroptimisation et de "curve fitting" est accru (rien que le choix d'une UT est une forme d'optimisation pouvant être ravageuse)
Vous devez connaitre, cela consiste à optimiser sur des échantillons fixes et roulants, puis de jouer ces paramètres en live sur des données non-vues, et ainsi de suite.... on tente donc de s'adapter à l'évolution du marché gentiment, sorte d'intelligence artificielle maigrichonne.
Pour moi la seule façon de créer des systèmes un peu valable... de simples backtests étant archi-dangeureux.
Beaucoup de plateformes proposent le walk-forward optimisation (quelques fois buggés, gaffe) : TradeStation, Amibroker, NinjaTrader, MultiCharts, etc

Sinon de la doc pour dégrossir vaguement le principe :
h**p://www.profitableautotrading.com/2012/11/improve-trading-strategies-through-walk-forward-analysis/

Il y a plusieurs façons d'ancrer les périodes d'optimisations sur données connues, illustration ici (déso tout en anglais :( )
h**p://www.multicharts.com/trading-software/index.php/Walk_Forward_Optimization

Re: Backtest : Pour ou contre les optimisations

par blAst » 26 Avr 2014 06:25

falex a écrit:optimisation que je viens de tester :
exclure les jour férié.
Typiquement le 25/12 ou le 01/01 IG ne cote absolument pas les indices donc pas de souci, par contre le lundi de paques (21 avril cette année) IG quote les indices avec leur méthode "de nuit".

Entre le spread de 6,2, le manque de volatilité et le fait que je ne traderais pas ces jours, j'ai fait un bout de code qui exclu ces jours "batard".
ça élimine quelques trades et surtout ça donne des stats plus vrai.

Attention à cause des cotations continues et simulées sur certains historiques CFD mais pas que, je rajouterai la nécessité de filtrer les jours historiques ou les marchés ont eu des horaires de fermetures tronquées (parfois midi/14h ou 1h à quelques heures plus tôt le soir lors de jours spéciaux, de fêtes, etc) ainsi que la prise en compte des changements d'heures d'été-hiver qui changent le timing des comportements (surtout sur des backtests forex ou les imbrications du DST sur l'ensemble des zones géographiques peut expliquer pas mal de contre-performances)

En fait pour faire des backtests vraiment sérieux, sans faille, c'est ARCHI compliqué et vraiment un travail d'orfèvre.

A notre petit niveau amateur surtout .... j'avais donc créé des indics pour révéler tous ces tracas : détection des dates et des natures de jours spéciaux à problèmes pour ensuite les isoler ou adapter dans les codes, et surtout test de la qualité des historiques que nous utilisons et là on tombe des nus...
Même avec des historiques de qualité (exemple, CQG) on révèle quantité d'aspérités (trou de cotations, absence de bougies, données OHLC bidons, incohérentes, etc) ...une fois j'en ai révélé 1000 sur un historique de forte granularité. En pourcentage de temps, 1000 erreurs c rien mais une seule bougie avec un OHLC très excentré et flamboyant, ou plusieurs petites anomalies cumulées peut vraiment berner une equity curve sans parfois qu'on s'en apperçoive.
Sur PRT ya quelques années, j'avais révélé un état catastrophique des données. Les indices US avaient des datas à l'ouest qui me sortaient de purs résultats pas du tout réplicables... j'ai changé de logiciel à ce moment là.

ATTENTION, on nous fournit des outils de cochon ...faites très gaffe à maitriser sur le bout des doigts toutes les spécifités de votre logiciel car backtester dans de bonnes conditions, un semblant réelles, revient à évoluer sur un champs de mine, pour moi une énième barrière à l'automatisation pour nous traders particuliers avec des petits moyens.


---
Oui j'ai souvent vu des traders mettre des MM X fois plus grande pour "simuler" une MM d'une UT supérieur.

C'est mathématiquement totalement faux mais dans l’absolue ça te donne la position de la MM avec une marge d'erreur de 10 à 20%, why not ...


A nouveau, le coding inter-UT se fait via des logiciels plus pro, moins retail.

Re: Backtest : Pour ou contre les optimisations

par falex » 26 Avr 2014 08:03

Une des solutions (mais pas applicalbe sur PRT) serait de faireunn un résultat de backtet au 90percentile ...

Effectivement, le premier point est la qualité des données ...

Si vous avez un échantillons qui surperforme largement le reste des troupes regardez en détail les trades et/ou l'équity-curve vous pourriez repérer des bugs dans le backtets ou des données un peu farfelue ...

Re: Backtest : Pour ou contre les optimisations

par clodreb » 26 Avr 2014 12:30

falex a écrit:Une des solutions (mais pas applicalbe sur PRT) serait de faireunn un résultat de backtet au 90percentile ...

Effectivement, le premier point est la qualité des données ...

Si vous avez un échantillons qui surperforme largement le reste des troupes regardez en détail les trades et/ou l'équity-curve vous pourriez repérer des bugs dans le backtets ou des données un peu farfelue ...


Tout à fait d'accord avec toi ( surtout pour les backtests en UT1min, étant donné le peu de recul disponible): il arrive souvent d'avoir un backtest qui explose tous les autres résultats mais quand tu regardes la globalité du test, tu te rends compte que ton backtest fait un super résultat 1 jour et que tous les autres jours, tu es perdant.
Dans ce cas, il faut voir avec ton MM si tu peux te permettre de perdre tous les jours et de faire un jackpot 1 jour ...perso, j'exclu directement ce genre de résultat.

L'avantage de l'optimisation, c'est que tu peux te rendre compte que sur certaines journées, un certain type de traiding est plus rentable qu'un autre....maintenant, reste à savoir identifier "en live" si tu es dans une config ou une autre pour choisir ton trading.

ps : une optimisation intéressante de PRT serait de pouvoir décider soi-même quel est le param relevant dans le choix de l'affichage final de tes résultats (étant donné que cet affichage est limité). Uniquement mettre les résultats ayant des gains importants n'est pas toujours le plus intéressants dans un backtest. je préfère par exemple un résultat basé sur le PF ou sur le maxdrawdown que sur le gain final. cela serait plus cohérent avec la réalité d'un portefeuille.

Re: Backtest : Pour ou contre les optimisations

par blAst » 26 Avr 2014 13:44

La distribution est clairement importante, celle des MAE et MFE possiblement encore plus que celle des trades débouclées car on voit si on peut raboter ces stops ou objectifs sans miner la perf ou occasionner de l'extra DD

Genre de représentation utile


Glossaire de quelques mesures communes
h**p://www.ninjatrader.com/support/helpGuides/nt7/index.html?efficiency_graphs.htm (assez qualitatif)
h**p://www.ninjatrader.com/support/helpGuides/nt7/index.html?statistics_definitions.htm

Re: Backtest : Pour ou contre les optimisations

par falex » 26 Avr 2014 14:49

Le MAE montre quand une certaines évidence : si ton trade est mal parti plus il ira loin moins il a de chance d'être gagnant.

Intéressant voir très intéressant .

Merci pour vos réactions à ce sujet.

Re: Backtest : Pour ou contre les optimisations

par sobear » 29 Avr 2014 15:28

Bonjour,
j'ai pas mal backtesté par le passé au début sur une période minimum d'une année entière pour constater très souvent que ce qui marche quelques mois s'avère mauvais les mois suivants et, en plus, c'était beaucoup de travail souvent pour rien.
Pour simplifier les backtests et gagner du temps j'ai fini par déterminer dans l'année sur l'aspect graphique deux périodes tests de 15 jours, l'une en tendance et l'autre en range serré.
Ainsi cela permettait de voir les points de faiblesses d'une méthode et de faire une optimisation pour améliorer son coté tout terrain quitte à dégrader le résultat si, par ailleurs, la régularité s'améliorait.
Par contre oui, une optimisation précise me permettait surtout de déterminer les stops les plus favorables en gains et pertes sur le résultat global.

Articles en relation
backtest d'un système de trading
par ebundy » 09 Jan 2015 09:45 (3 Réponses)
Comment rendre un backtest plus réaliste ?
Fichier(s) joint(s) par jeancreatif » 08 Mai 2015 18:13 (35 Réponses)
PP pour Cfd
par Eversa » 06 Fév 2017 11:20 (6 Réponses)
Astuces pour les stops
par Freeskieur73 » 01 Juil 2015 12:40 (5 Réponses)
**Sondage** pour **Scalpeurs**
par Amazone 18 » 28 Avr 2016 03:31 (10 Réponses)
Logiciel pour scalpper.
par ericson » 29 Juil 2016 13:16 (2 Réponses)
Points pivot pour le DAX
Fichier(s) joint(s) par Anonyme2 » 02 Déc 2016 19:02 (12 Réponses)
Horaires de calcul PP pour marches 24/24
par splanquart » 06 Aoû 2013 18:31 (2 Réponses)
Parametrage indicateurs pour scalping
par ManiakTrader » 07 Sep 2014 19:22 (6 Réponses)
Horaires pour trader les indices
par libertarian » 02 Déc 2014 12:24 (6 Réponses)

ProRealTime

Alors partagez-le 5 fois c'est bon pour la santé