Plateforme de trading auto avec IG

Bonjour Alex44,

Etant moi même en phase de dév de robots via l'Api IG (en java) je salue le courage et le boulot accompli.
Moi perso je cherche juste à créer un robot solide et bien sur rentable , je ne cherche pas à créer de plateforme généraliste ça demande trop d'efforts et avec mes problèmes de santé je n'ai plus le courage de faire ce genre de choses.

J'ai une question: parmis tous les robots que tu as créés , est ce que tu en as trouvé avec petit TP/gros SL (donc gros % de réussite), un peu comme takapoto ?
Perso je n'arrive pas à trouver de système de ce type, les configurations gagnantes sont toujours l'inverse (gros TP, petit SL) mais je n'aime pas ces robots qui font du coup du swing trading.
C'est pas très motivant de mettre en prod un robot qui fait uniquement 15% de trades gagnants et où il faut parfois attendre des semaines avant d'encaisser des PVs.

Bonjour ticktack,

Je n'ai pas vraiment commencé la partie codage des robots à part ce que j'appelle un robot témoin qui n'a été que backtesté sur 1 an et demi de ticks et me sert avant tout à tester la plateforme, ce dernier fonctionne également avec un TP < SL et donc nécessite un taux de réussite en proportion, il n'est pas rentable de mémoire sous un taux de réussite de 90%.... Cela implique un temps d'exposition au marché à chaque position assez faible mais avec l'inconvénient qu'un marché qui serait trop "fluctuant" aurait un impact très négatif sur les perfs.

Si tu es sur une configuration TP > SL c'est normal que cela impacte ton taux de réussite à la baisse,le money management et le taux de réussité sont liés, l'un agit sur l'autre. L'important c'est que cela gagne au final, peu importe le système. Je n'ai pas de règle là dessus. Je ferais peut être par la suite des robots avec TP > SL aussi, je verrais.

Pour la plateforme, je me suis lancé la dedans parce que j'ai déjà une expérience pro importante (sans vantardise) sur laquelle je peux m'appuyer, sinon cela aurait été excessif et bien trop chronophage, il est bien plus simple de se concentrer sur un robot, quelques indicateurs et lancer le tout. Pour l'instant, l'avenir n'est pas écrit peut être que cela aboutira sur un flop monumental mais tant que je n'ai pas été au bout du bout je n'en sais rien, je veux gravir la pente et voir ce qu'il y a tout en haut.

Bonne continuation avec ton robot !

Quelques nouvelles sur le projet :

- La plateforme s'est bien comportée pour sa première semaine de lancement, le système de monitoring a fait son travail, le robot "témoin" n'a pris qu'une position ce vendredi gagnante, donc dans la lignée du backtest qui prédisait une à deux positions par semaine. Je précise que la plateforme a fonctionné sur un t2.micro avec 1Go de ram via aws, cela laisse de la marge pour augmenter la puissance matérielle.

- La robot témoin n'étant pas assez véloce en terme de prise de positions, j'ai réalisé un robot de stress qui prend un grand nombre de positions aléatoires, l'objectif étant de valider que la plateforme peut s'arrêter toute seule en cas de dépassement de perte journalière, valider que l'état du robot reste cohérent après une série de positions... Ce robot m'a permis de corriger quelques bugs. La plateforme dispose d'un mode "debug" qui injecte ce robot et trace alors toutes les opérations en live, cela me permet de vérifier sur un autre ordinateur que la plateforme est bien opérationnelle (pas de blocage ip...).

- Le système de monitoring a été étendu : la durée de chaque position pour chaque robot pour chaque marché est maintenant disponible. Un système d'alerte m'envoie sur mon téléphone le compte-rendu de la journée, j'ai la performance totale et la performance de chaque robot.

A suivre !

J'ai profité d'un week-end pluvieux pour programmer un robot, robot ridicule de 5 lignes car je souhaitais avoir plus de positions pour tester la plateforme qu'avec le robot témoin un peu mou à mon goût. Développé donc à la va vite je lance un backtest malgré tout sur 2016 :

BACKTEST YEAR 2016
total=3130,50Pts WIN=1372 LOST=0 RATE=100,00%

Ou là, y a un truc qui est pas normal là , je refais un backtest sur 2017 :

BACKTEST YEAR 2017
total=752,60Pts WIN=345 LOST=0 RATE=100,00%

Bon il y a manifestement un gros bug dans les backtests, je regarde le code, je ne trouve rien, je relance sur le robot témoin, j'ai toujours l'ancien résultat conforme ?? Après des recherches supplémentaires je me rend compte qu'aucun stop n'a été défini dans ce nouveau robot, d'où le résultat

A suivre

Oui les robots sans stops ça marche .. en théorie ... en pratique quand on regarde le levier nécessaire et l mum adverse excursion (MaxDD en tenant compte des trades ouverts à chaque Bougie/tick) , on prend vite peur et une fois la perf ramenée au capital total nécessaire pour encaisser la MaxDD sans faire sauter le compte ... ben en fait c'est pas terrible (mais ceci dit si on a un gros capital, pas peur des MaxDD de fou et qu'on se contente de gains modestes ça marche).

c'est ce que fait Warren Buffet

Je crois qu'avec le portefeuille de w.buffet on peut tout se permettre

Merci ticktack pour le retour. Je suis très embêté j'ai rebackteste avec un stop j'ai encore des perfs anormalement élevées. J'ai lancé en demo aujourd'hui il a fait 29 points mais ce qui est intriguant c qu'il n'a travaillé qu'une heure car je l'ai volontairement bridé. Pour info C un robot scalpeur.

On verra...

Si c'est un robot scalpeur fait super gaffe a bien prendre en compte dans les backtests le spread réel et les intérêts overnight (sauf si les trades sont tous fermés avant la fin de journée), car ça change totalement les résultats.
Personnellement en tenant compte de ces 2 paramètres je n'ai pas réussi à trouver de robot scalpeur qui gagne grand chose (mais vu que takapoto nous a montré que c'est possible , c'est moi qui ne doit pas être très doué )

Tous les trades sont fermés la nuit et le spread est bien géré. Le système de backtest est interne à la plateforme, il n y a pas de différence de fonctionnement entre le flux ig et le backtest. Lorsque j'ai refait le backtest, j'ai augmenté le TP pour voir, j'ai juste halluciné... J'ai même pas voulu poster le résultat.... Et débrider le robot, je n'y pense même pas.

Pour l'instant, je ne sais pas s'il y a un bug dans la plateforme, faudra quelques jours/semaines voire mois en fonctionnement réel pour être fixé.

Rien n'est acquis !

Bilan de la semaine négative en démo, le robot (R2) du week end dernier n'a pas tenu ses promesses et pour cause les backtests étaient finalement faux, la dernière position du robot n'était jamais fermée par un SL ce qui entraînait à un moment de la journée un gain d'où des résultat hallucinants..

Voici le vrai résultat du backtest corrigé de R2 :

BACKTEST YEAR 2017
total=-996,80Pts WIN=942 LOST=230 RATE=80,38%

R2 amélioré donne maintenant

BACKTEST YEAR 2017
total=148,70Pts WIN=37 LOST=21 RATE=63,79%

Autre problème, je n'autorisais qu'une seule position à la fois pour tous les robots, mais cela entraînait une baisse des performances car les robots se gênaient mutuellement. La plateforme autorise maintenant une position par robot à la fois.

Voici un nouveau backtest pour R1 + R2

BACKTEST YEAR 2017
total=193,10Pts WIN=73 LOST=20 RATE=78,49%

Les logs ont été également renforcés pour connaître la durée de la position, le temps d'obtention de l'acquitement de la position par ig...

L'objectif est d'atteindre 100 Pts / mois, reste encore du boulot

Crois moi j'ai fait toutes les bêtises possibles en backtests: quand c'est trop beau pour être vrai il y a toujours un bug ou des frais oubliés.
En vrac on peut : oublier de compte le spread, oublier de compter les intérêts overnight, oublier de fermer les trades restés ouverts en fin de backtest, utiliser une information du "futur" (comme le close de la barre courante pour prendre position à la même barre courante) , calculer bien tous les frais et ... oublier de les soustraire, sur les systèmes qui ouvrent plusieurs trades ou utilisent plusieurs lots on peut oublier qu'en plein milieu du backtest il y a eu un margin call ... (la MaxDD a cramé le compte mais le backtest lui a continué :musique: ), fixer le spread au minimum et passer des trades hors plages horaires classiques etc. etc. j'en oubli des tas (quand on code les backtests à la main il y a aussi les bugs classiques que commettent presque tous les développeurs).

A chaque fois l'espace de 30 secondes j'ai cru avoir trouvé le graal

Oui c'est la dure réalité mais cela est normal, backtester, tester en démo puis tester en réel. C'est la dernière étape qui valide le tout. Moi cela n'a pas duré 30s puisqu'en passant en démo la première journée le robot a aligné 5 positions gagnantes d'affilé, là je me suis dit mais si les backtests étaient bons, mais une deuxième voix m'a ramené à la raison : pas possible qu'un code aussi simple puisse avoir un résultat miraculeux. Comme tu l'écris lorsque c'est trop beau pour être vrai il y a toujours anguille sous roche.

Tu es arrivé à quelque chose de concluant en trading auto ? Je me suis amusé à parcourir cette file qui contient de nombreux témoignages et ce n'est pas encourageant, à part takapoto (pour l'instant), ils finissent tous par revenir au trading manuel :roll:

Actuellement j'ai un système (composé d'une dizaine de sous systèmes indépendants) qui statistiquement semble correct (il fonctionne en backtest sur 2004/2017) mais rien de miraculeux et surtout c'est plus du swing trading que du scalping donc ça ne me motive pas trop pour finir le code et le passer en démo/réel (je n'ai pas d'architecture tout intégrée pour l'instant donc je dois venir rajouter tout le code "api" par dessus le code backtest si je veux le faire tourner).
Le soucis principal c'est que pour obtenir ces résultats j'ai du un peu trop "optimiser" les paramètres (c'est pas bon signe en général).

Le gros problème est l'architecture dans ce que tu me décris, il faut faciliter au maximummum la fluidité entre la réalisation du robot, les backtests et l'exécution sinon c'est décourageant car cela t'oblige à faire une masse de boulot pour faire tourner le tout à chaque étape.

J'ai un descripteur XML pour chaque marché (pour l'instant je me limite au dax), puis dans chaque marché je décris les robots souhaités et leur paramétrage. Et c'est tout, pour créer un robot j'ai juste à implémenter une interface pour recevoir les ticks, bougies... et état du robot. La plateforme fait l'assemblage. En 5 minutes je peux backtester et lancer en démo un robot c'est très pratique (enfin quand les backtests fonctionnent:))

Oui mais mettre en place une telle architecture ça me demanderait trop d'efforts en une seule fois , je n'ai plus la motivation et l'énergie nécessaire (à cause de mon âge, de mes petits ennuis de santé récurrents ...).
Donc quand je vais bien je fais une petite poussée de code en ensuite j'arrête

Et puis je fais plein d'expériences bizarres dans mes systèmes (ne pas trader à certaines heures ou certains jours, lots et TP dynamiques en fonction de l'equity ou du nombre de trades déjà ouverts etc... donc je ne sais pas si ton paramétrage XML peut gérer ce genre de choses tordues.

C'est vrai que c'est beaucoup d'effort et comme je l'écrivais au début : l'effort ne paye pas forcément Ce qui me facilite la vie c'est que j'ai déjà travaillé sur différentes architectures sinon je ne crois pas que j'y serais arrivé aussi rapidement (voir pas du tout...). Je dois pouvoir faire monter la plateforme en puissance en injectant N robots mais c'est incertain.

Utiliser XML ce n'est que pour stocker des paramètres, d'autres formats de fichiers textes pourraient parfaitement suffire (CSV,INI,JSON...), c'est juste pratique. Tu peux y stocker ce que tu veux (heures,lot,SL,TP...). Lorsque je backteste les paramètres, j'ouvre un éditeur de texte pour le XML, je modifie un ou deux paramètres pour voir et je lance le backtest sur l'année, il faut 3 à 4s pour me dire si c'est davantage gagnant ou pas. Je teste ensuite 2016 pour voir, si c'est stable en résultat c'est bon signe pour la démo.

J'utilise les fichiers XML à deux niveaux, pour la plateforme (perte journalière autorisée, configuration ig...) et pour chaque marché. Comme les données sont sensibles lorsque cela tourne sur une machine externe, j'ai également crypté le contenu, la plateforme détecte que le contenu est crypté, le décrypte automatiquement pour obtenir le fichier d'origine, comme cela elle peut fonctionner avec des fichiers XML "normaux" ou bien des fichiers XML "cryptés".

La plateforme continue a être en rodage et tourne en démo depuis 1 mois maintenant. Beaucoup de corrections encore sur la gestion de l'API et sur les backtests, tous les robots ont été réécrits afin de mutualiser certains comportements. La démo même si elle peut être bridée par rapport au réel à le mérite de tester la plateforme en condition. Si tout va bien, je lance la plateforme en réel sur le mini dax 1€ début septembre.

Merci