Création d’un robot parfait

Mon objectif est de créer un robot qui soit parfait à mes yeux. C'est-à-dire qu’il doit être capable de me battre haut la main (pour que l’investissement en temps de travail soit amorti).

Les objectifs à atteindre sont : Chute maximummale de 5% , aucune année en perte (si long terme), aucun mois de pertes (si plus court terme), performance minimal de 40% annuel multiplier par le levier utilisé (donc juste 40% si pas de levier, 80% si levier 2), tenir compte de la fiscalité.

Les moyens utilisés par le futur robot sont très libres. Je dispose de courtier classique comme interactive broker ou moins conventionnels comme ig market. Je ne m’impose pas de produits financiers particuliers : action, etf, option, future (ou cfd à risque limité) ; ni de contrainte de temps (du HFT au buy and hold). L’objectif est de vraiment trouver un truc qui marche.

Les outils trouvables sur internet utilisés pour mes recherches, 123portofolio (qui permet des backtest sur 15 ans de stratégie basée sur l’analyse financière), etfreplays qui permet le backtest de stratégie sur ETF, pro realtime (que vous connaissez tous), metatrader 4 et 5 pour des backtest aussi sur cfd à risque limité et forex.

Les logiciels utilisés Microsoft Visual Studio, Access, Excel. Plus quelques logiciels persoq que je ne partage pas (principalement de data mining, j’ai des équivalents à Tanagra, Orange, Stuttgart Neural Network Simulator, Elvira etc… pour trouver des équivalents gratuits).

J’ai lu aussi quelques ouvrages pour ne pas partir tête baisser : Options futures et autres actifs dérivés de John Hull, Intelligence artificielle de Peter Norvig et Stuart Russel, Les marchés fractals de Yasmine Hayek Kobeissi, Analyse et prédiction de séries temporelles par méthodes non linéaire de Amaury Lendasse, différents ouvrages de Mandelbrot, des ouvrages sur les systèmes dynamiques, la théorie du chaos, l’analyse technique, l’analyse financière etc…..

J’ai lu de nombreux documents de recherches, thèses de doctorats, mémoire de master etc… (si vous voulez je donnerais des liens),sur l’intelligence artificielle, l’analyse de série temporelle, les systèmes dynamique, la théorie du chaos etc…. Je fouille souvent sur quantcode, quantpedia aussi. J’ai aussi regardé de nombreuses conférences notamment de Jean Philipe Bouchaud et d’autres spécialiste du HFT.

Et pour finir j’utilise et collecte énormément de données afin de tout analyser. Je possède un historique détaillé de 4 ans sur les bourses NYSE et NASDAQ que je complète progressivement pour le coté analyse financière, j’ai énormément d’historique de cours, là je prépare un logiciel pour enregistrer les cours complets (avec évolution du carnet d’ordre), je possède aussi de très grand historique de donnée macro-économique.. Je récupère vraiment des données très larges, mouvement des insiders, mouvement sur le marché des dérivés, notation des analystes, etc…(tout est stockée dans des bases de données Access ou fichier Excel pour faciliter la récupération).
Si quelqu’un veut des liens pour récupérer toutes ces données je les ajouterais plus tard.

Donc je me donne les moyens et ne me limite pas à un seul point de vue. Dans les prochains postes je vous montrerais ce qui a été fait (et oui déjà 6 ans de travail sur le sujet) et ce qui est en train de se faire.

Wahou !

Ça c'est du projet. Avec les moyens qui vont avec.

6 ans c'est long. Moi même ça fait qq années et je trouve que ça n'en finit pas.

6 ans, je suppose que tu as du être pas mal actif sur d'autres forums, non ?

Quelques remarques :
- Je trouve les objectifs quantitatifs trop ambitieux, mais je peux me tromper.
- DD 5%. Hum, je crois qu'un DD n'a de sens que relativement à une durée d'étude donnée, vu qu'il augmente en gros avec la racine du temps (si la strat est à peu près iid - une strat non iid s'en aperçoit elle même et compense, sauf si l'effet est epsilon).

On a hâte de voir la suite...

Bonjour,

Bon courage pour ton projet, j'ai plein de question :

6 ans de boulot, et tu as des versions béta ?
Tu as fait des tests en démo ?
Tu utilises les API où tu lances tes ordres depuis une interface perso ?
Tu utilises quel langage de prog ?

Metatrader .. 15 ans d'histo .. ce ne sont donc pas des historiques en tick par tick ?
Tu parles de ton mm mais on dirait dans ton discours que tu es toujours en recherche d'une stratégie, c'est le cas ?

@Jeff719 oui je suis présent sur plusieurs forums, sous des noms différents par contre (mais pas toujours en rapport avec la bourse).
Mes objectifs sont forcément ambitieux sinon je continuerai à la main, le robot doit être un réel avantage, en trading sur options je dois sortir 20-40% par ans, en investissement long terme je ne sais pas trop, ma pire année est de 15% la meilleure 85% et comme j'utilise des crédits lombards il faut multiplier cette performance par 1.66 certaines années. 5% de chute maximummal pour 1 ans, sur certaines stratégies on peut vraiment réduire la volatilité (pair trading), pour la mesure du risque je ne suis pas assez précis, des fois j'utilise la volatilité , des fois la var, mais une chute maximummal ça me parait plus parlant.

@Service j'ai des bêtas et du définitif aussi (vous verrez par la suite), tests en démo, simulation et réel (j'ai un protocole de test très très stricte, j'expliquerais ensuite). J'utilise des API (celle d'ib) et interface perso. Pour le langage j'ai utilisé une version du basic (sur pro realtime) ,mql (sur metatrader), mais surtout le c++ et c# (je n'utilise plus meta trader et pro real time depuis quelques années, j'ai fait le tour c'est trop limité). Pour les historiques je n'utilise plus meta trader, donc je n'ai plus ses limites. Pour la stratégie je suis aussi en recherche, ça va de pair avec le reste (vous comprendrez par la suite).

J'ai dans l'idée que "robot", "trading" et "parfait" sont des termes difficiles à marier... Bonne chance en tout cas !

Petit avertissement avant de commencer, pour qu’un robot soit valide il doit être fait sur un historique précis et tester sur un autre historique pour voir s’il généralise bien, ainsi on évite le sur-apprentissage (dans le cas du machine learning) ou la sur-optimisation. De plus pas d’utilisation de martingale (comme c’est le cas sur de nombreux robots forex douteux).

Mes débuts en 2007-2009.

Pour mes premiers essais de robot trader j’ai commencé comme tout le monde par MetaTrader 4. Comme tout le monde j’ai utilisé des indicateurs techniques (ceux de bases et des rajoutés) pour créer mes premiers robots. Ils fonctionnaient avec des If et des Else (exemple pour les débutants Si RSI14 > 30 Alors achat Sinon ne rien faire). Je tradais donc des cfds à risque limité sur l’or les indices boursiers et monnaies. Malheureusement et même avec un money management parfait, les systèmes étaient peu profitables sur le long terme et les meilleurs d’entre eux n’arrivaient pas à la cheville de l’investisseur humain que je suis. En 2008 j’avais gagné 1000€ sur l’or en réel en investissant 20 000€, donc parfaitement ridicule. Mais j’ai appris quand même a faire un robot suffisamment sûr pour tourner en temps réel sans supervision humaine (tous les imprévus étaient anticipés, perte de connexion, coupure de courant ou internet etc…).

L’étape suivante a été d’améliorer ces robots, j’ai découvert à cette époque le transformer rapide de fourrier qui permettait de choisir la période optimale pour ses indicateurs. Malheureusement on optimisait ses résultats sur la période de développement, mais pas sur la période de test. Ensuite je me suis attaqués au filtrage des indicateurs, en effet ceux-ci envoie plein de faux signaux donc j’ai mis en places des systèmes de filtres. J’ai testé deux systèmes (voir les captures d’écrans) un transformer de Fisher pour lisser des indicateurs comme le RSI ou stochastique et un système plus complexe où j’ai utilisé une variante de la fonction d’activation sigmoïde des réseaux de neurones pour filtrer des indicateurs (même non bornées) et en faire une synthèse via une moyenne pondéré. Ces deux techniques ont améliorés les résultats, plus de trades gagnants, mais moins de trades passés par ans et des robots toujours moins performants que moi.

Si tu veux que ton robot te batte haut la main, et bien modélise ton trading manuel.(Tu semble équipé pour...)
Comme il n'aura pas besoin de dormir, il sera toujours plus performant que toi. Logique

Tout dépend de ce que l'on entend par performance : % ou profit factor ? taux de réussite ou Max Drawdown ? En outre les horaires de sommeil des Européens coïncident avec des périodes plus calmes sur la plupart des marchés.

Il n'y a pas que le Dax dans la zone

@Edd j'y viendrais juste après, je ne vais pas spoiler pour le moment (c'est plutôt croustillant en plus), je pense que ce dossier pourra intéresser des créateurs de robots cherchant de nouvelles idées.
- plataxis oui c'est un vrai défi de rassembler tout ça, on peut même dire que c'est mon dernier défi sur la bourse si j'échoue je n’essaierais plus.

Petit édit, mon marché favoris est celui des USA, plus facile pour la collecte de données et aussi plus intéressant, puisque pas loin de 30 000 sociétés cotés.

Robot et perfection peuvent être associé selon moi, si tout ton savoir est transformé en module, le robot ne ressentira pas de fatigue, ni de trade d'ennui, il ne voudra pas se refaire, il n’oubliera pas une condition dans son mm, il ne tombe pas malade, ne se met pas en grève, ne prend pas de pause clope, bref quasi parfait, ses défauts : pas de faculté d'adaptation, plus d’électricité ( quoi que possible d'avoir des onduleurs puis des commutateurs pour switcher sur une autre alimentation ou une autre connexion internet ... mais bon si le robot est sur un serveur dédié, le service est rendu à 99.99%, suffit de se créer un raspberryy qui teste si le robot est vivant, si nok -> Alerte )

Au créateur, d'analyser les trades du jour, de tester si les points d'entrées sont toujours fonctionnels, d'integrer de nouveaux modules si on apprend de nouvelles situations à éviter / surveiller, etc, etc.

Par contre c'est très très chronophage, un boulot monstre, je sais de quoi je parle

Tu as donc des modules de vérification ?
Pour vérifier si le trade est bien passé?
Tu as un module qui surveille le trade ?
Si ton stop est cassé ou que ton ordre de vente/sortie ne passe pas pour X raison, tu as prévu ?
Tu fais comment pour t'adapter au marché et adapter tes points d'entrées sur la durée ?

Bon voila une nouvelle rafale de question et j'en ai d'autres ^^

Comme le projet n'est pas abouti, c'est que çà coince quelque part, je voudrais savoir où? moi

Benoist a répondu quelque part que pour sa part, il espérait un rendement d'environ 10 % / an avec son algo, VS 50 à 150 % en tradant de façon discretionnaire. Compte-tenu de son expérience dans les 2 domaines, c'est un avis qui me semble important à prendre en compte, même si rien n'interdit de faire mieux avec un algo, et surtout moins bien en discretionnaire !

@plataxis à ce moment de l'histoire avec indicateurs techniques fortement retravailler j'obtiens sans levier 16 à 24% par ans sur 10 ans de test, selon les valeurs testés. Donc inférieur à mes performances pour une fiscalité supérieure. Concernant mon expérience 12 ans sur actions, 4 ans sur options et pour le trading algorithmique depuis fin 2007.

@sevice oui pour les 4 premières questions tout est prévue et même bien plus (je détaillerais plus tard je trouve sa secondaire pour l'instant). Pour l'adaptation au marché là c'est très particulier, trop s'adapter et le robot ne sert plus à rien sur d'autres périodes, donc il faut des choses qui marchent en tout temps et faire quelques vérifications avant. Mais vous verrez bien dans la suite.

@Edd pour le moment c'est simple, ça marche mais rapporte moins qu'une stratégie value à long terme ou qu'une stratégie sur option. Donc à voir par la suite comment les choses vont évaluer.

Vu que le sujet semble intéresser je vous prépare la suite, sous la même forme pour que vous voyez mon cheminement.

Edit : correction du pseudo de Sevice et désolé pour la faute

Sevice mon pseudo c'est sevice.

Je sens que je vais changer de pseudo

Oui, change de pseudo sevice, compris !

Période 2009-2010

Arrivé à ce moment de l’histoire j’ai des indicateurs techniques qui me semblent parfaits, un bon money management, des robots bien codés, mais les performances restent faible. Donc qu’est-ce que je peux améliorer. La première chose qui me vient en tête est le souci des If Else (pour les non développeurs, si il se passe ça, je fais ça, sinon autre chose) trop psycho-rigide. Donc je décide de remplacer ça par d’autres algorithmes, à l’époque je m’intéressais beaucoup aux réseaux bayésiens dynamiques, modèle de markov caché, k plus proche voisins, perceptron etc… Et là au lieu d’améliorer les choses tous s’empire, je me retrouve avec des robots ne voulant jamais passez d’ordres, ou faisant absolument n’importe quoi. Les performances chutent et pratiquement tous mes essais sont négatifs ou alors équivalent à ce que je faisais avant (donc on complexifie les programmes pour ne rien apporter).

Donc remise en question. Je décide d’explorer une nouvelle voie après avoir lu quelques ouvrages sur les fractales, les systèmes non-linéaires etc… Je décide de ne plus utilisé d’indicateurs techniques. A la place je me lance dans un projet utilisant l’exposant de Hurst (hydrologue) pour confirmer les signaux et en indicateur le filtre de kalman étendu (après des essais ratés avec la version simple). Je teste cette trouvailles sur deux logiciels, meta trader 4 (voir capture d’écrans) et un indépendant en c++ (je n’ai pas conservé de traces). Encore une fois ce n’est pas une réussite, sur le forex les résultats sont non significatifs car pas suffisamment d’ordre passés et les résultats semblent similaires à ce que je faisais avant. Sur actions les résultats sont intéressants, mais moins qu’en Value. Donc même si fonctionnel, pour moi c’est un nouvel échec.



Je décide donc de complexifier les choses, dans le livre de Yasmine Hayek Kobeissi, elle parle de valeur fondamentale technique (un mixe analyse technique et analyse fondamentale), elle parle d’attracteur, de fonction d’entropie, je fouine un peu dans la théorie du chaos, les systèmes dynamiques et je me dis à long terme de toute façon le cour de bourse rejoint toujours sa valeur fondamentale. Donc je me lance dans un système où j’utilise une moyenne pondéré de la moyenne mobile 200 des cours de clôture, du ratio price to free cash flow moyen et du ratio price to book moyen. Cette valeur fondamentale technique moyenne est comparée à la valeur du cour de bourse, si le cour de bourse est supérieur vad, si inférieur achat. La stratégie est donc d’assez long-terme. Les résultats sont très bons et peu volatile, on rejoint la performance de stratégie comme l’etf momentum, mais reste inférieur à la mienne. (Je n’ai pas retrouvé le programme j’essaierais de mettre une capture d’écran dès que possible, mais étrangement, le résultat ressemble au market fait value de morningstar).

Donc la suite au prochain épisode….

- Jeff719:
Avant de participer au forum, de poser des questions, la nétiquette veut que l'on se présente ici:
presentation-des-membres.html
Merci.

Travaillant aussi sur le développement d'un robot (toujours sans résultat probant) , j'ai plaisir à te lire et découvrir la suite...