[Recherche développeur] Création algo + deep learning

Si vous partez sur l'idée que le robot trade comme un humain en voyant l'écran, c'est tout à fait faisable, mais niveau puissance de calcul vous serrez dans la m**de et niveau travail ça sera complexe.
Il faudra du traitement vidéo afin de réduire la résolution de l'écran et le passez en niveau de gris afin de réduire le nombre d'entrée. En niveau de gris un pixel = 1 entrée (contre 3 en rgb), et réduire la résolution réduit le nombre de pixel et d'entrée du même coup. Si le réseau ne voie pas une image fixe, mais une évolution (comme un trader) il faudra entré plusieurs frames ce qui augmente le nombre d'entrée.
Imaginons une résolution de 120*120 (très faible) sur 10 frames/secondes et on arrive tout de suite à 144000 entrées. Ensuite on va avoir le réseaux avec une ou plusieurs couches de convolution et un perceptron multi-couche ou autre architecture ensuite. Il faudra une base d'apprentissage colossale ce qui peut être contraignant à créer. Donc je suis septique sur un projet comme celui-ci sans avoir les moyens d'une société derrière.

Ensuite pour la version: détecter des motifs qui peuvent déboucher sur un trade rentable. Là on rentre dans le domaine du facilement faisable, sans trop de travail et sans avoir 50 xeons sous la main.
Il nous faut un classifieur non linéaire et un peu de connaissance en probabilité et statistique. Il y a plusieurs solutions:
- Si on veut supervisé l'apprentissage en créant une base de donnée contenant nos motifs avec les sorties correspondantes évaluer par nos soins. Il y a plusieurs algorithme sympa pour faire ça : Machine à vecteur de support, perceptron multi couche, réseaux à base radial etc...
- Si on veux découvrir des relations et laisser faire le tri de manière automatique (apprentissage non supervisé) il suffit d'utiliser les cartes auto-organisatrices de Kohonen, ensuite pour chaque classe créer s'assurer qu'il y est suffisamment de motif dedans afin de s'assurer que se soit statistiquement significatif et étiqueté chaque classe de sa performance médiane par exemple et ne choisir que les meilleurs classes lors du trading.

Merci Triplefail
Oui, c'est évidemment la deuxième version qui sera la plus intéressante.
Surtout parce que la première est limitative: il n'y aurait qu'une représentation 2D des données, celle que l'on voit habituellement sur nos écrans.
On peut très bien présenter au système la même représentation "graphique", calculée en chandeliers classiques, sans passer par une acquisition d'image. De la même façon on peut lui présenter en format heikin, transformée de Fourier ou n'importe quoi.
C'est en ce sens où je parle de représentation multidimensionnelle des données...
A titre d'exemple x, dérivée de x, FFT etc... toute nouvelle valeur étant un objet à n dimensions, et non pas une simple valeur caractérisée par sa hauteur et son marqueur temporel.
Ce n'est qu'une piste de réflexion initiale

Avec le meilleur de tes robots, quel est le taux de rendement annuel ? (quel support ?) fonctionnent-ils dans tout environnement de trading (range, trend), sur le même sous-jacent ?

de plus en plus passionnant les amis

si vous vous lancez j'aimerai vraiment suivre le projet de façon desinteressée enfin financièrement

intellectuellement c'est fascinant

oui je voulais dire que le traitement final pour aboutir sur la dalle de l'écran est analogique voilà tout

puis chez l'humain c'est également analogique puisque signaux électriques même si il y a des effets de seuil au niveau de la transition amplitude fréquence en départ du nerf optique

Bonjour,
J'ai regardé hier soir pour collecter un flux fiable de données eurusd, en tant que client je peux l'avoir auprès de mon broker. Comme il ne s'agit pas à priori de faire du scalping, des datas à la seconde devraient être suffisantes (Marqueur temporel, valeur, volume) . Je ne pense pas qu'il soit besoin de différencier Bid/ask. Cela fait tout de même 86 400 objets par jour, soit 63 millions d'objets sur deux ans et 126 sur 4 pour une seule paire.
Si on veut surveiller en temps réel les interactions entre plusieurs devises, par exemple EUR / USD / GBP, ce sera 3 fois plus, et si on y adjoint yen et CHF, 10 fois plus, soit 1,26 milliards d'objets sur 4 ans.
Cela fait de la masse de data à traiter... contrainte et opportunité. Pour la masse, on peut la réduire à volonté et ne débuter qu'avec un modèle "réduit".

@Triplefail, j'ai lu ton fil sur la quête du robot parfait. Merci, très intéressant.
J'y ai retrouvé quelques sujets auxquels j'avais réfléchi ces derniers jours.
Par exemple, tester un apprentissage sur un autre jeu de données, similaire.
Introduire des moyennes mobiles et plein d'autres indicateurs calculés directement à partir du signal lui même semble effectivement peu porteur en IA. Ce ne sont pas des données orthogonales, c'est donc redondant et ne devrait pas apporter grand chose, peut être un focus, une amplification/surpondération de l'attention de l'ia sur un aspect.
J'ai la réponse à ma question: disons que 10% mensuel régulier est un objectif.

C'est ce que faisait SAFIR-XP de Pierre Orphelin...

Arf que de vieux souvenirs ... notamment une discussion musclée entre un matheux et PO sur pro-at à propos du fait que son logiciel arrivait dans les backtests de son bouquin à gagner de l'argent sur des données aléatoires ... même s'il se défendait en précisant qu'on ne peut pas gagner avec des données aléatoires il n'a jamais voulu accepter la possibilité que son logiciel avait peut être un bug de conception quelque part ...

Apparemment son site n'est plus actualisé depuis 2011 ... quelqu'un sait ce qu'il ait devenu ?

Punaise !!!!!!!!!!!! C'était moi le gars en question !!!!!!!!!

Enfin, il y en a peut être eu d'autres mais je me souviens que j'avais pondu un gros pavé à l'époque pour le totoller sur ce point car c'était totalement incohérent...

Si tu bosses (enfin bossais car c'était y a pas mal d'années) dans la recherche en physique et que tu as programmé un système de trading en matlab, y a des chances que ça soit toi , mais effectivement plusieurs personnes étaient intervenues sur la même discussion

J'ai retrouvé mon Post initial !!!

28 juillet 2004. Titre : Safir Prix Nobel de Physique ?

Bravo pour l'ouvrage de Pierre ORPHELIN que je qualifierais de "bonne facture". Néanmoins, une chose m'a choqué. ENORMEMENT CHOQUE.

J'avoue qu'en tant que scientifique, je suis tombé de ma chaise ! ! ! ! ! ! ! ! ! ! Et plusieurs fois même, tellement de fois j'ai relu le chapitre incriminé pour bien percevoir si j'avais bien compris !

Reprenons :

Concernant Safir, le principe est assez simple : il analyse les données, essaie d'en tirer des lois, des règles, qu'il reproduit ensuite sur des données non vues.

Tout cela fonctionne car on retient l'hypothèse suivante : la Bourse a une certaine logique, qui repose sur des facteurs psychologiques (des intervenants, des facteurs micro économiques (la plus ou moins bonne santé de la dite société côté), des facteurs macro économiques (taux d'intérêts, taux de change, publication d'indices économiques (chômage, exportation, etc.)).

Et tous ces mécanismes reproduisent de façon régulière les mêmes phénomènes: Ainsi, si " les mêmes causes provoquant les mêmes résultats ", on peut espérer de façon statistique prévoir à l'avance certains résultats (pas dans 100% des cas en tous les cas - loin s'en faut). Toute l'analyse Technique est basée dessus.

Safir " apprend " (en fait, reconnaît et met en mémoire tout simplement) certaines règles sur des données boursières QUI ONT LEUR LOGIQUE INTERNE puis essaye de les appliquer sur des données non vues (avec beaucoup de déchet). J'estime que cette démarche est tout à fait raisonnable et viable.

Là où je ne suis plus d'accord, c'est lorsqu'il affirme que l'on peut, au lieu de prendre des historiques boursiers, retenir des faux graphes boursiers déterminés totalement au hasard (DONC SANS LOGIQUE INTERNE) et en tirer malgré tout des règles qui seront valables dans le jeu réel (avec de vrais historiques boursiers) ! ! ! ! ! ! !

C'est complètement illogique et irréaliste. Que Safir apprenne de façon géniale le comportement de tel ou tel cours boursier pour le reproduire, je suis d'accord, cela me semble réalisable. Mais qu'il détermine des lois, des systèmes à partir de données sans aucune logique, déterminées par le hasard et que celles ci soient applicables efficacement sur des données logiques (les vrais cours boursiers), c'est à mon sens incompréhensible ! ! ! !

CELA REVIENDRAIT A MODELISER LE HASARD ET A REECRIRE LA THEORIE DU CHAOS ! ! ! Dans ce cas, PO (ou SAFIR !?) peut postuler pour le Nobel de physique ! ! !

Soyons clair, cela n'empêche pas Safir d'être un bon logiciel mais à force de vouloir trop démontrer, PO a démontré l'indémontrable !

ça n'a pas pris une ride mais ça ne me rajeunit pas

Les archives de pro-AT sont encore en ligne dans la machine à remonter le temps du web ? Car le forum n'existe plus.

Soyons clair, cela n'empêche pas Safir d'être un bon logiciel mais à force de vouloir trop démontrer, PO a démontré l'indémontrable !

Tout simplement que son jeu de données aléatoires n'était pas vraiment aléatoire mais pseudo-aléatoire avec une ou des règles sous-jacentes.

Spoiler:

Mais c'était plus rigolo de totoller le bonhomme

xxxx, avec des cfds à risque limité, ça serait peut être "jouable", tu crois ? (on se retrouverait dans des conditions d'exécution des ordres limites).

Sinon, ses données aléatoires, c'était des datas qu'il avait acheté issus d'expériences nucléaires (de mémoire), donc pas de biais comme peut l'avoir les fonctions RANDOM de la plupart des logiciels / langages. Sur Excel par exemple, la fonction RANDOM est biaisée et ce n'est pas du "vrai" aléatoire qui est fourni...

Oui mais quand je vois certains relevés de trades de Benoist... la plupart des trades durent quelques secondes, très bien; mais certains durent 30-40 minutes... voir plus !!! ça veut donc dire qu'il y a un gros Draw Down sous jacent avant qu'il ne soit résorbé... le tout pour gagner 1 Point... la prise de risque me semble disproportionnée !!!

Sauf erreur, je ne crois pas que safir visait à gagner un point par trade.
Safir commence par déterminer les points d'entrée et de sortie optimums en se servant de l'indicateur zigzag sur des données historiques.
Ensuite, il attribue un poids (ou un coefficient) à chaque indicateur pour que le système de prise de décision colle au plus près des points d'entrée-sortie optimum.
Et quand le système est lancé, il est toujours dans le marché, dans un sens ou dans l'autre, en fonction de ces points d'entrées-sorties.

Spoiler:

Enfin, c'est comme ça que je l'ai compris.

Bon, en tout cas même si de très nombreuses pistes ont déjà été explorées, nous avons décidé de nous lancer dans cette expédition.
Évidemment en cas de succès (ou d'échec), nous n'en ferons certainement pas une activité de consulting...

Et j'arrête de troller le fil d'épitaf, sorry

@Euraed

Avec le meilleur de tes robots, quel est le taux de rendement annuel ? (quel support ?) fonctionnent-ils dans tout environnement de trading (range, trend), sur le même sous-jacent ?

Pour la première question je ne le dit pas (sinon je n'esquiverais pas la remise en doute et je n'ai pas envie de prouver quoi que se soit en montrant quoi que se soit), Environs 6000 à 12000 sous-jacents (action support d'option, le trade est fait sur option, les trades sont peu nombreux car uniquement sur des situations rarissimes, ce qui fait que je cherche à m'étendre à d'autres pays que les usa). Pas besoin de mise à jour importante (autre que technique), il marche bien sur backtest de 94 à 2015 et marche parfaitement depuis en live et marchera encore dans 20 ans. Ni range, ni trend ce n'est pas du directionnel mais de l'arbitrage.

OK je vois, un arbitrage sur une grande masse doit effectivement très bien fonctionner quand on a trouvé la bonne solution darwinienne.
Pour ma part, je n'ai besoin d'aucune preuve. Ta réponse est déjà indicative, j'imagine bien. Merci.

Je ne voudrais pas encombrer cette file, mais je trouve cet article (qui parle de matériel) intéressant :

We just released a paper on the performance of our TPUs. These are special chips that make running neural networks 15 to 30 times faster than GPUs or CPUs and are 30 to 80 times more power efficient. If you compare that to the rate of progress of GPUs recently, this means that these chips are like GPUs 10 years from the future This is one of the perks of working at Google, you literally live in the future.

https://www.wired.com/2017/04/building-ai-chip-saved-google-building-dozen-new-data-centers/

je viens de lire la file et c est tres interressant . Bravo a tous .

Spoiler:

Si je peut donner mon avis je dirait que vous faites un peut fausse route en sur relançant au niveau du hardware et software .

Il y a deja tellement a faire avec pro real time . Pas si limiteé que ça .

Je dirait que c est un peu comme etudier quelque chose de tres dificile , c est pas pour ça que ça sera utile .

ce n est que mon avis .

Et j en veut pour preuve la file du " journal de teg " .

Je vois que il y a pas mal de membres recents et tous ne connaissent pas cette fameuse file qui court sur plusieurs annees et qui relate le devellopement de elasticite .

Bon comme j aimerait bien relancer l autre file je vous donne rendez vous la bas pour pas polluer ici .

journal-de-teg54-t1246.html.

ladefense, relancer cette file est une bonne idée, mais cela n'a rien à voir : ici Epitaph, qui est un programmeur ayant largement dépassé le stade de ce qui peut être fait avec prt, envisage une technologie encore bien au delà de ce pour quoi sont conçus les langages "habituels" de programmation. Et qui nécessite aussi des moyens matériels à la hauteur...