[Recherche développeur] Création algo + deep learning

Bonjour

Mener des recherches pour évaluer le potentiel du deep learning en trading est sans nul doute très intéressant. Les résultats dépendront aussi des moyens engagés.
Déjà, un ordi ou serveur domestique puissant ne permettront pas d'aborder le sujet sérieusement, en effet s'il faut 150 heures de calcul pour tester une hypothèse, cela devient quasiment impossible d'en mener des dizaines ou centaines.
Il faudrait donc à minima un calculateur tel que par exemple le dernier HPC s822lc qui associe CPU et GPU(Tesla p100 de nVidia) .
Je pense également qu'au développeur il faudrait associer un matheux de haut niveau (agrégé, phd), de façon à pouvoir travailler sur des alternatives par exemple à la fonction sigmoïde, à la stratégie de Hinton etc
Bref, un génie des maths et de la programmation pourrait emprunter seul cette voie à condition de pouvoir accéder à des ressources de calcul, mais par définition ils sont extrêmement rares
Dans ma ville de province, par relation interposée, je sais qu'il y en a un cette année dans l'académie (dans Des classes prépa qui envoient chaque année plusieurs élèves à l'ENS, puis l'X, il y a un gouffre entre lui et tous les autres)

Le projet, qui s'appuierait sur la base du volontariat si j'ai bien compris, me paraît dans sa forme actuelle extrêmement ambitieux.

Nb: je comprends la réaction de David

interressant ta remarque xxxx

Euraed une des seules limites serait la puissance ?

et si on est nul en maths c'est fichu pour le deep ? c'est une composante obligatoire (les maths à très haut niveau )?

@chad
À mon humble avis la puissance de calcul est une condition indispensable, mais elle est loin d'être suffisante. Il faut créer une ontologie du trading, probablement travailler sur la constitution des réseaux, les algorithmes de récursivité etc.
Pour avoir une chance de créer un système très performant, il faudrait probablement remettre en cause certains des paradigmes pré-programmés dans les boîtes à outil livrés avec ces ordinateurs développés pour le deep learning, y compris au niveau élémentaire ex: réseau de Boltzmann). Cela requiert un haut niveau de conceptualisation (et de créativité).

@xxxx
Le gars dont je parle n'ira certainement pas vers la finance.
Cela dit, conceptuellement c'est un champ de déploiements théoriques qui peut être intéressant, voir Mandelbrot, Sornette...

Mandelbrot a d'ailleurs conclu qu'il ne pouvait y avoir de prédictivité sur les marchés.

Tes interventions sont très intéressantes Euraed

Je suis conscient de la puissance de calcul nécessaire, j'en ai déjà fait part dans d'autres interventions sur ce forum. Pour cette expérience, j'ai déjà prévenu que je ne connais pas la finalité. Cependant, je suis prêt à investir dans plusieurs machines avec multiples gpu si besoin.

Je ne recherche pas à prédire le marché ( pas de régression donc ), je recherche à recopier les mouvements des plus grands. De préférence aux niveaux que je souhaite.

J'ai en fait besoin d'un algo capable de résoudre un problème qui n'est pas calculable avec une méthode bruteforce.

Je n'ai pas beaucoup de temps, je te répondrai plus amplement la semaine prochaine.

passionnant

merci de ta réponse Euraed

@epitaf
C'est ma première incursion dans le forum du trading automatique...
´Je ne recherche pas à prédire le marché ( pas de régression donc ), je recherche à recopier les mouvements des plus grands.´
Il me semble alors avoir une intuition de ce que tu veux faire

@xxxx
Cela fait déjà longtemps que j'ai abdiqué devant la notion de prédictivité au sens strict: telle position à tel moment.
D'autant plus si le moment s'éloigne dans le temps. (Pour les scalpeurs c'est différent)
En ce sens il a entièrement raison.
Néanmoins je ´ressens' d'autres pistes que je tente d'explorer progressivement afin d'atteindre des rendements élevés.

@epitaf
C'est ma première incursion dans le forum du trading automatique...

Deuxieme, et maintenant troisième avec ce nouveau message, donc "tes interventions" au pluriel

Aucune intuition, si je lui fournit un tableau contenant 10 valeurs : 100,101,102,103,104,105,104,103,102,101

Je lui donne les règles à suivre et il doit sortir un maximummum de point.
On lui donne le tableau en boucle, à la fin il doit call à 100 put à 105, bref il aura simplement compris le schéma

Présenté comme cela c'est hyper simple (paisible trading de range étroit)
Mais si le signal poursuit de cette façon:
100,101,102,103,104,105,104,103,102,101, 97,97,97,98,105,115,130,112,117,114,121,134,142,113,101,87,75,83,80,78,80,72,67,60, 62,68,72,70,72,71,73,74,75,73,77,76,77,78,76,79,80,79,,79,79,80,78,80,81,82,80,81,83,81,82,84,86,83,85,87,84
A POSTERIORI, on peut voir où placer un call et un put.
exemple en traitant les extrêmes du signal qui en séquence sont 100,142,60,87
call à 100, fermeture 142
put à 142, fermeture à 60
call à 60, fermeture à 87
total 42+82+27= 149

L'extraction optimale de cette série étant 278 (la somme des valeurs absolues des variations entre chaque point), après il y aura une multitude de résultats possibles entre -278 (systématiquement le mauvais trade ) et +278 (les trades parfaits, omniscients).
Je comprends bien que tu ne vises pas les trades parfaits, mais un résultat positif maximummisé dans la mesure du possible et surtout fiabilisé en tout environnement.
Bon, il y a un p...ain de boulot
... mais cela me semble tout à fait réalisable

@xxxx et Epitaf
En parlant de Mandelbrot, vous pouvez jeter un oeil à la fonction sigmoïde, celle qui sert souvent 'en standard' de fonction de répartotoon pour les seuils d'activation des neurones.
https://fr.wikipedia.org/wiki/Sigmo%C3%AFde_%28math%C3%A9matiques%29
Mince alors, comme c'est étrange... la loi normale s'infiltre vraiment partout, sauf qu'ici elle prend l'apparence d'une sigmoïde
A mon humble avis, cela va faire partie des optimisations utiles pour certaines couches de ton réseau neuronal de trading.

Je me suis renseigné, il vaut mieux louer de la puissance de calcul sur le cloud (amazon, ovh etc)

Autre info: Il y a au moins une équipe de recherche publique qui travaille sur le sujet en France, pour l'instant sans succès probant, selon ma source.

Ça motive à chercher si d'autres équipes n'y sont pas arrivées

Pour la location c'est une idée, mais je préfère payer plus pour moins de puissance, mais me retrouver avec 3 pc de gamer. Enfin il faut voir la différence de calcul, si effectivement il y a un gouffre de un pour cent, c'est différent..

3 pc de gamers ??? tu vas avoir des soirées occupées

Sur le cloud, c'est toi qui définis la puissance de calcul qui sera mise à ta dispo...
Si tu veux 10 000 fois tes 3 PCS, c'est dispo... à condition de payer évidemment.
C'est du pay per use

c'est génial d'avoir accès à une telle puissance de calcul

c'est un défi c'est stimulant

D'où l'intérêt d'associer le savoir d'un expert dans le domaine du deep learning et d'un trader.
Combien de fois dans ma vie j'ai entendu que quelque chose était irréalisable.
Ce n'est pas parce que jusqu'à présent personne n'y est arrivé que c'est impossible, il suffit de trouver le bon versant à grimper.

Je vais peut être tenter le challenge. J'ai commencé à appeler quelques amis et connaissances pour voir si je peux constituer une bonne équipe de recherche, à même de traiter tous les aspects de la question.

@xxxx
Les moyens c'est une chose, ce qui fera la différence ce seront les intuitions et la capacité à les explorer, formaliser, conceptualiser.
Si tu regardes comment on est passé de l'intelligence artificielle classique à la révolution du deep-learning, c'est finalement "peu de choses", quelques légers changements de paradigmes, une combinaison d'intuition, d'empirisme et une nouvelle formalisation mathématique.

@Chad
Oui c'est génial ! Bon, après tu finis par consommer en électricité l'équivalent de l'alimentation d'une petite ville...
faut donc pas trop abuser non plus...

Deux petites remarques d'une personne maîtrisant les deux sujets et ayant pas mal d'années d'expériences:
1) Avant de choisir un algorithme il faut savoir ce que l'on va utiliser comme données en entrées, quelle sorties l'on souhaite obtenir et combien d'exemple d'apprentissage avons nous. L'exemple de google deep mind avec leur logiciel qui jouait sur atari montre l'intérêt du deep learning : 28224 données en entrées (image de 84 * 84 et 4 frames), 10 millions d'exemples d'apprentissages. Donc si vous n'avez pas autant de donnée à exploiter autant utilisé des algorithmes d'apprentissage moins contraignant (MLP, RBF, machine à vecteur de support , TDNN, etc...). Les couches bases dans un réseau de neurones profonds sont uniquement destiné à une sorte de compression de donnée.

2) La puissance de calcul, en utilisation temps réels, un réseau de neurones ne consomme que très peu. Seul l'apprentissage peut consommer énormément. Mais dans des cas simple un pc ordinaire est tout à fait suffisant, à titre d'exemple sur un Athlon 1090T il me suffit de 15 minutes pour faire apprendre un réseaux ayant 84 entrées, une base de 6000 exemples, deux neurones de sorties et une architecture de moins de 200 neurones environs. Les versions de google deep mind consommais beaucoup notamment à cause de la nécessité de fonctionner en temps réels, de la méthode d'apprentissage (combinaison non supervisé, supervisé et renforcement, jouer contre d'autre instance de lui même), du nombres de données d'entrées et de la structure du réseaux, dans du trading c'est complètement disproportionné d'utilisé autant de données en entrée.