[Recherche développeur] Création algo + deep learning

[scarabee]

Pour les niveaux, sont-ils déjà donnés (type Fibonacci, PP) ou doit-il les deviner ? S'il doit les deviner, comment va-t-il les apprendre ?
Quelle est la relation entre le temps et le prix attendue ? Figures chartistes, analyse des bougies, analyse de volatilité ... ou bien on en sait rien et ces présupposés ne sont pas pertinents ?
Comment gérer les sorties pour dire qu'une entrée à un moment donné est gagnante ? Est-ce un système simple (SL, TP, momentum ...) ou un système qu'il devra apprendre ? S'il doit l'apprendre, comment gérer les entrées lors de la phase d'apprentissage des sorties, est-ce toutes les entrées ou bien y a-t-il un choix à faire (s'il y a un choix, quel est-il) ?
Quel niveau de compréhension du système par l'opérateur est attendu pour valider les backtests ?

[plataxis]

Perso je ne comprends le DL que comme une boite noire : c'était le cas go comme pour Libratus, les concepteurs n'avaient aucune idée de ce que faisaient les IA, ils ont découvert les stratégies utilisées en même temps que les champions qui leur faisaient face.

J'envisagerai le problème de la même façon : data in, essai/erreur et wait and see...

[takapoto]

C'est ce que faisait SAFIR-XP de Pierre Orphelin...

[Epitaf]

Oui les niveaux sont déjà connus.

Le but est que l'analyse soit réalisée par le réseau neuronal. Effectivement la métaphore de la boite noire est idéale.

Le travail repose sur la construction des différentes couches afin qu'il puisse analyser le plus efficacement.

En sortie si le système trouve une stratégie qui fonctionne et qui s'adapte avec un dd qui me corresponde , c'est tout pour l'analyse. Pour les backtests, je verifierai les trades un par un. Et je passe en démo pour tester le live.

[scarabee]

En sachant aussi bien quelles données d'entrée utiliser, quel est le frein qui t'empêche de tester des librairies de réseaux de neurones ?
Sur d'autres pages, j'ai vu que tu programmes en python, qui regorge de librairies de neural networks. Et en voyant la facilité déconcertante pour utiliser une librairie, je pensais à la difficulté du choix de la ou des librairies adaptées. Du coup la question ne serait-elle pas sur le choix de la/les librairies précisément ?

Pour ce choix, voici par exemple 2 pages (trouvées rapidement sur google), une sur les librairies pyhton (https://www.pyimagesearch.com/2016/06/27/my-top-9-favorite-python-deep-learning-libraries/) et une autre sur les librairies en matière financière (http://www.turingfinance.com/misconceptions-about-neural-networks/#difficult) où les mêmes noms de librairies reviennent.
Je laisse les modérateurs supprimer les liens s'il ne fallait pas en mettre.

[Epitaf]

J'ai testé plusieurs librairies, notamment keras. J'ai tenté de suivre leur docs, sans succès.

J'ai fouillé le net dans le but de trouver des scripts déjà existants afin de réaliser du retro ingénierie.

J'ai perdu beaucoup de temps car je ne sais pas ce que je faisais. Donc je ne compte plus perdre mon temps, je vais laisser cette file vivre quelques mois, sinon je pars de zéro, et j'etudierai sérieusement.

[HellionReign]

Bonsoir Epitaf,

Je Vois Exactement ce que tu Vises...

J'ai eu la Même idée il y a Quelques Années...
Mais on en était Encore aux Balbutiements... Sacré Projet dans Lequel tu te Lances...
Mais Toi et Moi Savons que si ça Fonctionne... ça sera une Véritable Mine d'Or

Personnellement je n'y Connais rien en Programmation...

Tout ce que j'ai Trouvé en Rapport avec le Sujet c'est ça :

https://developer.nvidia.com/deep-learning-software

En Espérant que sa te Soit Utile dans ta Quête du Saint Graal

A Bientôt

[ticktack]

C'est ce que faisait SAFIR-XP de Pierre Orphelin...

Arf que de vieux souvenirs ... notamment une discussion musclée entre un matheux et PO sur pro-at à propos du fait que son logiciel arrivait dans les backtests de son bouquin à gagner de l'argent sur des données aléatoires ... même s'il se défendait en précisant qu'on ne peut pas gagner avec des données aléatoires il n'a jamais voulu accepter la possibilité que son logiciel avait peut être un bug de conception quelque part ...

Apparemment son site n'est plus actualisé depuis 2011 ... quelqu'un sait ce qu'il ait devenu ?

[DarthTrader]

10

[Epitaf]

J'ai eu envie aussi Darth ^^

Sinon, les équations existent depuis les années 50 de mémoire. Ce qui change c'est évidemment la puissance, mais également les langages, les librairies. L'expérience collective sur le sujet...

Merci Swin ! Je fini un livre déjà entamé et je m'attaque au sujet

[Euraed]

Bonjour

Mener des recherches pour évaluer le potentiel du deep learning en trading est sans nul doute très intéressant. Les résultats dépendront aussi des moyens engagés.
Déjà, un ordi ou serveur domestique puissant ne permettront pas d'aborder le sujet sérieusement, en effet s'il faut 150 heures de calcul pour tester une hypothèse, cela devient quasiment impossible d'en mener des dizaines ou centaines.
Il faudrait donc à minima un calculateur tel que par exemple le dernier HPC s822lc qui associe CPU et GPU(Tesla p100 de nVidia) .
Je pense également qu'au développeur il faudrait associer un matheux de haut niveau (agrégé, phd), de façon à pouvoir travailler sur des alternatives par exemple à la fonction sigmoïde, à la stratégie de Hinton etc
Bref, un génie des maths et de la programmation pourrait emprunter seul cette voie à condition de pouvoir accéder à des ressources de calcul, mais par définition ils sont extrêmement rares
Dans ma ville de province, par relation interposée, je sais qu'il y en a un cette année dans l'académie (dans Des classes prépa qui envoient chaque année plusieurs élèves à l'ENS, puis l'X, il y a un gouffre entre lui et tous les autres)

Le projet, qui s'appuierait sur la base du volontariat si j'ai bien compris, me paraît dans sa forme actuelle extrêmement ambitieux.

Nb: je comprends la réaction de David

[chad]

interressant ta remarque xxxx

Euraed une des seules limites serait la puissance ?

et si on est nul en maths c'est fichu pour le deep ? c'est une composante obligatoire (les maths à très haut niveau )?

[Euraed]

@chad
À mon humble avis la puissance de calcul est une condition indispensable, mais elle est loin d'être suffisante. Il faut créer une ontologie du trading, probablement travailler sur la constitution des réseaux, les algorithmes de récursivité etc.
Pour avoir une chance de créer un système très performant, il faudrait probablement remettre en cause certains des paradigmes pré-programmés dans les boîtes à outil livrés avec ces ordinateurs développés pour le deep learning, y compris au niveau élémentaire ex: réseau de Boltzmann). Cela requiert un haut niveau de conceptualisation (et de créativité).

@xxxx
Le gars dont je parle n'ira certainement pas vers la finance.
Cela dit, conceptuellement c'est un champ de déploiements théoriques qui peut être intéressant, voir Mandelbrot, Sornette...

Mandelbrot a d'ailleurs conclu qu'il ne pouvait y avoir de prédictivité sur les marchés.

[Epitaf]

Tes interventions sont très intéressantes Euraed

Je suis conscient de la puissance de calcul nécessaire, j'en ai déjà fait part dans d'autres interventions sur ce forum. Pour cette expérience, j'ai déjà prévenu que je ne connais pas la finalité. Cependant, je suis prêt à investir dans plusieurs machines avec multiples gpu si besoin.

Je ne recherche pas à prédire le marché ( pas de régression donc ), je recherche à recopier les mouvements des plus grands. De préférence aux niveaux que je souhaite.

J'ai en fait besoin d'un algo capable de résoudre un problème qui n'est pas calculable avec une méthode bruteforce.

Je n'ai pas beaucoup de temps, je te répondrai plus amplement la semaine prochaine.

[chad]

passionnant

merci de ta réponse Euraed

[Euraed]

@epitaf
C'est ma première incursion dans le forum du trading automatique...
´Je ne recherche pas à prédire le marché ( pas de régression donc ), je recherche à recopier les mouvements des plus grands.´
Il me semble alors avoir une intuition de ce que tu veux faire

@xxxx
Cela fait déjà longtemps que j'ai abdiqué devant la notion de prédictivité au sens strict: telle position à tel moment.
D'autant plus si le moment s'éloigne dans le temps. (Pour les scalpeurs c'est différent)
En ce sens il a entièrement raison.
Néanmoins je ´ressens' d'autres pistes que je tente d'explorer progressivement afin d'atteindre des rendements élevés.

[Epitaf]

@epitaf
C'est ma première incursion dans le forum du trading automatique...

Deuxieme, et maintenant troisième avec ce nouveau message, donc "tes interventions" au pluriel

Aucune intuition, si je lui fournit un tableau contenant 10 valeurs : 100,101,102,103,104,105,104,103,102,101

Je lui donne les règles à suivre et il doit sortir un maximummum de point.
On lui donne le tableau en boucle, à la fin il doit call à 100 put à 105, bref il aura simplement compris le schéma

[Euraed]

Présenté comme cela c'est hyper simple (paisible trading de range étroit)
Mais si le signal poursuit de cette façon:
100,101,102,103,104,105,104,103,102,101, 97,97,97,98,105,115,130,112,117,114,121,134,142,113,101,87,75,83,80,78,80,72,67,60, 62,68,72,70,72,71,73,74,75,73,77,76,77,78,76,79,80,79,,79,79,80,78,80,81,82,80,81,83,81,82,84,86,83,85,87,84
A POSTERIORI, on peut voir où placer un call et un put.
exemple en traitant les extrêmes du signal qui en séquence sont 100,142,60,87
call à 100, fermeture 142
put à 142, fermeture à 60
call à 60, fermeture à 87
Total 42+82+27= 149

L'extraction optimale de cette série étant 278 (la somme des valeurs absolues des variations entre chaque point), après il y aura une multitude de résultats possibles entre -278 (systématiquement le mauvais trade ) et +278 (les trades parfaits, omniscients).
Je comprends bien que tu ne vises pas les trades parfaits, mais un résultat positif maximummisé dans la mesure du possible et surtout fiabilisé en tout environnement.
Bon, il y a un p...ain de boulot
... mais cela me semble tout à fait réalisable

[Euraed]

@xxxx et Epitaf
En parlant de Mandelbrot, vous pouvez jeter un oeil à la fonction sigmoïde, celle qui sert souvent 'en standard' de fonction de répartotoon pour les seuils d'activation des neurones.
https://fr.wikipedia.org/wiki/Sigmo%C3%AFde_%28math%C3%A9matiques%29
Mince alors, comme c'est étrange... la loi normale s'infiltre vraiment partout, sauf qu'ici elle prend l'apparence d'une sigmoïde
A mon humble avis, cela va faire partie des optimisations utiles pour certaines couches de ton réseau neuronal de trading.

[Euraed]

Je me suis renseigné, il vaut mieux louer de la puissance de calcul sur le cloud (amazon, ovh etc)