Utilisation des fichiers générés par TakaPeek.

Bonjour,

j'utilise actuellement prorealtime pour étudier les stratégies qui me semblent inintéressantes avec l'outil WalkFoward qu'ils mettent à disposition.

Mais cette outil me laisse une impression de frustration : nous ne récupérons que les meilleurs vecteurs soit jusqu'à 5 sans que l'on puisse voir le comportement lié aux variations étudiées.
Dans mon boulot nous utilisons différentes techniques d'analyses statistiques pour essayer de modéliser le comportement de nos procédés. Ce qui doit également être faisable en trading.

Pour essayer d'aller un peu plus loin j'ai regardé ce qui se fait avec Matlab (outil que je connais assez bien ). Il y a pas mal de chose, mais il faut à minima disposer de quelques données. C'est à ce moment là que je suis arrivé sur ce forum et les ressources que ses membres ont déjà développées ! Un grand merci à tous.

Pour l'instant j'ai deux questions :
- je comprends bien le fonctionnement de TakaPeek3. Je peux le faire fonctionner 24 heures sur 24 sur un mini PC. Mais est-ce utile ? Ou autrement dit : est-ce qu'une série de valeurs supplémentaires apportera un plus à la qualité des données collectées ?
- comment gérez-vous les différents fichiers ? Appel depuis le programme de chaque fichier, génération d'un fichier après extraction de l'information de x fichier , utilisation d'une base de donnée ?

Merci !

Il me semble qu'au depart lidee de tanapeek était de s'assurer de pouvoir collecter tous les tick C.FD ig provenant d'une liste resserrée = les sous jacent les plus traités sur le forum (dax cac f.tse dos bas eurusd).

Je prends que Takapoto gère en auto l'incrémentation des données historiques et que en cas de pb il demande à d'autres membres du forum qui utilisent son application d'envoyer leurs données pour boucher les trous éventuels.

A la question comme je gère les fichiers : je chope les historiques par mois (ma 1ere fois jai download par années) et ensuite jai un batch matlab qui retraite ces données pour les stocker en .M (30 fois moins de place que les csv). C est bien plus efficace de stocker des donnees au tick sous forme de fichiers plats que de les mettre en base (sql ou nosql). Ca permet detre notamment beaucoup plus efficace dans la gestion des backtests.

Nb : je te conseille de croiser les donnes tick C.Fd dIG avec d'autres prestataires genre Dukascopy (tu peux download leurs histos via une petite app qui sappellle "tickstory").

- je comprends bien le fonctionnement de TakaPeek3. Je peux le faire fonctionner 24 heures sur 24 sur un mini PC. Mais est-ce utile ? Ou autrement dit : est-ce qu'une série de valeurs supplémentaires apportera un plus à la qualité des données collectées ?

Quand TakaPeek3 a été développé, l'idée était que plusieurs membres le fasse tourner chacun de son coté afin de diminuer au maximum les "manques" : quand TakaPeek s'arrête, les cours ne sont évidemment plus récupérés et cela entraîne des "trous" dans les cotations.

TakaPeek3 est programmé pour envoyer automatiquement vers 3h les données récupérées la veille sur un stockage Mega et il y a un autre programme qui est lancé ensuite pour fusionner toutes les données récupérées en un seul fichier, celui qui est mis à disposition.

Mais comme il n'y avait en réalité que peu de personnes à faire tourner le programme et plus ou moins à la même heure, il y avait quand même des trous de cotations.

Alors, j'ai préféré faire tourner TakaPeek3 sur un serveur Amazon AWS 24h/24h pour être sûr de récupérer tous les ticks disponibles.

Ce n'est donc plus nécessaire que chacun fasse tourner le programme de son coté. Il suffit de récupérer les ticks à partir du lendemain.

- comment gérez-vous les différents fichiers ? Appel depuis le programme de chaque fichier, génération d'un fichier après extraction de l'information de x fichier , utilisation d'une base de donnée ?

Pour ma part, j'utilise les fichiers tel quels en les chargeant dans le programme de backtest au fur et à mesure des besoins. Par exemple, si je veux faire un test sur un an, chaque fichier journalier est chargé successivement.

je vous remercie pour vos réponses.

Est-ce que vous travaillez par unité de temps ou par unité de tick ?

Mais comme il n'y avait en réalité que peu de personnes à faire tourner le programme et plus ou moins à la même heure, il y avait quand même des trous de cotations.

Alors, j'ai préféré faire tourner TakaPeek3 sur un serveur Amazon AWS 24h/24h pour être sûr de récupérer tous les ticks disponibles.

Ce n'est donc plus nécessaire que chacun fasse tourner le programme de son coté. Il suffit de récupérer les ticks à partir du lendemain.

Ok, je ne remets donc pas en service mon mini PC si il n'y a pas d'utilité.

Pour ma part, j'utilise les fichiers tel quels en les chargeant dans le programme de backtest au fur et à mesure des besoins. Par exemple, si je veux faire un test sur un an, chaque fichier journalier est chargé successivement.

Est-ce que cette stratégie d'alourdie pas le temps d'execution même si tu as une bonne dose de parallélisation de tes calculs ?

Je procède de la même façon que taka (comme évoqué plus haut). Je stocke en fichier plat chaque jours (en y ajoutant ensuite des calculs que je stocke pour éviter à les refaire lors de chaque backtests). beaucoup plus efficient gain de temps.

Au contraire le temps dexe est reduit VS charger tout lhistorique par exemple.

Pour ce qui est des ut : idem. A partir du tick tu peux extrapoler toutes les ut supérieures. La aussi, je stocke si nécessaire des ut si elles apportent de la valeur dans mes BT.

A mon sens, la façon de faire décrite par Robinhood est la plus efficace.

Pour gagner en vitesse, tu peux transformer les fichiers csv en fichiers binaires directement au format du langage utilisé. C'est ce que j'avais fait pour Takaticks, mais je n'avais pas trouvé le gain significatif.

Merci pour vos commentaires.

Maintenant il faut que je mette la main à la pâte. Je commence par me mettre à utiliser Python : mon fils m'en vente les mérites depuis qu'il l'utilise pour son boulot (réseaux neuronaux). J'ai donc un excellent tueur !!!

Et c'est super sympa d'être aider par son fils .