ProRealTime
Zone de développement des applications API, des logiciels et utilitaires développés par les membres du forum

Amélioration des données de ticks récupérés

par swingwin » 27 Nov 2016 16:12

Bonjour,
Après une petite concertation avec Takapoto, je crée cette file spécialement pour échanger nos idées sur la manière d'améliorer la qualité des ticks récupérés. J'essaierai de participer à cette file à la hauteur de mon temps disponible, et également quand j'aurai des choses importantes à y apporter.

Dans un premier temps et après que Takapoto ait fourni la version des histo V2 hier soir, je me suis amusé à faire une comparaison des ticks récupérés par Takapicks et des ticks récupérés par moi-même.

Cette étude est basée sur la journée de Vendredi 25/11/2016.
Je fais cette étude en utilisant Matlab et en y injectant les 2 sources de données et aussi en comparant avec les graphes PRT.
Mon étude est basée sur des graphes en 21 ticks.

Voici les premiers résultats de mon étude comparative.

Comparaison 1 :
Spoiler:
Comparaison 2 :
Spoiler:
Comparaison 3 :
Spoiler:
Comparaison 4 :
Spoiler:

Re: Amélioration des données de ticks récupérés

par takapoto » 27 Nov 2016 16:21

Plusieurs points à approfondir :

1. Ticktack a mis en évidence un biais dans la récupération des ticks par TakaPeek, certainement dû au fait qu'il s'agit de plusieurs fichiers fusionnés. Il faudrait donc refaire la comparaison après que j'ai corrigé ce problème.

2. Il faudrait vérifier que les ticks récupérés sont bien issus du même environnement( réel ou démo) et de la même epic.

3. A mon sens, la comparaison sur n ticks n'est pas judicieuse car on ne sait pas vraiment quand faire démarrer le tick original. De plus, il suffit qu'il y ait un tick de moins dans un des fichier pour fausser les résultats par rapport à l'autre. Il faudrait plutôt comparer sur des bougies de une minute car il n'y a alors plus aucune ambiguïté sur le premier et le dernier tick de chaque bougie.

Re: Amélioration des données de ticks récupérés

par swingwin » 27 Nov 2016 16:38

Point 1 : oui je suis d'accord. d'ailleurs j'ai mis ci-dessous des comparaisons de données, sur des tranches horaires que j'ai choisies à 09h00, 10h000, 11h00 et 12h00 et on voit des différences.

Point 2 : mon environnement : sur compte réel sur EPIC correspondant au contrat DAX mini 5€.

Point 3 : je suis d'accord sur les synchros qui peuvent se faire sur des ticks différents pour des tracés de graphes.
Mais les cercles rouges montrent que le nombre de chandelles donc de ticks sont très différents.
De plus j'ai sélectionné les mêmes zones et du fait de nombre de ticks différents j'ai noté dans les zones cerclées rouges que certaines caractéristiques de chandelles différent.
Pour l'instant je considère le graphe PRT en 21 ticks comme la référence et je compare tous mes résultats aux graphes PRT.
Spoiler:
Spoiler:

Re: Amélioration des données de ticks récupérés

par ticktack » 28 Nov 2016 18:37

Petite question takapoto : tu fusionnes tes fichiers de ticks en mélangeant données comptes réels/comptes démo ?
Il ne vaudrait pas mieux ne prendre que les données de comptes réels ? (après c'est sur que s'il manque une période dans les données ou personne n'a loggé les ticks en réel ... entre rien avoir et des données peu fiables le choix est pas évident ;) )

A la rigueur dans ce cas de figure il serait possible de rajouter une colonne "demo" à tes fichiers avec "1" ou "0" (0 si les datas sont extraits d'un fichier compte réel).
Comme ça en backtest on peut choisir de sauter la période ou pas.

Re: Amélioration des données de ticks récupérés

par takapoto » 28 Nov 2016 18:42

Je ne prends que les ticks issu de comptes réels.

Re: Amélioration des données de ticks récupérés

par ticktack » 28 Nov 2016 18:50

OK parfait alors. Ce problème étant éliminé, c'est effectivement au moment du mix des datas qu'il y a un souci.
Ou alors une altération entre le moment où tu lis les datas depuis l'api et le moment où ils sont fusionnés, peut être un petit checksum à ta sauce dans le nom de chaque fichier avant la fusion pourrait déjà assurer que les données écrites par ton logiciel dans le fichier n'ont pas été altérées.
(je ne sais pas exactement comment tu procèdes donc ce que je suggère est peut être stupide dans le contexte :oops: )

Re: Amélioration des données de ticks récupérés

par takapoto » 28 Nov 2016 20:20

Plusieurs membres participent à la récolte (ce qui est très bien !!!!)
Mais certains ne sont pas en france, aussi les heures sont en décalage rapport à l'heure française.
J'analyse donc chaque fichier pour en déduire le décalage et réunifier les heures.
Mais dans certains cas, la correction n'est pas bien faite, comme tu l'as détecté.
Avec TakaPeek3, ce problème a disparu.

Re: Amélioration des données de ticks récupérés

par ticktack » 28 Nov 2016 20:33

Ok c'est top alors si takapeek3 résout ce problème, dès que j'ai un compte réel je devrai pouvoir participer à la collecte (j'ai un vps Windows peu utilisé actuellement) !

Par contre tu penses pouvoir corriger les fichiers datas V2, où c'est pas faisable d'après tes dernières recherches ?

Re: Amélioration des données de ticks récupérés

par takapoto » 28 Nov 2016 20:36

Oui, je vais pouvoir corriger, mais il me faut un peu de temps libre que je n'ai pas dans l'immédiat.

C'est super si tu peux faire tourner Takapeek3 sur un VPS !

Re: Amélioration des données de ticks récupérés

par ticktack » 28 Nov 2016 20:48

Bien sur fais ça quand tu pourras !

En fait je suis impatient car sans données propres je ne peux pas continuer à valider mon système, mais je patienterai.

Si tu avais programmé ton logiciel en delphi/freepascal , j'aurai peut être pu t'aider pour faire une fonction de merge des fichiers, mais si c'est du C# ça me donne des boutons :mrgreen:

Pour le vps Windows oui ça ne me dérange pas de faire tourner takapeek dessus, par contre il est "bridé" pour ne pas consommer 100% du cpu ? j'espère car j'ai quand même un site php sur le serveur :musique:

Articles en relation
TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPeek3
Fichier(s) joint(s) par ticktack » 26 Nov 2016 21:07 (30 Réponses)
Traitement de données ticks.
Fichier(s) joint(s) par Doudidoudou » 08 Avr 2018 22:38 (7 Réponses)
[Python] - Gestion des (flux de) données
par GTO » 14 Aoû 2016 15:20 (0 Réponses)
attention aux sources de données boursières
par ticktack » 01 Oct 2017 18:39 (7 Réponses)
Historique aux ticks d'IG
par wax » 12 Jan 2018 10:13 (13 Réponses)
BackTest aux ticks d'IG
par wax » 12 Jan 2018 14:48 (2 Réponses)
C# : Récupération historique en ticks
Fichier(s) joint(s) par bobbyO » 11 Aoû 2015 22:36 (16 Réponses)
TakaPeek2 : Récupération des ticks CAC, DAX et DOW
Fichier(s) joint(s) par takapoto » 29 Jan 2016 09:45 (70 Réponses)
TakaPeek3 : Récupération des ticks CAC, DAX et DOW
Fichier(s) joint(s) par maximedeflines » 18 Nov 2016 14:48 (73 Réponses)
Nombre de ticks reçus en une seconde : PTR vs API IG
Fichier(s) joint(s) par Eric_69 » 22 Avr 2017 22:06 (107 Réponses)

ProRealTime

Alors partagez-le 5 fois c'est bon pour la santé