ProRealTime
Zone de développement des applications API, des logiciels et utilitaires développés par les membres du forum

TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPeek3

par takapoto » 26 nov. 2016 20:07

Les ticks récupérés par TakaPeek3 (http://www.andlil.com/forum/takapeek3-r ... ml#p507155) sont disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

Il y a deux fichiers par journée :
- Un fichier CSV qui contient les ticks,
- Un fichier infos qui contient des informations sur le fichier CSV.

Le nom des fichiers contient le nombre de minutes absentes dans le fichiers.
Exemple fichiers.png
Exemple fichiers.png (12.16 Kio) Vu 1192 fois
Le format du fichier CSV est le suivant :
- Version du fichier : V02
- Point-virgule
- Date YYYY-MM-DD
- Point-virgule
- Heure HH:MM:SS.mmm (heure française)
- Point-virgule
- Cours avec une virgule comme séparateur décimal
- Point-virgule
- Spread avec une virgule comme séparateur décimal
Fichier csv.png
Fichier csv.png (8.59 Kio) Vu 1192 fois
Le fichier infos contient notamment la liste des minutes absentes.
Fichier infos.png
Fichier infos.png (21.06 Kio) Vu 1192 fois
Mise à jour :
Les historiques sont mis à jour automatiquement chaque matin vers 6h00 avec les ticks de la veille.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 27 nov. 2016 13:35

Bonjour Takapoto,

Encore une fois un grand merci pour tout ton incroyable boulot !

Je viens de passer des historiques 1.0 à 2.0 dans mon backtest mais les résultats du backtest sont incohérents du fait de ticks qui a mon avis sont faux (à toi de me confirmer).

Exemple:

V02;2016-05-12;20:13:47.499;9914,20;2,00
V02;2016-05-12;20:13:48.361;9867,20;2,00
V02;2016-05-12;20:13:48.411;9867,70;2,00
V02;2016-05-12;20:13:48.755;9914,70;2,00
V02;2016-05-12;20:13:48.950;9915,00;2,00
V02;2016-05-12;20:13:49.106;9914,70;2,00
V02;2016-05-12;20:13:49.387;9915,00;2,00
V02;2016-05-12;20:13:50.640;9867,20;2,00
V02;2016-05-12;20:13:50.925;9915,50;2,00
V02;2016-05-12;20:13:52.138;9915,20;2,00
V02;2016-05-12;20:13:52.142;9916,20;2,00
V02;2016-05-12;20:13:53.052;9916,50;2,00
V02;2016-05-12;20:13:53.124;9867,00;2,00
V02;2016-05-12;20:13:55.114;9916,20;2,00
V02;2016-05-12;20:13:55.277;9916,50;2,00
V02;2016-05-12;20:13:55.326;9916,70;2,00

Il y en a un paquet de ticks suspects comme ceux là à partir du 12/05/2016.
Tu peux me confirmer si c'est des vrais ticks ou pas ?

A priori les ticks 2015 ne semblent pas avoir ce soucis , même s'ils ne sont pas toujours identiques à ceux de la V1.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 27 nov. 2016 14:21

Je vais enquêter. Je pense que cela vient de la fusion de plusieurs fichiers provenant de fuseaux horaires différents. J'ai bien pris en compte cet aspect, mais manifestement, pas complètement
En ce qui concerne les ticks de 2014/2015, ils proviennent de la V1 et sont simplement reformatés.

Merci d'avoir posté des exemples, ça va me faciliter la tâche :mercichinois:

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par bobbyO » 27 nov. 2016 14:31

Super !
Merci Takapoto !

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 27 nov. 2016 16:01

Merci takapoto si je peux t'aider dans ta recherche fait moi signe.

Concernant les ticks 2015 tu es sur que c'est juste un reformatage ?

Exemple: CAC40_2015-02-02.txt : 105411 lignes
et CAC40_2015-02-02_0000.csv 96882 lignes tu as filtré des mauvais ticks entre la V1 et V2 ?

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 27 nov. 2016 16:14

Merci, je vais vérifier tout cela !

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par clodreb » 28 nov. 2016 07:20

merci Takapoto pour tout le boulot que tu fournis pour tous les membres du site :top: :top:


ps : quelqu'un aurait une astuce pour télécharger un dossier complet depuis google drive ?
est-on obligé de se créer un compte et de passer via celui-ci pour transférer l'ensemble des fichiers d'un seul coup ?

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par clodreb » 28 nov. 2016 14:25

pour le ps de mon post précédent, vous pouvez laisser tomber la question : il suffit d'être connecté avec une adresse (Infraction RGPD) pour pouvoir faire le download global des répertoire en une seule fois.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par Xuo » 28 nov. 2016 16:37

Merci Takapoto, c'est super.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 28 nov. 2016 16:52

Attention !
Ticktack a relevé des anomalies dans les ticks : je suis en train de les corriger...

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 05 déc. 2016 19:05

Les ticks sont corrigés et disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 05 déc. 2016 19:26

Un grand :merci:

Je regarde ça tout de suite !
Mais mon post pour demander une autre source de ticks reste valable (ça permettrait par exemple de comparer les ticks et vérifier plus finement la cohérence).

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 06 déc. 2016 18:43

C'est encore moi :mrgreen:

Bon les données ne sont plus mélangées on dirait mais il y a toujours des ticks sortis de l'espace exemple:
V02;2015-06-23;23:59:58.000;11583,60;7,00
V02;2015-06-23;23:59:59.000;11583,60;7,00
V02;2015-06-24;00:00:00.000;11420,10;7,00
V02;2015-06-24;00:00:01.000;11420,10;7,00

V02;2015-06-24;00:00:02.000;11583,60;7,00
V02;2015-06-24;00:00:03.000;11583,60;7,00
V02;2015-06-24;00:00:04.000;11582,30;7,00
....
V02;2016-09-13;23:23:03.968;10441,20;5,00
V02;2016-09-13;23:39:39.958;10440,20;5,00
V02;2016-09-14;00:00:00.108;10348,60;5,00
V02;2016-09-14;00:00:02.217;10348,60;5,00

V02;2016-09-14;00:00:10.237;10439,30;5,00
V02;2016-09-14;00:00:17.643;10437,60;5,00

C'est pas toujours à minuit pile, mais le plus souvent en dehors des heures classiques d'ouverture, donc ça doit être un souci chez ig.

Et les minutes manquantes on y peut rien non plus hélas mais pour les backtests c'est chaud ... (genre si on veut faire un calcul sur les X derniers ticks). ;)

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 06 déc. 2016 20:07

Bien vu, ticktack.
Je vais pouvoir corriger le type de problème détecté dans le fichier du 14/09.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 09 déc. 2016 18:10

Les ticks sont (de nouveau) corrigés et disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

Un grand merci à Ticktack pour ses retours.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 09 déc. 2016 21:31

Merci takapoto pour ces nouveaux fichiers.

Je te fais un retour si je trouve autre chose.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 09 déc. 2016 22:48

Bon il reste toujours des ticks bizarres mais ceux là je ne sais pas si on peut les corriger à mon avis il faut les filtrer lors des backtests.

Exemples:

V02;2015-12-28;19:14:56.000;10680,00;2,00
V02;2015-12-28;19:14:57.000;10680,00;2,00
V02;2015-12-28;19:14:58.000;10728,70;2,00
V02;2015-12-28;19:14:59.000;10728,70;2,00
V02;2015-12-28;19:15:00.000;10680,80;2,00
V02;2015-12-28;19:15:01.000;10680,80;2,00
V02;2015-12-28;19:15:02.000;10680,80;2,00
V02;2015-12-28;19:15:03.000;10681,00;2,00
...
V02;2015-12-28;19:15:56.000;10686,80;2,00
V02;2015-12-28;19:15:57.000;10687,30;2,00
V02;2015-12-28;19:15:58.000;10687,00;2,00
V02;2015-12-28;19:15:59.000;10728,70;2,00
V02;2015-12-28;19:16:00.000;10686,50;2,00
V02;2015-12-28;19:16:01.000;10686,50;2,00

En 2016 ils y a ces ticks là (avec saut > 40 points):
J'ai pas mis les extraits des fichiers (j'ai la flemme)
04/01/2016 23:00:00 10369.90 10619.60 10368.90
20/01/2016 01:12:53 9561.40 9517.20 9561.40
20/01/2016 04:46:18 9475.30 9428.80 9476.30

Il y en a d'autres mais de moins de 40 points ...
;)

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par takapoto » 10 déc. 2016 08:30

Merci de me donner de l'occupation pour ce samedi :|
Je vais regarder s'il y a un moyen de filtrer ces ticks à partir d'une règle logique.

Mais ça va être difficile : en effet, jusqu'au 23/01/2016, les ticks proviennent de la V1 et je n'ai plus les fichiers originaux ayant permis la fusion.

Si j'applique une règle brutale (style : je supprimer tout écart de plus de x points ou de x %) je risque de supprimer des vrais ticks. Dans ce cas, je préfère, comme toi, laisser le soin au programme de backtest de faire ce filtrage.

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par anonyme899 » 10 déc. 2016 10:48

Bonjour a tous. Déjà un grand merci à Takapoto pour son travail.
Je suis backtesteur aussi et c'est effectivement pas évident d'enlever les ticks faux.
Je peux via PRT CFD à risque limité, récupérer les données mais en 1min en remontant jusqu'en Janvier. En restant dans les horaires 8h-22h sinon je ne peux pas remonter aussi loin
Du coup il suffit de faire un test en regardant si les ticks sont bien dans la minute concernée ..
Etes vous interessés par ces données .. vous me dites que je lance la récupération. c'est assez long car je lance un backtest sur prt qui passe des ordres plusieurs fois par minutes , histoire d'avoir l'open, high low et close. Ensuite j'affiche le résultat du backtest, puis je lance mon prog qui analyse l'écran du PC pour en extraire les datas ..

Re: TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPee

par ticktack » 10 déc. 2016 13:02

Bonjour anonyme899,

Moi ça m'intéresse pour pouvoir recouper les données avec celles de takapoto !

Car des données fiables c'est fondamental ... sinon c'est totalement illusoire de backtester ;)

Sujets similaires
TakaPeek3 : Récupération des ticks CAC, DAX et DOW
Fichier(s) joint(s) par takapoto » 18 nov. 2016 13:48 (92 Réponses)
Amélioration des données de ticks récupérés
par ticktack » 27 nov. 2016 15:21 (11 Réponses)
TakaCandles : convertir les ticks de TakaPeek3 en bougies
Fichier(s) joint(s) par takapoto » 13 avr. 2018 14:41 (16 Réponses)
TakaPeek3 2019 : récupération de l'historique des ticks IG
Fichier(s) joint(s) par Amarantine » 09 janv. 2019 11:35 (231 Réponses)
TakaPeek2 : Récupération des ticks CAC, DAX et DOW
Fichier(s) joint(s) par Amarantine » 29 janv. 2016 08:45 (72 Réponses)
Cac 40 : combien de ticks par bougie (vs 100 sur Dax)
par nono06510 » 09 nov. 2019 19:03 (11 Réponses)
Méthode Loi de Dow sur le Dow Jones
Fichier(s) joint(s) par Jordi » 13 mai 2020 11:43 (7 Réponses)
Vaut il mieux trader Mini Dow ou Micro Dow sur Futures?
par Papaours74 » 27 juin 2020 12:33 (10 Réponses)
Comparaison graphique du CAC, DAX, DOW, NDX pour 2019
Fichier(s) joint(s) par masta » 15 juin 2020 16:10 (4 Réponses)