TakaQuotes : Ticks CAC, DAX et DOW récupérés par TakaPeek3

[takapoto]

Les ticks récupérés par TakaPeek3 (http://www.andlil.com/forum/takapeek3-r ... ml#p507155) sont disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

Il y a deux fichiers par journée :
- Un fichier CSV qui contient les ticks,
- Un fichier infos qui contient des informations sur le fichier CSV.

Le nom des fichiers contient le nombre de minutes absentes dans le fichiers.

Exemple fichiers.png (12.16 Kio) Vu 2988 fois

Le format du fichier CSV est le suivant :
- Version du fichier : V02
- Point-virgule
- Date YYYY-MM-DD
- Point-virgule
- Heure HH:MM:SS.mmm (heure française)
- Point-virgule
- Cours avec une virgule comme séparateur décimal
- Point-virgule
- Spread avec une virgule comme séparateur décimal

Fichier csv.png (8.59 Kio) Vu 2988 fois

Le fichier infos contient notamment la liste des minutes absentes.

Fichier infos.png (21.06 Kio) Vu 2988 fois

Mise à jour :
Les historiques sont mis à jour automatiquement chaque matin vers 6h00 avec les ticks de la veille.

[ticktack]

Bonjour Takapoto,

Encore une fois un grand merci pour tout ton incroyable boulot !

Je viens de passer des historiques 1.0 à 2.0 dans mon backtest mais les résultats du backtest sont incohérents du fait de ticks qui a mon avis sont faux (à toi de me confirmer).

Exemple:

V02;2016-05-12;20:13:47.499;9914,20;2,00
V02;2016-05-12;20:13:48.361;9867,20;2,00
V02;2016-05-12;20:13:48.411;9867,70;2,00
V02;2016-05-12;20:13:48.755;9914,70;2,00
V02;2016-05-12;20:13:48.950;9915,00;2,00
V02;2016-05-12;20:13:49.106;9914,70;2,00
V02;2016-05-12;20:13:49.387;9915,00;2,00
V02;2016-05-12;20:13:50.640;9867,20;2,00
V02;2016-05-12;20:13:50.925;9915,50;2,00
V02;2016-05-12;20:13:52.138;9915,20;2,00
V02;2016-05-12;20:13:52.142;9916,20;2,00
V02;2016-05-12;20:13:53.052;9916,50;2,00
V02;2016-05-12;20:13:53.124;9867,00;2,00
V02;2016-05-12;20:13:55.114;9916,20;2,00
V02;2016-05-12;20:13:55.277;9916,50;2,00
V02;2016-05-12;20:13:55.326;9916,70;2,00

Il y en a un paquet de ticks suspects comme ceux là à partir du 12/05/2016.
Tu peux me confirmer si c'est des vrais ticks ou pas ?

A priori les ticks 2015 ne semblent pas avoir ce soucis , même s'ils ne sont pas toujours identiques à ceux de la V1.

[takapoto]

Je vais enquêter. Je pense que cela vient de la fusion de plusieurs fichiers provenant de fuseaux horaires différents. J'ai bien pris en compte cet aspect, mais manifestement, pas complètement
En ce qui concerne les ticks de 2014/2015, ils proviennent de la V1 et sont simplement reformatés.

Merci d'avoir posté des exemples, ça va me faciliter la tâche

[bobbyO]

Super !
Merci Takapoto !

[ticktack]

Merci takapoto si je peux t'aider dans ta recherche fait moi signe.

Concernant les ticks 2015 tu es sur que c'est juste un reformatage ?

Exemple: CAC40_2015-02-02.txt : 105411 lignes
et CAC40_2015-02-02_0000.csv 96882 lignes tu as filtré des mauvais ticks entre la V1 et V2 ?

[takapoto]

Merci, je vais vérifier tout cela !

[clodreb]

merci Takapoto pour tout le boulot que tu fournis pour tous les membres du site


ps : quelqu'un aurait une astuce pour télécharger un dossier complet depuis google drive ?
est-on obligé de se créer un compte et de passer via celui-ci pour transférer l'ensemble des fichiers d'un seul coup ?

[clodreb]

pour le ps de mon post précédent, vous pouvez laisser tomber la question : il suffit d'être connecté avec une adresse (Infraction RGPD) pour pouvoir faire le download global des répertoire en une seule fois.

[Xuo]

Merci Takapoto, c'est super.

[takapoto]

Attention !
Ticktack a relevé des anomalies dans les ticks : je suis en train de les corriger...

[takapoto]

Les ticks sont corrigés et disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

[ticktack]

Un grand

Je regarde ça tout de suite !
Mais mon post pour demander une autre source de ticks reste valable (ça permettrait par exemple de comparer les ticks et vérifier plus finement la cohérence).

[ticktack]

C'est encore moi

Bon les données ne sont plus mélangées on dirait mais il y a toujours des ticks sortis de l'espace exemple:
V02;2015-06-23;23:59:58.000;11583,60;7,00
V02;2015-06-23;23:59:59.000;11583,60;7,00
V02;2015-06-24;00:00:00.000;11420,10;7,00
V02;2015-06-24;00:00:01.000;11420,10;7,00
V02;2015-06-24;00:00:02.000;11583,60;7,00
V02;2015-06-24;00:00:03.000;11583,60;7,00
V02;2015-06-24;00:00:04.000;11582,30;7,00
....
V02;2016-09-13;23:23:03.968;10441,20;5,00
V02;2016-09-13;23:39:39.958;10440,20;5,00
V02;2016-09-14;00:00:00.108;10348,60;5,00
V02;2016-09-14;00:00:02.217;10348,60;5,00
V02;2016-09-14;00:00:10.237;10439,30;5,00
V02;2016-09-14;00:00:17.643;10437,60;5,00

C'est pas toujours à minuit pile, mais le plus souvent en dehors des heures classiques d'ouverture, donc ça doit être un souci chez ig.

Et les minutes manquantes on y peut rien non plus hélas mais pour les backtests c'est chaud ... (genre si on veut faire un calcul sur les X derniers ticks).

[takapoto]

Bien vu, ticktack.
Je vais pouvoir corriger le type de problème détecté dans le fichier du 14/09.

[takapoto]

Les ticks sont (de nouveau) corrigés et disponibles à cette adresse :
https://drive.google.com/open?id=0B55koWOPR35oUXRHNEhKUHBkQnc
(répertoire Historiques_V2)

Un grand merci à Ticktack pour ses retours.

[ticktack]

Merci takapoto pour ces nouveaux fichiers.

Je te fais un retour si je trouve autre chose.

[ticktack]

Bon il reste toujours des ticks bizarres mais ceux là je ne sais pas si on peut les corriger à mon avis il faut les filtrer lors des backtests.

Exemples:

V02;2015-12-28;19:14:56.000;10680,00;2,00
V02;2015-12-28;19:14:57.000;10680,00;2,00
V02;2015-12-28;19:14:58.000;10728,70;2,00
V02;2015-12-28;19:14:59.000;10728,70;2,00
V02;2015-12-28;19:15:00.000;10680,80;2,00
V02;2015-12-28;19:15:01.000;10680,80;2,00
V02;2015-12-28;19:15:02.000;10680,80;2,00
V02;2015-12-28;19:15:03.000;10681,00;2,00
...
V02;2015-12-28;19:15:56.000;10686,80;2,00
V02;2015-12-28;19:15:57.000;10687,30;2,00
V02;2015-12-28;19:15:58.000;10687,00;2,00
V02;2015-12-28;19:15:59.000;10728,70;2,00
V02;2015-12-28;19:16:00.000;10686,50;2,00
V02;2015-12-28;19:16:01.000;10686,50;2,00

En 2016 ils y a ces ticks là (avec saut > 40 points):
J'ai pas mis les extraits des fichiers (j'ai la flemme)
04/01/2016 23:00:00 10369.90 10619.60 10368.90
20/01/2016 01:12:53 9561.40 9517.20 9561.40
20/01/2016 04:46:18 9475.30 9428.80 9476.30

Il y en a d'autres mais de moins de 40 points ...

[takapoto]

Merci de me donner de l'occupation pour ce samedi
Je vais regarder s'il y a un moyen de filtrer ces ticks à partir d'une règle logique.

Mais ça va être difficile : en effet, jusqu'au 23/01/2016, les ticks proviennent de la V1 et je n'ai plus les fichiers originaux ayant permis la fusion.

Si j'applique une règle brutale (style : je supprimer tout écart de plus de x points ou de x %) je risque de supprimer des vrais ticks. Dans ce cas, je préfère, comme toi, laisser le soin au programme de backtest de faire ce filtrage.

[anonyme899]

Bonjour a tous. Déjà un grand merci à Takapoto pour son travail.
Je suis backtesteur aussi et c'est effectivement pas évident d'enlever les ticks faux.
Je peux via PRT cfd à risque limité, récupérer les données mais en 1min en remontant jusqu'en Janvier. En restant dans les horaires 8h-22h sinon je ne peux pas remonter aussi loin
Du coup il suffit de faire un test en regardant si les ticks sont bien dans la minute concernée ..
Etes vous interessés par ces données .. vous me dites que je lance la récupération. c'est assez long car je lance un backtest sur PRT qui passe des ordres plusieurs fois par minutes , histoire d'avoir l'open, high low et close. Ensuite j'affiche le résultat du backtest, puis je lance mon prog qui analyse l'écran du PC pour en extraire les datas ..

[ticktack]

Bonjour anonyme899,

Moi ça m'intéresse pour pouvoir recouper les données avec celles de takapoto !

Car des données fiables c'est fondamental ... sinon c'est totalement illusoire de backtester