attention aux sources de données boursières

LabZone, l'atelier de développement du forum Andlil : API, logiciels et utilitaires de trading créés par les membres, versions, bugs et idées.
ticktack
Compagnon Jedi
Messages : 1147
Enregistré le : 11 nov. 2016 22:29

attention aux sources de données boursières

Message non lu par ticktack »

J'utilise pour backtester mes robots les données de chez quantconnect mais il y a des tas de bugs à contourner pour arriver utiliser leur données (à se demander même si c'est volontaire chez eux) ...

1) Entre 2 téléchargements (à quelques semaines d'intervalle) le format du fichier csv pour un même instrument peut varier (la backward compatibilité ils s'en tapent)

2) Entre 2 instruments différents le format peut être différent (la cohérence des données ils s'en tapent)

3) Certains fichiers sont buggés (la valeur du dax par exemple être multipliée par 10000 mais uniquement pour certaines journées) : là je ne sais même pas quoi dire ... c'est du n'importe quoi ...

Bref on voit tout le sérieux de la boite ... :twisted:

Alors certes 1$ pour télécharger autant de données que l'on veut en UT1 c'est pas cher mais ce genre de changements aléatoires c'est intolérable ... donc qu'ils augmente un peu leur tarif mais qu'ils vérifient/retraitent leur données avant de les mettre à disposition.
Avatar du membre
Benoist Rousseau
Trader Futures / CME Member
Messages : 174797
Enregistré le : 06 sept. 2011 22:45

Re: attention aux source de données boursières

Message non lu par [phpBB Debug] PHP Warning: in file [ROOT]/vendor/twig/twig/src/Extension/CoreExtension.php on line 570: strtr(): Ignoring replacement of empty string
Benoist Rousseau
»

Pas faute de l’avoir dit
ticktack
Compagnon Jedi
Messages : 1147
Enregistré le : 11 nov. 2016 22:29

Re: attention aux source de données boursières

Message non lu par ticktack »

- si tu as une source fiable au moins pour le dax30 UT1 ça m'intéresse
Avatar du membre
Jim
Chevalier Jedi
Messages : 2373
Enregistré le : 24 févr. 2016 10:39

Re: attention aux source de données boursières

Message non lu par Jim »

J'ai lu dans un bouquin d'Ernest Chan que 50% du travail des quants est de corriger les erreurs de données des bases de tests employées.

50% !!!


J'utilise les flux PRT, et ça ne représente que 2% du temps de mon trading quotidien.
Sur indice ils sont assez propres, mais sur action il y a du déchet.

En parlant de ça, je vais passer là 30 minutes à calculer mes points pivots, pour demain, la semaine et le mois. Ma confiance en PRT est limitée...
ticktack
Compagnon Jedi
Messages : 1147
Enregistré le : 11 nov. 2016 22:29

Re: attention aux source de données boursières

Message non lu par ticktack »

Oui ca ne m'étonne pas ... vu les datas que j'ai eus jusqu'à maintenant.

J'ai oublié un autre bug: bien entendu il y a des journées entières manquantes donc ça entraine des faux gaps mais j'ai considéré qu'en moyenne il y aurait autant de faux gaps haussiers que baissiers dus à des journées manquantes.
floalsace
Padawan
Messages : 286
Enregistré le : 15 janv. 2015 12:45

Re: attention aux source de données boursières

Message non lu par floalsace »

il y avait des erreurs dans chaque source de données que j'ai exploitées. Aussi bien en utilisant historical data downloader (fxcm), donnée de dukascopi, ou des data futures acheté chez un fournisseur qui garantie des données de haute qualité, impossible d'avoir quelque chose qui tient la route, il manque des 1/4 d'heures, des heures, voir des dizaines de journées
ticktack
Compagnon Jedi
Messages : 1147
Enregistré le : 11 nov. 2016 22:29

Re: attention aux sources de données boursières

Message non lu par ticktack »

Oui c'est pour ça que je n'accorde que aucun crédit aux systèmes qui ne passent que très peu de trades , il suffit de 2 ou 3 fausses données au mauvais moment et ça remet en question tous les backtests.

Quand on a des milliers de trades à moins d'avoir des données totalement corrompues on ne fausse les backtests que de manière marginale.