ProRealTime
Forum dédié aux Indices boursiers mondiaux : Cac 40, Dax 30, FTSE 100, Dow Jones 30... Comment les trader ? Leurs spécificités...
Répondre Page 1 sur 1

Problème de qualité des données intraday DAX

par Nicolas B. » 27 Oct 2014 21:22

Hello
J'ai un souci qui m'embête (pléonasme je pense?) à propos de la qualité de données tick par tick que j'ai récupéré sur le site (nom du broker supprimé, interdiction par l'AMF de faire la réclame de ce broker pour des webmasters français et interdiction pour ce broker de démarcher les clients français). Je les ai converti en 1M et en scrollant un peu les données pour chercher je sais plus quoi, horreur, je tombe sur ça (22/04/14 vers 04:00):


et ça (nuit du 10 au 11/02/14):


Et il y a d'autres parties du même acabit. La question à laquelle je pense déjà connaitre la réponse est: est-ce que c'est normal?
J'ai essayé d'automatiser le nettoyage, mais j'obtiens pas mal de faux positifs et de vrais négatifs.
Est-ce que vous connaitriez un site sérieux qui propose des données tick par tick (avec volume) sur les indices et le forex à des prix raisonnables? (sous-entendu pas 500$ par indice...)
Merci d'avance !

Re: Problème de qualité des données intraday DAX

par Nicolas B. » 27 Oct 2014 21:32

Je précise que j'ai testé à peu près tout ce qui se fait en gratuit sans avoir trouvé quelque chose de correct. Et en payant, il y a une telle disparité dans les prix et (d'après les avis forums) en qualité, que je suis un peu perdu.
Et il ne s'agit pas de Dukas, mais de StrategyQuant (peu importe au final d'ailleurs).

Re: Problème de qualité des données intraday DAX

par Benoist » 27 Oct 2014 22:04

Un vrai flux Tick par Tick coute des dizaines de milliers d'euros. C'est toute la limite du trading algorithmique des particuliers avec des flux partiels ou tronqués gratuits ou pouvant couter quelques centaines d'euros et les professionnels capables de débourser plusieurs dizaines de milliers d'euros pour avoir un flux tick par Tick parfait et de longue durée

Je ne peux pas te dépanner je n'ai pas de flux en stock

Sans compter que les flux que l'on a se limitent souvent à juste une bougie et "entrer sortie plus bas plus haut de la bougie et rien sur ce qui s'est passé durant la bougie (je ne parle même pas du carnet d'ordres, les backtests que nous faisons sont tous ultras optimistes (il faut bien vendre du backtesting) car les ordres sont acceptés alors qu'avec un CO tu as 10% 20% 25% d'ordres qui ne seront jamais exécutés (à l'achat comme à la vente). Une bougie d'une minute ça peut être 500 informations voire plus sur une bougie violente en 1 minutes sur un flux complet et nous en avons que 4. Ça fait toute la différence pour un backtest sérieux, la qualité des données. Mais ce type de données qui pèse des Gigas ce n'est pas pour nous... Si on compte que 60 mouvements par minute en moyenne il nous faudrait 3600 donnés par minutes 216000 par heures 2160000 pour une journée de 10h de trading soit pas loin de 600.000.000 de données pour une seule année... 6 milliards de données pour un backtest sur 10 ans au minimum ce qui parait la norme pour être un peu sérieux. Si on inclue le carnet d'ordres si on backteste sur futures, c'est des centaines de gigas de données... des milliers de milliards de données... c'est pour cela que cela coute une fortune et que personne ne les distribue...

Re: Problème de qualité des données intraday DAX

par Benoist » 27 Oct 2014 22:43

Je ne suis pas sur que nos pc pourraient traiter rapidement 6.000.000 de données en plus... nos pc ne sont pas assez puissants à mon avis...

Re: Problème de qualité des données intraday DAX

par Nicolas B. » 28 Oct 2014 15:35

Je ne me fais pas trop de soucis pour la puissance de calcul: sur les données que j'ai (tick data de Dukas sur DAX depuis 2012, 1Go le fichier), en mono thread je mets 5 minutes à backtester une stratégie sans beaucoup de calcul. La ou ça commence à faire long c'est lorsque j'exporte en même temps des résultats dans un fichier pour faire des graphiques, là je mets facile 1 à 2h.
En fait je me concentre juste sur un backtest qui soit précis, je n'ai pour l'instant pas besoin d'un flux live en tick par tick.

J'ai encore passé toute une matinée à chercher un fournisseur de tick data historique payant, et je n'ai rien trouvé de probant dans ce qui se fait de bon marché. TradeStation, IQFeed, Kinetick ne fournissent que 3 ou 6 mois d'historique, ActiveTick ne fait que les US, et pour Barchart, Reuters ou Bloomberg, les frais se comptent en milliers d'euros...
Il ne me reste que Dukas pour lequel j'ai 3 ans de données (gratuit!), mais qui sont à nettoyer... J'ai l'impression que je vais devoir faire plusieurs filtres très sensibles et me palucher à la main tous les faux positifs...:(

Re: Problème de qualité des données intraday DAX

par Benoist » 28 Oct 2014 21:27

le jour où je trouve cela, je mets à disposition gratuitement les historiques en téléchargement... Désolé je ne peux vraiment pas t'aider... Au final c'est du domaine publique pour moi...

Peut-être un jour un gentil trader me fera parvenir anonymement un blue ray avec des flux que je mettrai à disposition :)

Re: Problème de qualité des données intraday DAX

par swingwin » 28 Oct 2014 23:44

Benoist Rousseau a écrit:Peut-être un jour un gentil trader me fera parvenir anonymement un blue ray avec des flux que je mettrai à disposition :)


attention à ne pas te prendre un procès au c.l avec ça, même si je suis d'accord avec toi que les datas devraient être du domaine public.

Bonjour,

Pour avoir des ticks de quoi ?
De futures, de CFDs, de forex, d'actions ?
Tout se trouve et il faut chercher.
Certaines solutions sont même gratuites, mais on ne peut pas trop en faire la publicité.
En son temps je récupérais tous les soirs, tous les ticks de toutes les actions du CAC40 avec TradExpert de Dubus. J'avais automatisé ça.
Les ticks FCAC étaient aussi dispo sur le Matif.
Les ticks actions étaient dispos gratos chez Euronext jusqu'à il y a 2 ans.
Maintenant chez Euronext c'est payant. Rentabilité rentabilité !!!

etc...
etc...

je suis d'accord avec Benoist ce genre de data devrait être du domaine public. On a encore des progès à faire là-dessus.
Dans le domaine des datas les pros ont encore une longueur d'avance sur nous pour mettre au point leurs algos. Mais je ne désespère pas que tout ça devienne public un jour.

Enfin la dernière solution c'est ouvrir des comptes chez des bons brokers et télécharger les ticks tous les soirs car la persistance des datas est assez courte chez les brokers (Dubus à l'époque si tu ne le chopais pas le soir même c'était foutu).

A+
JF

Re: Problème de qualité des données intraday DAX

par falex » 29 Oct 2014 09:15

Cqg de mémoire propose un historique en ut1 ou par transaction pas trop cher.
Ils t'envoient le cours du futurs fin il faut recoller les morceaux à chaque trimestre.

Après je n'ai regardé qu'un échantillon d'une semaine et sans réel éléments de comparaison ...

Reuters vend mais c'est environ 10 à 12 000€ ...

Articles en relation
Problème points pivot
par ScalpeurTrader » 14 Nov 2014 22:15 (20 Réponses)

ProRealTime

Alors partagez-le 5 fois c'est bon pour la santé