ProRealTime
Zone de développement des applications API, des logiciels et utilitaires développés par les membres du forum

Synthèse globale // Sujet données historiques/live

par Robinhood » 11 sept. 2018 11:30

Salut à tous !

Ce fil de discussion a pour objet de traiter de la problématique de récupération de données historiques et live en ticks à minima (en priorité les prix/trades et ou bid-ask), qu'elles soient payantes ou gratuites. Je laisse aux admins le soin de modifier le titre ou de changer le fil d'endroit ou de me censurer si nécessaire :joker:

D'avance je m'excuse si ce travail a déjà été fait. En ayant passé pas mal de temps sur le forum je n'ai pas trouvé de tel sujet (plus des bribes à droite à gauche).

Ce fil s'adresse en premier lieu à tous ceux qui traitent/"backtestent" en automatique (d'où l'emplacement dans la "Zone de Développement Labzone") mais concerne également ceux qui souhaitent analyser des données historiques pour les importer directement dans des plateformes ou simplement sur Excel ou équivalent.

La data c'est un sujet fondamental. Dans l'univers des quant (le miens en tous cas), on a coutume de dire que c'est 50% du travail.

L'idée est dans un premier temps d'énumérer/recenser les différentes sources de données et providers pour ensuite arriver à des listes les plus exhaustives possibles.

Pour simplifier (au sens rendre le plus opérationnel possible le sujet) je vais créer 2 catégories : dérivés C F D et dérivés Futures. Ils représentent les instruments qui semblent être globalement les plus traités par la communauté à savoir indices actions (DAX/CAX/F T S E/ES/SP/DOW/NAS) et paires majeures (...).

1. C F D => données purement brokers et gratuites

- IG : API dispo. Tout ou presque est récupérable en histo et temps réel. Bien entendu avec des limitations. Gros travail de Takapoto à ce sujet (voir le fil takapeek3)
- Dukaskopy : données récupérables par différents moyens sans être nécessairement client. Par exemple via "Tickstory" ou encore "tickdatadownloader"
- FXCM/Oanda : idem. Multiples possibilités dont Quantconnect => mais plus galère à récup car en théorie limité à l'utilisation au sein du milieu fermé quantconnect (plateforme de création/backtesting de stratégies)
- Truefx : Forex only. Plusieurs intermédiaires pour les sources. Bonne profondeur. Tick sur les paires majeures. Attention OTC only et pas marchés futures

J'ai eu l'occasion d'utiliser toutes ces sources et ce que je retiens c'est qu'il est important de les croiser dans la mesure où il y a parfois des erreurs, des trous, etc... C'est aussi intéressant pour analyser les spreads des brokers et voir comment ils varient, notamment en période de forte vol. Il y a bien d'autres application mais ce n'est pas le but de les énumérer ici !

2. Futures => données payantes avec le coût de l'intermédiation + celui lié à l'exchange

- IQfeed DTN : à ce que j'ai pu voir, un des meilleurs rapports qualité prix. Données brutes. Je vais demander une période d'essai
- Futures via PRT en DDE : payant mais flux DDE assez limité
- Autre : lien intéressant => https://quantpedia.com/Links/HistoricalData. Très général est assez riche

Voilà merci pour vos contributions éventuelles !

Re: Synthèse globale // Sujet données historiques/live

par pingoo67 » 12 sept. 2018 08:44

Salut Robinhood et merci pour ce travail de recherche.

Je travail actuellement tout comme toi sur la récupération de données en temps réel. Pour le moment j'utilise l'Api IG.
Par contre je n'arrive à récupérer de données historiques.
Tu dis pouvoir récupérer un historique via l'Api IG, pourrais-tu m'en dire plus? jusqu'à quel période?

merci :)

Re: Synthèse globale // Sujet données historiques/live

par Robinhood » 12 sept. 2018 10:09

Salut Pingoo

Via l'Api IG je ne fait que du requetage live. Tu utilises quel langage pour te connecter à l'API ?

J'ai déjà testé via Matlab ça marchait nickel. Pour le live comme c'est des données asynchrones je suis passé par C#.

Si tu veux des données rapidement et peut importe l'ut, je trouve plus simple de passer par tickstory. Leur source est le broker z-scopy. Ca marche nickel. Ca sera du C F D comme pour ig. Voir ci-dessous la capture d'écran.

Je t'ai fait un export sur la dernière année à titre d'exemple (j'ai testé 10 ans ça ne semble pas passer). Tu trouveras les données via le lien drive ci-dessous. Dis moi dès que tu l'auras téléchargé que je vire le lien.

https://drive.google.com/open?id=1YgdV4RHn2jdi_PGxrI_clg8Qa2uKuJlT
Pièces jointes
ex tickstory.jpg
ex tickstory.jpg (191.93 Kio) Consulté 568 fois

Re: Synthèse globale // Sujet données historiques/live

par pingoo67 » 12 sept. 2018 13:42

J'utilise le dotnet et je passe par un site web azure et j'enregistre les données dans une base MySQL.

Je viens de tester tickstory mais impossible de telecharger de .csv...
Comment as tu fais, je n'ai que des fichier au format ".bi5" ???? :mur:

Re: Synthèse globale // Sujet données historiques/live

par Robinhood » 12 sept. 2018 13:47

Est-ce tu as bien accès aux pop-ups suivantes ?
Pièces jointes
tick2.jpg
tick2.jpg (254.65 Kio) Consulté 552 fois
tick1.jpg
tick1.jpg (98.2 Kio) Consulté 552 fois

Re: Synthèse globale // Sujet données historiques/live

par pingoo67 » 12 sept. 2018 13:53

Oui et j'ai bien en nom du fichier sorti un .csv

Mais le résultat est tout autre. Faut il utiliser la version payante?

merci
Pièces jointes
cap2.PNG
cap2.PNG (63.07 Kio) Consulté 551 fois
cap1.PNG
cap1.PNG (39.53 Kio) Consulté 551 fois

Re: Synthèse globale // Sujet données historiques/live

par pingoo67 » 12 sept. 2018 14:36

C'est ok j'ai trouvé, les .bi5 sont des fichier de configuration. Les .csv étaient stockés ailleurs

merci :)

Re: Synthèse globale // Sujet données historiques/live

par Robinhood » 12 sept. 2018 14:43

Parfait !

Re: Synthèse globale // Sujet données historiques/live

par Robinhood » 16 oct. 2018 21:25

Je me permet de relancer cette file.

Je recherche un fournisseur de données européen fiable capable de transmettre (à minima) les flux des futures.

Pour l'instant ma seule alternative c'est IQFeed. Le soucis c'est la latence pour les marchés hors US (pas de soucis évidement pour dow, nas, sp, etc...).

Le fournisseur doit obligatoirement fournir plusieurs API (c'est le cas de tous les fournisseurs sérieux).

Retours bienvenus, merci par avance++

Re: Synthèse globale // Sujet données historiques/live

par noko » 17 oct. 2018 05:50

bonjour et merci

https://www.six-group.com/financial-information/fr/home/global-data-services.html
https://www.six-group.com/financial-information/dam/downloads/Others/SIX_FI_Connectivity_Guide_FR.pdf


aucune expérience
c'est juste google qui me donne ça

Sujets similaires
Téléchargement de données historiques
par AlexD » 29 oct. 2013 15:09 (3 Réponses)
Elaboration d'une methode de trading / Données historiques
Pièces jointes par falex » 03 déc. 2013 22:08 (40 Réponses)
Récupérer données historiques
par takapoto » 15 déc. 2014 21:13 (1 Réponses)
Données historiques PRT
par Djobydjoba » 24 mai 2017 13:58 (8 Réponses)
Données historiques DAX sur PRT
Pièces jointes par Benoist Rousseau » 08 sept. 2017 13:03 (4 Réponses)
Recherche des données historiques
par Jim » 04 mars 2018 18:56 (3 Réponses)
Données historiques Dax 30
par Chouini l'ourson » 17 déc. 2020 09:20 (3 Réponses)
pour une vision d'un indice très globale
Pièces jointes par DarthTrader » 21 oct. 2015 02:29 (5 Réponses)
Vers une crise mondiale globale ?
par Amarantine » 06 juil. 2016 14:18 (32 Réponses)
Tendance globale.
Pièces jointes par TwoFools » 06 août 2016 11:42 (11 Réponses)