Synthèse globale // Sujet données historiques/live

Salut à tous !

Ce fil de discussion a pour objet de traiter de la problématique de récupération de données historiques et live en ticks à minima (en priorité les prix/trades et ou bid-ask), qu'elles soient payantes ou gratuites. Je laisse aux admins le soin de modifier le titre ou de changer le fil d'endroit ou de me censurer si nécessaire

D'avance je m'excuse si ce travail a déjà été fait. En ayant passé pas mal de temps sur le forum je n'ai pas trouvé de tel sujet (plus des bribes à droite à gauche).

Ce fil s'adresse en premier lieu à tous ceux qui traitent/"backtestent" en automatique (d'où l'emplacement dans la "Zone de Développement Labzone") mais concerne également ceux qui souhaitent analyser des données historiques pour les importer directement dans des plateformes ou simplement sur Excel ou équivalent.

La data c'est un sujet fondamental. Dans l'univers des quant (le miens en tous cas), on a coutume de dire que c'est 50% du travail.

L'idée est dans un premier temps d'énumérer/recenser les différentes sources de données et providers pour ensuite arriver à des listes les plus exhaustives possibles.

Pour simplifier (au sens rendre le plus opérationnel possible le sujet) je vais créer 2 catégories : dérivés C F D et dérivés Futures. Ils représentent les instruments qui semblent être globalement les plus traités par la communauté à savoir indices actions (DAX/CAX/F T S E/ES/SP/DOW/NAS) et paires majeures (...).

1. C F D => données purement brokers et gratuites

- IG : API dispo. Tout ou presque est récupérable en histo et temps réel. Bien entendu avec des limitations. Gros travail de Takapoto à ce sujet (voir le fil takapeek3)
- Dukaskopy : données récupérables par différents moyens sans être nécessairement client. Par exemple via "Tickstory" ou encore "tickdatadownloader"
- FXCM/Oanda : idem. Multiples possibilités dont Quantconnect => mais plus galère à récup car en théorie limité à l'utilisation au sein du milieu fermé quantconnect (plateforme de création/backtesting de stratégies)
- Truefx : Forex only. Plusieurs intermédiaires pour les sources. Bonne profondeur. Tick sur les paires majeures. Attention OTC only et pas marchés futures

J'ai eu l'occasion d'utiliser toutes ces sources et ce que je retiens c'est qu'il est important de les croiser dans la mesure où il y a parfois des erreurs, des trous, etc... C'est aussi intéressant pour analyser les spreads des brokers et voir comment ils varient, notamment en période de forte vol. Il y a bien d'autres application mais ce n'est pas le but de les énumérer ici !

2. Futures => données payantes avec le coût de l'intermédiation + celui lié à l'exchange

- IQfeed DTN : à ce que j'ai pu voir, un des meilleurs rapports qualité prix. Données brutes. Je vais demander une période d'essai
- Futures via PRT en DDE : payant mais flux DDE assez limité
- Autre : lien intéressant => https://quantpedia.com/Links/HistoricalData. Très général est assez riche

Voilà merci pour vos contributions éventuelles !

Salut Robinhood et merci pour ce travail de recherche.

Je travail actuellement tout comme toi sur la récupération de données en temps réel. Pour le moment j'utilise l'Api IG.
Par contre je n'arrive à récupérer de données historiques.
Tu dis pouvoir récupérer un historique via l'Api IG, pourrais-tu m'en dire plus? jusqu'à quel période?

merci

Salut Pingoo

Via l'Api IG je ne fait que du requetage live. Tu utilises quel langage pour te connecter à l'API ?

J'ai déjà testé via Matlab ça marchait nickel. Pour le live comme c'est des données asynchrones je suis passé par C#.

Si tu veux des données rapidement et peut importe l'ut, je trouve plus simple de passer par tickstory. Leur source est le broker z-scopy. Ca marche nickel. Ca sera du C F D comme pour ig. Voir ci-dessous la capture d'écran.

Je t'ai fait un export sur la dernière année à titre d'exemple (j'ai testé 10 ans ça ne semble pas passer). Tu trouveras les données via le lien drive ci-dessous. Dis moi dès que tu l'auras téléchargé que je vire le lien.

https://drive.google.com/open?id=1YgdV4RHn2jdi_PGxrI_clg8Qa2uKuJlT

J'utilise le dotnet et je passe par un site web azure et j'enregistre les données dans une base MySQL.

Je viens de tester tickstory mais impossible de telecharger de .csv...
Comment as tu fais, je n'ai que des fichier au format ".bi5" ????

Est-ce tu as bien accès aux pop-ups suivantes ?

Oui et j'ai bien en nom du fichier sorti un .csv

Mais le résultat est tout autre. Faut il utiliser la version payante?

merci

C'est ok j'ai trouvé, les .bi5 sont des fichier de configuration. Les .csv étaient stockés ailleurs

merci

Parfait !

Je me permet de relancer cette file.

Je recherche un fournisseur de données européen fiable capable de transmettre (à minima) les flux des futures.

Pour l'instant ma seule alternative c'est IQFeed. Le soucis c'est la latence pour les marchés hors US (pas de soucis évidement pour dow, nas, sp, etc...).

Le fournisseur doit obligatoirement fournir plusieurs API (c'est le cas de tous les fournisseurs sérieux).

Retours bienvenus, merci par avance++

bonjour et merci

https://www.six-group.com/financial-information/fr/home/global-data-services.html
https://www.six-group.com/financial-information/dam/downloads/Others/SIX_FI_Connectivity_Guide_FR.pdf


aucune expérience
c'est juste google qui me donne ça

Merci Noko mais Six financials c est plus un fournisseur global de données comme Morningstar, Reuters ou encore Bloomberg.

Sinon jai repéré CQG et Nanex (mais bien plus chers qu'IQFeed). Il y a aussi Quantfeed qui à lair top mais jaibpas lombre dun tarif sur leur site donc ça doit être hors de prix.

Il y aussi it-finance qui fournit prt. Qlq les utilise en dehors de prt ?

Je pense que ca va être IQFeed..

Svp pour ceux qui ont une info à apporter sur le sujet, uniquement ceux qui ont testé (ou eu un retour d'un tiers) un provider. Merci !