Les tics sont toctocs

Bonjour,
Pour la petite histoire : j'ai écrit un programme collecteur de ticks par les API qui tourne en continu depuis plus d'un an. Entre autre il sert à alimenter la base de ticks de Takaticks.
Depuis quelques semaines - publie chaque jour un bilan du nombre de ticks qu'il collecte de son côté.
Or les chiffres ne collent pas, et ça m'intrigue, voire ça m'inquiète.

J'ai laissé tourner un programme toute la journée, qui a récupéré les ticks du DAX de 4 façons : en lots plein et en mini, sur mon compte démo et sur mon compte réel.

Et là, grosse surprise : selon les comptes on n'a pas les mêmes ticks !!!

Je précise que j'ai mis ça sur un serveur très peu chargé avec une bonne connectivité (bande passante de 100Mbits/s et ping vers ig.com de 3ms). Il n'y a pas eu de saturation de ce côté là.

Bilan entre 8h et 22h (heure française) :
07:00-20:59 UTC : DAX demo mini : 65474 ticks : min=11076.9 max=11331.9 : max 15 ticks/s
07:00-20:59 UTC : DAX demo full : 57430 ticks : min=11076.9 max=11331.9 : max 14 ticks/s
07:00-20:59 UTC : DAX real mini : 68035 ticks : min=11076.9 max=11331.9 : max 14 ticks/s
07:00-20:59 UTC : DAX real full : 54935 ticks : min=11076.9 max=11332.2 : max 14 ticks/s

Sur un compte réel : 13100 ticks de moins en lots pleins que en mini-lots, surprenant, non ?
Et le point haut du jour qui n'est pas tout à fait le même !

Détail heure par heure au format CSV pour lire avec un tableur :

Spoiler:

Même constat sur la paire EURUSD :
07:00-20:59 UTC : EURUSD demo mini : 134242 ticks : min=1.05504 max=1.06321 : max 20 ticks/s
07:00-20:59 UTC : EURUSD demo full : 131525 ticks : min=1.05504 max=1.0632 : max 19 ticks/s
07:00-20:59 UTC : EURUSD real mini : 132712 ticks : min=1.05504 max=1.06321 : max 19 ticks/s
07:00-20:59 UTC : EURUSD real full : 135424 ticks : min=1.05504 max=1.06321 : max 19 ticks/s

Spoiler:

Je ne sais pas ce qu'il faut penser de cela.
PRT a peut-être un flot de ticks encore différent. Ce serait une explication aux décalages souvent constatés entre lui et les autres applications.

D'autres ont peut-être aussi fait ce genre d'analyse.

Merci pour ce travail précis et instructif.

On savait déjà que la demo à quelques différences par rapport au réel qu'on avait listé: bugs repérés qui ne sont pas en réel, calcul des frais overnight faux, moins d'instruments tradables... Maintenant on sait grâce à toi que le flux n'est pas le même non plus même si on s'en doutait un peu ou du moins que selon l'api il y en a en plus ou en moins.

On voit à l'œil nu parfois que prt est plus lent que la l3 ou takascalper pendant quelques secondes parfois dans la journée les ticks sur prt ont une demi seconde de retard pendant quelques secondes et cela revient à la norme. Là on perd des ticks.

J'ai ainsi un peu plus de ticks sur la connexion vdsl2 à 7 8 ms avec 18/5 Mo ms que sur ma connexion fibre à 29 30ms et 400/20 mo. Ce n'est pas lié qu'à la vitesse mais aux pertes de paquets. Ma connexion vdsl2 en perd 5 à 10 fois moins sur une journée que ma connexion fibre

Sur une connection ADSL à Paris c'était plus de 100.000 paquets perdus par jours

d'ailleurs depuis que Takapoto a intégré son ping en continue je scalpe avec la vdsl2...

Je vais recevoir un nouvel ordinateur doté d'une carte réseau intel coûtant 3 fois le prix d'une carte mère et qui est spécialisé dans la gestion des petits paquets tcp. Ils promettent une réduction des pertes de paquets importantes, la carte étant spécialisé dans les petits paquets.

MSI a aussi sorti une carte mère avec une carte réseau spécial gamer qui améliore cela en rendant plus réactive la carte réseau. C'est sur certaines de leur dernière carte mère x99. Il y z même des cartes réseaux gamer lancés par gigabyte notamment pour s'affranchir de la couche réseau Windows pour aller plus vite. Je m'amuserai à voir cela sur les deux ordis branché tous les deux à la fibre. Je vais cloner les pc. Installation windows 10 sans aucune modification et connexion web ig avec 10 indices en boucle. Mais je devrai recevoir plus de paquets avec ma carte réseau intel qu'avec ma carte réseau de base gigabyte

j'ai découvert que c'était le maillon faible surtout sur ordinateur portable la carte réseau les performances pouvant aller d'un facteur 1 à 10... On a des cartes lambdas alors que les cartes pro valent des fortunes parfois

Pour tester les paquets perdus :
http://www.pingtest.net/

(il faut un navigateur supportant java)

Très important pour ceux qui tradent en 3G et 4g de tester.

Au niveau de la box on a aussi les pertes fec de la box d'affichés dans les options selon les opérateurs. Parfois c'est même des filtres qui nous en font perdre... Mode sérénité ou patate chez Free par exemple. Hélas trop peu de fai permettent de tweaker un peu le flux de réception au niveau de la box mais chez Free c'est impressionnant la différence entre leur différent mode patate et sérénité.

Ensuite il y a les pertes entre la box et le pc en wifi je n'en parle pas ça dépend de chaque installation épaisseur des murs et type de clé wifi et cela peut-être très important.

Salut -,
Content que tu passes par là.

"Ça ne colle pas" : tu as toujours un peu plus de ticks que moi, mais les quantités quotidiennes varient dans les mêmes proportions.
Par exemple aujourd'hui (03/12/2015), j'ai eu 108948 ticks sur le DAX30, et toi 109882.

Les valeurs que j'ai épluchées dans mon 1er post sont celles du 02/12.

Comme mon récupérateur auto est sur le DAX plein, je vais le passer sur le DAXmini dès demain pour voir si cela explique la différence avec toi.

J'ai refait l'expérience de comparaison des flux aujourd'hui (03/12), mais juste pendant quelques heures pendant l'apm, sur le compte réel, au moment où ça bougeait vraiment beaucoup (je ne veux pas trop abuser des connexions en // car on est limité pour les API et je crains de me faire blacklister par ig).

Encore une fois, il y a eu sensiblement plus de ticks sur le DAXmini que sur le DAXplein.

Quelques valeurs (03/12) :
14:00-14:59 UTC : DAX real mini : 11335 ticks : min=10853.4 max=10988.1 : max 9 t/s
15:00-15:59 UTC : DAX real mini : 10243 ticks : min=10809.9 max=10905.4 : max 10 t/s
16:00-16:59 UTC : DAX real mini : 8831 ticks : min=10743.1 max=10892.4 : max 10 t/s
17:00-17:59 UTC : DAX real mini : 5710 ticks : min=10658.4 max=10779.9 : max 13 t/s

***************************************
Le temps fort de la journée :
***************************************
13:43:15.490 10871,4
13:43:15.590 10856,4
13:43:15.689 10840,6
3 ticks, 0.2 s, -30.8 points

le DAX !!!

-, le problème n'est pas de ne pas perdre des ticks, ça c'est facile, mais de les recevoir.
Ce que j'ai voulu mettre en avant, c'est que à ma grande surprise nous ne recevons pas tous les mêmes ticks.

J'ai fait une expérience assez déroutante : 2 serveurs distincts avec une bonne connexion réseau connectés en même temps avec le même compte ne reçoivent pas exactement les mêmes ticks. Les prix sont globalement les mêmes, mais il peut en manquer quelques-uns d'un côté ou de l'autre, et l'horodatage de ig en ms n'est pas le même (donc on ne peut pas isoler un tick par son heure, et pourtant c'est celle marquée par ig).

Encore plus intriguant à mon goût : on n'a pas les mêmes ticks sur le dax mini (IX.D.DAX.IMF.IP) que sur le dax plein (IX.D.DAX.IDF.IP), même sur un compte réel. Il y a sensiblement plus de ticks sur le flux mini que sur le plein, et ça je ne me l'explique pas.

Ça ne me choque pas du tout qu'il y ait des lacunes sur un compte démo, mais en réel c'est troublant.

Je trouve aussi qu'il serait très intéressant d'échanger quelques fichiers pour analyser les différences. On peut se limiter au dax pour simplifier. Pour que les conditions soient comparables, il faudrait que tu me donnes quelques précisions : type de compte (réel ou démo) et epic.
Je peux m'adapter sans souci et lancer la moulinette dès lundi.

: 071913_1645_PMPSeriesPr2.png (37.74 Kio) Vu 838 fois

Vous souscrivez en CHART ou en MARKET ?
En CHART les messages sont puschés 1 par 1 et en flot continu.
Après j'ai eu plusieurs ig qui le dit que 100%?be dont pas reporté côté client (sic)

L'autre jour, j'ai eu le problème avec un ticket clôturer alors que le plus haut tick n'avait pas touché le prix de sortie, et ce que ce soit sur prt ou sur le web.

Donc on peut dire que le flux doit correspondre à 99,xxx de la réalité des transactions et autre changement

Je crois me souvenir que lors de mes derniers tests, en MARKET, on n'avais pas les millisecondes alors qu'en CHART oui.
Donc, ils doivent parler de CHART...

Pour ma part : mode CHART avec les 3 champs Bid OFR et UTM.
Pour swing, je ne sais pas, mais je constate qu'il n'affiche pas les ms.

Je comprends que quelques ticks puissent se perdre en route aux moments de très forte volatilité à cause des aléas réseau, mais pas que avec 2 connexions simultanées depuis 2 ip distinctes ayant un excellent ping vers ig.com je reçoive bien des ticks de même prix mais avec des horodatages différents (je parle bien du champ UTM, pas de l'heure locale de la machine au moment où le tick arrive.

Ceci dit, ce n'est pas forcément grave, et ça ne justifie certainement pas que je ne sois pas un très bon trader (doux euphémisme), mais j'aime bien comprendre. Par contre ça enlève toute notion de référence intangible aux ticks. Dans l'histoire des religions fanatiques et décérébrées il y a eu des schismes pour moins que ça

et une idée à tester

même serveur, même connexion, même instrument (via vmware par exemple moi je ne suis pas pro comme vous, je suis un bricolo) as t'on les mêmes résultats ?

Non non -, ig m'a cloturer un ticket ce qui aurais du correspondre à un haut de Bougie, or quand je regardais les bougies, le prix avait été frolé mais non atteint/ non dépassé.

Après avoir discuté avec le desk, on m'a servi un "Tous les ticks du FDAX (ou F40, je ne sais plus) ne sont pas forcément reportés" (sic).
On m'a servi le faut sue l'on devait être dans un cas d'engorgement ou de forte volatotolié, ... ça devait être un jour de semaine tout à fait ordinaire vers 12h30 (pas le moment où il y a le plus de tick).

En dédomagement commercial et comme c'était un reste de ticket il me l'on re-ouvert ... Je n'aurais pas eu les yeux rivé sur le graphe, je ne n'aurais rien ...

Donc tout ça pour dire, que les ticks que nous avons sous la main ne sont pas 100% la réalité, c'est pour ça que j'écrivais que nous n'avons que 99 à 99,XX% du flux réel, ... C'et déplorable, mais à nous de faire avec.

Aucun flux n'est complet.

Je vais corriger mon post, entre les erreurs et les mots manquant ce n'est pas simple

Voila j'ai corrigé les deux derniers post. Ça devrait être plus lisible.

Bien ! là c'est mieux écrit (et comme dit un collègue "Le diable est dans les détails")

Vous savez sur mon Hedge avec des flux futures qui valent 150€ par mois on rate des ticks aussi. Un coup j'ai été exécuté et je n'ai pas vu le Carnet d'ordres cqg toucher le cours. Et cqg est une référence.

- a écrit :Correction : Je suis complètement sûr de ma solution. Je ne peux rater aucun tick de tous ceux qui nous sont proposés par le broker (car je ne peux pas être plus royaliste que le roi).

Etant très méfiant par nature envers les certitudes, les miennes comme celles des autres, je préfère cette version.
Par contre j'ajouterais : "...et qui ont réussi à parcourir sans encombre le dédale de routeurs qui mènent du broker à ta machine".

Il y a aussi la couche lightstreamer qui fait de son mieux mais qui ne garantit pas que l'intégralité des données soit transférée, question d'accord entre la fréquence des données et la bande passante du réseau à un moment donné.

Tu précises t'abonner au future DAX. C'est donc normal que nous n'ayons pas les mêmes flux de ticks. Une comparaison précise n'aurait donc pas de sens.

Tu indiques aussi te contrefoutre de l'horodatage. Là, je ne te suis pas. En effet personne ne trade à la ms, ni même au 100ème, le problème n'est pas là. Le souci c'est qu'un décalage infime qui se produirait en fin de minute, ou pire en fin d'heure, peut complètement modifier l'aspect des bougies, et perturber la prise de décision. Imagine un tick qui décale le cours de plusieurs pts, ça n'est pas rare, et qui est horodaté pour les uns à 13h39'59.999" et pour les autres à 14h00'00.000". Une seule ms d'écart, et pourtant ça change toutes les courbes des ut 1h et moins.

En fait je me sens très proche du - du mois dernier qui s'offusquait qu'un flux de ticks puisse ne pas être irréprochable takascalper-interface-de-trading-utilis ... ml#p326257
Mais je crains que la réalité soit tout autre.

Outre des ticks perdus, il me semblerait qu'avec les api il y ait des décalages d'horodatage selon les connexions, ou même entre des sous-jacents qui devraient être identiques comme le dax30 minilots et le dax30 lots pleins.

Je lance une nouvelle batterie de tests. On verra ce que ça donne dans quelques jours.

falex a écrit :Non non -, IG m'a cloturer un ticket ce qui aurais du correspondre à un haut de bougie, or quand je regardais les bougies, le prix avait été frolé mais non atteint/ non dépassé.

Après avoir discuté avec le desk, on m'a servi un "Tous les ticks du FDAX (ou F40, je ne sais plus) ne sont pas forcément reportés" (sic).

C'est tout de même décevant que les bougies elles-même ne puisse pas retranscrire un historique fiable : une bougie, ce n'est jamais que 4 valeurs (OHLC) ! C'est une chose de ne pas "voir" le tick en temps réel parce que ça va vite / des paquets se perdent / le flux est plus ou moins complet, mais c'en est une autre d'avoir une bougie dont le plus haut ne correspond pas à la réalité, je trouve.

IG permet de s'abonner à plusieurs flux.
Il y a un flux pour recevoir les ticks et un autre flux pour recevoir les bougies.
La discussion porte uniquement sur le flux des ticks (et des bougies reconstituées à partir de ces ticks).
Cela ne signifie pas que les bougies directement envoyées par IG ne sont pas correctes.

OK merci de la précision. Ce serait intéressant que Falex précise de quel type de Bougie il parlait.

Les tics sont toctocs

Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Re: Les tics sont toctocs

Sujets Récents sur les Forums

Liens Utiles

FAIRE UNE RECHERCHE