ProRealTime
On y parle Livres et Outils de Trading, Station de Trading, des livres lus sur le trading, de notre vision du trader et de son métier

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 28 janv. 2015 07:26

lr35 a écrit :Je réessayerai quand j'aurai de nouveau le temps
Oui, Oui :)
Spoiler:
Pour éviter ce genre de désagrément, j'écrit mes longs messages à part (notepad) et les copie sur l'éditeur du forum au dernier moment...

Re: Mise en commun de nos ressources pour récupérer les cour

par lr35 » 28 janv. 2015 11:43

Quand j'ai eu la page d'alerte, ça m'a énervé, le truc me demandait le captcha et un message pour l'administrateur.

J'ai pensé, à tout les coups, mon message est perdu.

J'ai testé le ctrl+v dans la zone de message, et oh, par reflexe, j'avais fait un ctrl+c avant de poster, youpi, je me suis dit !

Et la, je veux dire mon mécontentement dans cette sécurité contre productive à l'administrateur (pas forcément Benoist, c'est peut être l'admin du proxy utilisé), donc, je copie le titre de la page d'alerte dans la zone du message et ah la bourde, je perd la copie de mon message :(

Bon, je devrais avoir le temps cet après midi, et je vais me débrouiller pour que ça soit testable avec la commande curl, logiquement avant 15h, faut que je file chercher mes enfants d'abord

Re: Mise en commun de nos ressources pour récupérer les cour

par lr35 » 28 janv. 2015 13:42

J'ai commencé avec la création d'un sujet sur le forum ig pour ceux que ça intéresse

api-ig-par-l-exemple-recuperation-des-c ... t7441.html

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 31 janv. 2015 12:36

Mise en ligne des cours du 26 au 30 janvier 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 15 févr. 2015 12:18

Mise en ligne des cours du 2 au 13 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 22 févr. 2015 10:43

Mise en ligne des cours du 2 au 20 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 01 mars 2015 20:39

Mise en ligne des cours du 2 au 27 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 09 mars 2015 19:22

Mise en ligne des cours du 2 au 6 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 15 mars 2015 21:17

Mise en ligne des cours du 9 au 13 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 22 mars 2015 14:45

Mise en ligne des cours du 16 au 20 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par Everice » 22 mars 2015 15:19

Super boulot! :top:

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 29 mars 2015 20:48

Mise en ligne des cours du 23 au 27 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par yopi » 19 avr. 2015 00:18

Bonjour takapoto,

J'ai regardé un peu ce que tu as fait (TakaTicks & TakaPeek), et j'adore :). à vrai dire, j'utilise les données que tu as mis à dispo, sans contribuer :musique: .
Je te remercie de les avoir partagées et pour le travail que tu as fait :).

Donc, j'utilise les fichiers que tu as mis à dispo via R, dans le but de faire du trading semi-assisté. Ça fait plusieurs fois que j’hésite à t'écrire sur le forum, pour te faire part de mes questions/remarques.

Mais aujourd'hui, je me lance :
  • En regardant les données brutes, cela semble être de l'échantillonnage, 1 record par seconde. Si plusieurs records pour la même seconde, c'est du à l'asynchro entre les contributeurs et un changement de cotation dans la seconde. Tu confirmes ?
  • Si le cours ne bouge pas pendant 5 secondes, nous avons 5 records dans le fichier avec un cours identique. Pourquoi ne pas en avoir qu'un ?
    Ce choix est peut être du à ton utilisation dans Takaticks ?
  • Il pourrait être intéressant d'avoir le record indiquant la ms près, même dans le cas d'un échantillonnage à la seconde (du fait des multiples contributeurs)?
    Dans ce cas, il serait intéressant de faire un relevé aléatoire dans la seconde afin d'éviter que tous les contributeurs n'aient leurs records au top de la seconde.
  • Il pourrait aussi être intéressant de pouvoir paramétrer la fréquence des relevés, 0.5 secondes par exemple. Tu as peut être déjà fait l'exercice et trouvé cela inutile, vis à vis de l'augmentation du nombre de records ?
  • De combien de contributeur actif disposes-tu maintenant :) ?
Dommage qu'il ne fonctionne que sous windows. (le pourquoi je ne contribue pas ;) ) J'aurais pu le mettre sur un serveur

Je te remercie encore pour ton travail

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 19 avr. 2015 07:25

yopi a écrit : Mais aujourd'hui, je me lance
Bonjour Yopi, tu as bien fait de te lancer !

Tes questions sont intéressantes et judicieuses et méritent une réponse détaillée que je vais faire le plus vite possible.

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 19 avr. 2015 09:09

yopi a écrit :En regardant les données brutes, cela semble être de l'échantillonnage, 1 record par seconde. Si plusieurs records pour la même seconde, c'est du à l'asynchro entre les contributeurs et un changement de cotation dans la seconde. Tu confirmes ?
yopi a écrit :Il pourrait aussi être intéressant de pouvoir paramétrer la fréquence des relevés, 0.5 secondes par exemple.
Effectivement, TakaPeek fonctionne par échantillonage, en récupérant les données temps réel sur la page d'acceuil d'IG.
L'échantillonage est lancé toutes les 250 millisecondes et le programme récupère les cours affichés à ce moment là.
La page HTML récupérée ne contient l'heure que sous le format HH:MM et TakaPeek ajoute les secondes par rapport à son heure machine.
Cette technique est limitée par :
1) La fréquence de rafraichissement de la page d'IG
2) Le temps d'analyse du HTML récupéré pour en extraire les cours (dépend de la puissance de la machine)
En pratique, on constate que cette technique ne permet de récupérer au mieux que deux cours par seconde et que ces deux cours ont souvent la même valeur entre deux 1/2 secondes.
Exemple pour le 17/04 à 12h04 ou la volativité était élevée :
2015-04-17 12:04:05 11902,5
2015-04-17 12:04:05 11902,0
2015-04-17 12:04:06 11902,0
2015-04-17 12:04:06 11900,5
2015-04-17 12:04:07 11900,5
2015-04-17 12:04:07 11901,3
2015-04-17 12:04:08 11901,3
2015-04-17 12:04:08 11901,5

yopi a écrit :Si le cours ne bouge pas pendant 5 secondes, nous avons 5 records dans le fichier avec un cours identique. Pourquoi ne pas en avoir qu'un ?
Le programme n'analyse pas les cours récupérés, il se contente de les récupérer et de les écrire dans un fichier. S'il avait effectué un filtrage pour éliminer les cours identiques d'une seconde à l'autre, il aurait fallu effectuer un traitement supplémentaire par la suite pour les reconstituer lors de la création des bougies.
yopi a écrit :Il pourrait être intéressant d'avoir le record indiquant la ms près, même dans le cas d'un échantillonnage à la seconde (du fait des multiples contributeurs)?.
Le programme ajoute de lui-même l'information de la seconde qui n'est pas fournie par IG. Cet ajout est effectué en fonction de l'horloge de la machine qui n'est pas synchronisée avec celle d'IG : il n'est donc pas fiable à 100%. Ce n'aurait pas de sens d'ajouter en plus des ms qui seraient, pour le coup, totalement artificielles, d'autant plus que le but est de fusionner des données provenant de plusieurs machines.
yopi a écrit :De combien de contributeur actif disposes-tu maintenant :) ?
Le nombre de contributeur varie suivant les possibilités et les disponibilités de chacun.
Les derniers contributeurs sont :
-
beni-des-dieux (*)
benoist
clodreb
jized (*)
-
et moi
J'en profite pour lancer un appel aux nouveaux contributeurs éventuels : le but n'est pas d'avoir plus de ticks par seconde (la technique employée ne le permet pas), mais d'éviter les trous de cotations dans une journée, les données des uns pouvant compléter celles des autres.
yopi a écrit :Dommage qu'il ne fonctionne que sous windows
Oui, d'autant plus que je développe sous mac (en faisant tourner windows avec parallele desktop) :)

(*) jized et beni-des-dieux ont développé leur propre outil de récupération des cours en utilisant les API d'IG.
Cette méthode est plus fiable et fourni plus de données par seconde. Je suis en train de réécrire le programme de fusion de tous les cours reçus pour qu'il tire un meilleur parti de leurs données.

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 20 avr. 2015 15:27

Mise en ligne des cours jusqu'au 17 avril 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

Re: Mise en commun de nos ressources pour récupérer les cour

par yopi » 23 avr. 2015 22:55

Merci pour tes réponses takapoto! ....Et pour le temps que tu consacres aux outils que tu partages

Re: Mise en commun de nos ressources pour récupérer les cour

par Gobelet » 24 avr. 2015 11:28

Takapoto, y a -t-il des plages horaires qui te font encore régulierement défaut au niveau contributeur ?

Re: Mise en commun de nos ressources pour récupérer les cour

par takapoto » 24 avr. 2015 12:08

Gobelet a écrit :Takapoto, y a -t-il des plages horaires qui te font encore régulierement défaut au niveau contributeur ?
Bonjour Gobelet,

La réponse est non, car la majorité des contributeurs récupèrent les cours 24h/24h.

Les trous de cotations n'interviennent que si plusieurs contributeurs essentiels partent en vacances en même temps et en ayant éteint leur machine (ou doivent l'éteindre pour une raison quelconque).

C'est ma surprise du samedi, quand je vais "relever les compteurs" :)

Jusqu'à présent, on a eu de la chance, il y a toujours eu un membre pour sauver la mise.

Pour donner un exemple de la qualité - en terme de minutes absentes - des cotations récupérées, voici le résultat de la dernière fusion :
Resultat fusion 20-04-205.png
Resultat fusion 20-04-205.png (15.77 Kio) Vu 568 fois

Re: Mise en commun de nos ressources pour récupérer les cour

par yopi » 25 avr. 2015 16:18

Ah oui quand même !! C'est vraiment complet

Sujets similaires
Récupérer les cours des marchés IG sous Excel
par beni » 22 août 2015 16:25 (13 Réponses)
Récupérer les cours avec l'API IG Market et Python
par Amarantine » 24 juil. 2016 12:09 (55 Réponses)
Récupérer les cours du Micro E-mini DJ30 sur IB
par Benoist Rousseau » 02 août 2020 15:41 (3 Réponses)
PRT : mangeur de ressources
par Benoist Rousseau » 29 oct. 2014 07:09 (6 Réponses)
Ressources pour le TRADING ACTIONS
par Sagal » 03 avr. 2015 09:46 (3 Réponses)
La fin des ressources
Fichier(s) joint(s) par chad » 17 oct. 2015 22:34 (7 Réponses)
Recherche ressources pour article sur FOMO
par ChristelleP » 11 avr. 2020 14:28 (9 Réponses)
Recherche ressources sur le processus vs résultats
Fichier(s) joint(s) par Ratiogame » 15 août 2020 16:40 (25 Réponses)
Fonds commun de placement ou gestion par soi même ?
par kieran » 11 juin 2014 17:28 (10 Réponses)
wallet commun deux personnes
par Benoist Rousseau » 13 sept. 2018 22:55 (5 Réponses)