Mettre nos ressources en commun pour récupérer les cours

[takapoto]

Je réessayerai quand j'aurai de nouveau le temps

Oui, Oui

Spoiler:

Pour éviter ce genre de désagrément, j'écrit mes longs messages à part (notepad) et les copie sur l'éditeur du forum au dernier moment...

[lr35]

Quand j'ai eu la page d'alerte, ça m'a énervé, le truc me demandait le captcha et un message pour l'administrateur.

J'ai pensé, à tout les coups, mon message est perdu.

J'ai testé le ctrl+v dans la zone de message, et oh, par reflexe, j'avais fait un ctrl+c avant de poster, youpi, je me suis dit !

Et la, je veux dire mon mécontentement dans cette sécurité contre productive à l'administrateur (pas forcément Benoist, c'est peut être l'admin du proxy utilisé), donc, je copie le titre de la page d'alerte dans la zone du message et ah la bourde, je perd la copie de mon message

Bon, je devrais avoir le temps cet après midi, et je vais me débrouiller pour que ça soit testable avec la commande curl, logiquement avant 15h, faut que je file chercher mes enfants d'abord

[lr35]

J'ai commencé avec la création d'un sujet sur le forum IG pour ceux que ça intéresse

api-ig-par-l-exemple-recuperation-des-c ... t7441.html

[takapoto]

Mise en ligne des cours du 26 au 30 janvier 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 2 au 13 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 2 au 20 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 2 au 27 février 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 2 au 6 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 9 au 13 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[takapoto]

Mise en ligne des cours du 16 au 20 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[Everice]

Super boulot!

[takapoto]

Mise en ligne des cours du 23 au 27 mars 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[yopi]

Bonjour takapoto,

J'ai regardé un peu ce que tu as fait (TakaTicks & TakaPeek), et j'adore . à vrai dire, j'utilise les données que tu as mis à dispo, sans contribuer :musique: .
Je te remercie de les avoir partagées et pour le travail que tu as fait .

Donc, j'utilise les fichiers que tu as mis à dispo via R, dans le but de faire du trading semi-assisté. Ça fait plusieurs fois que j’hésite à t'écrire sur le forum, pour te faire part de mes questions/remarques.

Mais aujourd'hui, je me lance :

• En regardant les données brutes, cela semble être de l'échantillonnage, 1 record par seconde. Si plusieurs records pour la même seconde, c'est du à l'asynchro entre les contributeurs et un changement de cotation dans la seconde. Tu confirmes ?

• Si le cours ne bouge pas pendant 5 secondes, nous avons 5 records dans le fichier avec un cours identique. Pourquoi ne pas en avoir qu'un ?
  Ce choix est peut être du à ton utilisation dans Takaticks ?

• Il pourrait être intéressant d'avoir le record indiquant la ms près, même dans le cas d'un échantillonnage à la seconde (du fait des multiples contributeurs)?
  Dans ce cas, il serait intéressant de faire un relevé aléatoire dans la seconde afin d'éviter que tous les contributeurs n'aient leurs records au top de la seconde.

• Il pourrait aussi être intéressant de pouvoir paramétrer la fréquence des relevés, 0.5 secondes par exemple. Tu as peut être déjà fait l'exercice et trouvé cela inutile, vis à vis de l'augmentation du nombre de records ?

• De combien de contributeur actif disposes-tu maintenant ?

Dommage qu'il ne fonctionne que sous windows. (le pourquoi je ne contribue pas ) J'aurais pu le mettre sur un serveur

Je te remercie encore pour ton travail

[takapoto]

Mais aujourd'hui, je me lance

Bonjour Yopi, tu as bien fait de te lancer !

Tes questions sont intéressantes et judicieuses et méritent une réponse détaillée que je vais faire le plus vite possible.

[takapoto]

En regardant les données brutes, cela semble être de l'échantillonnage, 1 record par seconde. Si plusieurs records pour la même seconde, c'est du à l'asynchro entre les contributeurs et un changement de cotation dans la seconde. Tu confirmes ?

Il pourrait aussi être intéressant de pouvoir paramétrer la fréquence des relevés, 0.5 secondes par exemple.

Effectivement, TakaPeek fonctionne par échantillonage, en récupérant les données temps réel sur la page d'acceuil d'IG.
L'échantillonage est lancé toutes les 250 millisecondes et le programme récupère les cours affichés à ce moment là.
La page HTML récupérée ne contient l'heure que sous le format HH:MM et TakaPeek ajoute les secondes par rapport à son heure machine.
Cette technique est limitée par :
1) La fréquence de rafraichissement de la page d'IG
2) Le temps d'analyse du HTML récupéré pour en extraire les cours (dépend de la puissance de la machine)
En pratique, on constate que cette technique ne permet de récupérer au mieux que deux cours par seconde et que ces deux cours ont souvent la même valeur entre deux 1/2 secondes.
Exemple pour le 17/04 à 12h04 ou la volativité était élevée :
2015-04-17 12:04:05 11902,5
2015-04-17 12:04:05 11902,0
2015-04-17 12:04:06 11902,0
2015-04-17 12:04:06 11900,5
2015-04-17 12:04:07 11900,5
2015-04-17 12:04:07 11901,3
2015-04-17 12:04:08 11901,3
2015-04-17 12:04:08 11901,5

Si le cours ne bouge pas pendant 5 secondes, nous avons 5 records dans le fichier avec un cours identique. Pourquoi ne pas en avoir qu'un ?

Le programme n'analyse pas les cours récupérés, il se contente de les récupérer et de les écrire dans un fichier. S'il avait effectué un filtrage pour éliminer les cours identiques d'une seconde à l'autre, il aurait fallu effectuer un traitement supplémentaire par la suite pour les reconstituer lors de la création des bougies.

Il pourrait être intéressant d'avoir le record indiquant la ms près, même dans le cas d'un échantillonnage à la seconde (du fait des multiples contributeurs)?.

Le programme ajoute de lui-même l'information de la seconde qui n'est pas fournie par IG. Cet ajout est effectué en fonction de l'horloge de la machine qui n'est pas synchronisée avec celle d'IG : il n'est donc pas fiable à 100%. Ce n'aurait pas de sens d'ajouter en plus des ms qui seraient, pour le coup, totalement artificielles, d'autant plus que le but est de fusionner des données provenant de plusieurs machines.

De combien de contributeur actif disposes-tu maintenant ?

Le nombre de contributeur varie suivant les possibilités et les disponibilités de chacun.
Les derniers contributeurs sont :
-
beni-des-dieux (*)
benoist
clodreb
jized (*)
-
et moi
J'en profite pour lancer un appel aux nouveaux contributeurs éventuels : le but n'est pas d'avoir plus de ticks par seconde (la technique employée ne le permet pas), mais d'éviter les trous de cotations dans une journée, les données des uns pouvant compléter celles des autres.

Dommage qu'il ne fonctionne que sous windows

Oui, d'autant plus que je développe sous mac (en faisant tourner windows avec parallele desktop)

(*) jized et beni-des-dieux ont développé leur propre outil de récupération des cours en utilisant les API d'IG.
Cette méthode est plus fiable et fourni plus de données par seconde. Je suis en train de réécrire le programme de fusion de tous les cours reçus pour qu'il tire un meilleur parti de leurs données.

[takapoto]

Mise en ligne des cours jusqu'au 17 avril 2015
(Ici : http://www.andlil.com/forum/mise-en-com ... ml#p162396

[yopi]

Merci pour tes réponses takapoto! ....Et pour le temps que tu consacres aux outils que tu partages

[Gobelet]

Takapoto, y a -t-il des plages horaires qui te font encore régulierement défaut au niveau contributeur ?

[takapoto]

Takapoto, y a -t-il des plages horaires qui te font encore régulierement défaut au niveau contributeur ?

Bonjour Gobelet,

La réponse est non, car la majorité des contributeurs récupèrent les cours 24h/24h.

Les trous de cotations n'interviennent que si plusieurs contributeurs essentiels partent en vacances en même temps et en ayant éteint leur machine (ou doivent l'éteindre pour une raison quelconque).

C'est ma surprise du samedi, quand je vais "relever les compteurs"

Jusqu'à présent, on a eu de la chance, il y a toujours eu un membre pour sauver la mise.

Pour donner un exemple de la qualité - en terme de minutes absentes - des cotations récupérées, voici le résultat de la dernière fusion :

Resultat fusion 20-04-205.png (15.77 Kio) Vu 843 fois

[yopi]

Ah oui quand même !! C'est vraiment complet