Le web n'oublie jamais

Suite de la discussion qui va disparaitre sur la file d amarantine.
Un petit warning pour dire de faire attention à ce que vous mettez sur internet, il n oublie rien.


Et pour preuve une petite image qui ne va pas rajeunir Benoist

Screenshot_20240208_125143_Chrome.jpg (742.72 Kio) Vu 183 fois

wayback machine

Sympa j'avais oublié la première version en rouge

Il y a 14 ans déjà

Oui benoist, pas osé donné le nom car il se rappelle de beaucoup de choses, que parfois vous avez retiré volontairement du forum.
Je ne voulais pas vous créer de pb.

Mais cet outil est absolument dingue, j aimerais connaître leur infra derrière pour être cappable de retenir tout le Web sur 20 ans d historique.
Je trouve cela incroyable, impossible même ! Mais il l ont fait ...

il n'y a pas tout le web. c'est estimé autour de 40% je crois. et ça n'archive pas toutes les pages d'un site chaque jour / chaque heure.... c'est partiel

c'est du texte un peu d'image. le web 1.0 ne pèse rien

Quand on retire des choses c'est que la justice nous l'a demandé ou un membre.

On peut facilement interdire ce crawler de passer avec une simple ligne dans le robot.txt et le site n'est pas archivé. Il l'est si le webmaster le veut bien

Nuts oui bien sur mais c est déjà astronomique.

Benoist : effectivement il suffisait d interdire le user agent de la wayback machine a parser le site.
merci pour ta réponse très claire

merci Zedicus pour le partage

Zeddicus
Ça Ne Nous Rajeunit Pas
Ahhhh Wayback Machine = Souvenirs , Modem 56K, Lycos, Msn...

Nuts en 2023 internet archives rapportait devoir ajouter environ 5 peta octets ( 5 millions de Go ) par mois à leur infrastructure. A cela s ajoutent les Infrastructures de calcul + ram pour réaliser et stocker l indexation nécessaire à une consultation dans de bonnes conditions.

Sachant que ce projet a commencé en 1996 et que le volume est en augmentation constante je ne pense pas que l on puisse dire que cela ne pèse pas grand chose.

J ai visité de nombreux datacenters, et des gros, et je peux te dire que ce type d infra ne se trouve pas à tous les coins de rue ...

oui la NSA est forte

tu as raison c'est quand même considérable.
mais le coût a lui même considérablement diminué.

enregistrer TOUTES les communications SMS et vocales des allemands ne coûterait "que" quelques milliards par an. ou quelques millions ? j'ai le chiffres de 12 mais je ne sais plus c'est quoi ? millions, milliards ?
avant ce n'était même pas chiffrable. ça a été estimé il y'a quelques années.

après j'avais quand même conclu au détour d'une file sur ce forum, que les supports numériques étaient tout sauf durables. et le NET en prime.

certes il y'a des sites comme celui cité qui font des screenshots... mais regarde Skyblog a fermé, MSN...
et une grande partie du Web 1.0...
pourtant tout ça est jeune ; 1994 le NET grand public

ah oui les Skyblog, des centaines de millions de pages, j'avais oublié

Gain du jour 15€.

Ça mérite un back up de cet article Benoist