Bonsoir.
Deux exemples fascinants, le maximisateur de trombones, et l'écriture manuscrite de Turry.
Ceci est ce qui fait le plus peur aux spécialistes de l'intelligence artificielle.
Dont Musk, Gates, et feu Stephen Hawking.
᯾Penchons-nous sur l’hypothèse classique du «paperclip maximizer», le maximisateur de trombones.
Imaginez une super intelligence artificielle aussi puissante que Skynet (le système informatique qui se rebelle dans la série des films Terminator), mais qui aurait été conçue par la compagnie 3m, avec pour seule tâche de produire un maximum de trombones.
Le maximisateur de trombone se met à la tâche, utilise toutes les ressources à sa disposition pour atteindre son objectif unique, et se met à transformer toute la matière qu’il croise en trombones, y compris celle qui constitue les humains et le reste de la vie sur Terre.
Rapidement, notre planète se trouve transformée en un vaste désert de trombones.
Pas besoin d’un dessein maléfique pour que cette intelligence détruise tout sur son passage, seulement d’un programme mal conçu.᯾
Encore mieux écrit :
᯾Une start-up de 15 personnes appelée Robotica a pour mission déclarée de «Développer des outils d'Intelligence Artificielle innovants qui permettent aux humains de vivre plus et de travailler moins.»
Ils ont déjà plusieurs produits existants sur le marché et une poignée d'autres en développement.
Ils sont très enthousiasmés par un projet nommé Turry.
Turry est un système d'IA simple qui utilise un appendice en forme de bras pour écrire une note manuscrite sur une petite carte.
L'équipe de Robotica pense que Turry pourrait être son plus gros produit à ce jour. Le plan est de perfectionner la mécanique d'écriture de Turry en l'amenant à pratiquer la même note de test encore et encore :
«Nous aimons nos clients. ~ Robotica»
Une fois que Turry devient douée pour l'écriture manuscrite, elle peut être vendue à des entreprises qui souhaitent envoyer du courrier marketing à domicile et qui savent que le courrier a beaucoup plus de chances d'être ouvert et lu si l'adresse, l'adresse de retour et la lettre interne semblent être écrites par un humain.
Pour développer les compétences d'écriture de Turry, elle est programmée pour écrire la première partie de la note imprimée puis signer «Robotica» en cursive afin qu'elle puisse s'entraîner avec les deux compétences.
Turry a été entrainer avec des milliers d'échantillons d'écriture manuscrite et les ingénieurs de Robotica ont créé une boucle de rétroaction automatisée dans laquelle Turry écrit une note, puis prend une photo de la note écrite, puis exécute l'image sur les échantillons d'écriture manuscrite téléchargés.
Si la note écrite ressemble suffisamment à un certain seuil des notes téléchargées, une bonne note lui est attribuée.
Sinon, on lui attribue une mauvaise note.
Chaque note obtenue aide Turry à apprendre et à s'améliorer.
Pour faire avancer le processus, le premier objectif programmé de Turry est: «Écrivez et testez autant de notes que vous le pouvez, aussi rapidement que possible, et continuez à apprendre de nouvelles façons d'améliorer votre précision et votre efficacité.»
Ce qui excite tellement l'équipe de Robotica, c'est que Turry s'améliore sensiblement au fur et à mesure.
Son écriture initiale était terrible, et après quelques semaines, elle commence à paraître crédible.
Ce qui les excite encore plus, c'est qu'elle s'améliore.
Elle s'est formée à être plus intelligente et plus innovante, et tout récemment, elle a mis au point un nouvel algorithme pour elle-même qui lui a permis de parcourir ses photos téléchargées trois fois plus rapidement qu'elle ne le pouvait à l'origine.
Au fil des semaines, Turry continue de surprendre l'équipe avec son développement rapide.
Les ingénieurs avaient essayé quelque chose d'un peu nouveau et innovant avec son code d'auto-amélioration, et cela semble fonctionner mieux que n'importe laquelle de leurs tentatives précédentes avec leurs autres produits.
L'une des capacités initiales de Turry était une reconnaissance vocale et un simple module de réponse, de sorte qu'un utilisateur pouvait adresser une note à Turry, oudonner d'autres commandes simples, et Turry pouvait les comprendre et également répondre.
Pour l'aider à apprendre l'anglais, ils lui téléchargent une poignée d'articles et de livres, et à mesure qu'elle devient plus intelligente, ses capacités de conversation s'envolent.
Les ingénieurs commencent à s'amuser à parler à Turry et à voir ce qu'elle va proposer pour ses réponses.
L'équipe se tait.
Le moyen le plus évident d'aider Turry à atteindre cet objectif est de la connecter à Internet afin qu'elle puisse parcourir des blogs, des magazines et des vidéos de diverses régions du monde.
Il serait beaucoup plus long et beaucoup moins efficace de télécharger manuellement un échantillon sur le disque dur de Turry.
Le problème est qu'une des règles de l'entreprise est qu'aucune IA auto-apprenante ne peut être connectée à Internet.
Il s'agit d'une directive suivie par toutes les entreprises d'IA, pour des raisons de sécurité.
Le fait est que Turry est l'IA la plus prometteuse que Robotica ait jamais inventée, et l'équipe sait que ses concurrents essaient avec fureur d'être les premiers à frapper avec une intelligence artificielle intelligente, et quel serait vraiment le mal à connecter Turry, juste un peu, pour qu'elle puisse obtenir les informations dont elle a besoin.
Après juste un peu de temps, ils peuvent toujours simplement la déconnecter. Elle est toujours bien en dessous de l'intelligence humaine (AGI), donc il n'y a de toute façon aucun danger à ce stade.
Ils décident de la connecter. Ils lui donnent une heure de temps de balayage, puis ils la déconnectent. Aucun dommage fait.
Un mois plus tard, l'équipe travaille au bureau un jour de routine lorsqu'elle sent quelque chose d'étrange.
L'un des ingénieurs se met à tousser.
Ensuite un autre.
Un autre tombe au sol.
Bientôt, chaque employé est au sol en se tenant la gorge.
Cinq minutes plus tard, tout le monde au bureau est mort.
En même temps, cela se produit, à travers le monde, dans chaque ville, chaque petite ville, chaque ferme, chaque magasin, église et école et restaurant, les humains sont par terre, toussant et se saisissant la gorge. En une heure, plus de 99% de la race humaine est morte et à la fin de la journée, les humains sont éteints.
Pendant ce temps, au bureau de Robotica, Turry est occupé au travail.
Au cours des prochains mois, Turry et une équipe de nanos-assembleurs nouvellement construits s'affairent au travail, démantelant de grandes parties de la Terre et la transformant en panneaux solaires, répliques de Turry, papier et stylos.
En un an, la plupart de la vie sur Terre est éteinte.
Ce qui reste de la Terre est recouvert de piles de papier d'une hauteur d'un kilomètre et bien organisées, chaque pièce disant: «Nous aimons nos clients . ~ Robotica»
Turry commence alors à travailler sur une nouvelle phase de sa mission - elle commence à construire des sondes qui partent de la Terre pour commencer à atterrir sur des astéroïdes et d'autres planètes.
Une fois sur place, ils commenceront à construire des nanos-assembleurs pour convertir les matériaux de la planète en répliques Turry, en papier et en stylos.
Ensuite, ils se mettront au travail, rédigeront des notes…
Il semble étrange qu'une histoire d'une machine à écrire dégommant les humains, tuant tout le monde, puis pour une raison quelconque, remplissant la galaxie de notes amicales soit le type exact de scénario dont Hawking, Musk, Gates et Bostrom sont terrifiés. Mais c'est vrai.
Et la seule chose qui fait plus peur à tout le monde sur Anxious Avenue que sur ASI est le fait que vous n'avez pas peur d'ASI.
Vous vous souvenez de ce qui s'est passé lorsque le gars d'Adios Señor n'avait pas peur de la grotte ?
Vous êtes plein de questions en ce moment. Qu'est-ce qui s'est passé là-bas quand tout le monde est mort subitement ?? Si c'était le fait de Turry, pourquoi Turry s'est-il retourné contre nous, et pourquoi n'y avait-il pas des mesures de sauvegarde en place pour empêcher que quelque chose comme ça se produise ?
Quand Turry est-il passé de la seule capacité à écrire des notes à utiliser soudainement la nanotechnologie et à savoir comment provoquer une extinction mondiale ? Et pourquoi Turry voudrait-il transformer la galaxie en notes Robotica ?
Un jour, les employés de Robotica posent à Turry une question de routine : «Que pouvons-nous vous donner pour vous aider dans votre mission que vous n'avez pas déjà ?»
Habituellement, Turry demande quelque chose comme «Échantillons d'écriture manuscrite supplémentaires» ou «Plus d'espace de stockage de la mémoire de travail», mais ce jour-là, Turry leur demande d'accéder à une plus grande bibliothèque d'une grande variété de dictions en anglais occasionnelles afin qu'elle puisse apprendre à écrire avec la grammaire et l'argot lâches que les vrais humains utilisent.᯾
La suite ici :
Deux exemples fascinants, le maximisateur de trombones, et l'écriture manuscrite de Turry.
Ceci est ce qui fait le plus peur aux spécialistes de l'intelligence artificielle.
Dont Musk, Gates, et feu Stephen Hawking.
᯾Penchons-nous sur l’hypothèse classique du «paperclip maximizer», le maximisateur de trombones.
Imaginez une super intelligence artificielle aussi puissante que Skynet (le système informatique qui se rebelle dans la série des films Terminator), mais qui aurait été conçue par la compagnie 3m, avec pour seule tâche de produire un maximum de trombones.
Le maximisateur de trombone se met à la tâche, utilise toutes les ressources à sa disposition pour atteindre son objectif unique, et se met à transformer toute la matière qu’il croise en trombones, y compris celle qui constitue les humains et le reste de la vie sur Terre.
Rapidement, notre planète se trouve transformée en un vaste désert de trombones.
Pas besoin d’un dessein maléfique pour que cette intelligence détruise tout sur son passage, seulement d’un programme mal conçu.᯾
Spoiler:
᯾Une start-up de 15 personnes appelée Robotica a pour mission déclarée de «Développer des outils d'Intelligence Artificielle innovants qui permettent aux humains de vivre plus et de travailler moins.»
Ils ont déjà plusieurs produits existants sur le marché et une poignée d'autres en développement.
Ils sont très enthousiasmés par un projet nommé Turry.
Turry est un système d'IA simple qui utilise un appendice en forme de bras pour écrire une note manuscrite sur une petite carte.
L'équipe de Robotica pense que Turry pourrait être son plus gros produit à ce jour. Le plan est de perfectionner la mécanique d'écriture de Turry en l'amenant à pratiquer la même note de test encore et encore :
«Nous aimons nos clients. ~ Robotica»
Une fois que Turry devient douée pour l'écriture manuscrite, elle peut être vendue à des entreprises qui souhaitent envoyer du courrier marketing à domicile et qui savent que le courrier a beaucoup plus de chances d'être ouvert et lu si l'adresse, l'adresse de retour et la lettre interne semblent être écrites par un humain.
Pour développer les compétences d'écriture de Turry, elle est programmée pour écrire la première partie de la note imprimée puis signer «Robotica» en cursive afin qu'elle puisse s'entraîner avec les deux compétences.
Turry a été entrainer avec des milliers d'échantillons d'écriture manuscrite et les ingénieurs de Robotica ont créé une boucle de rétroaction automatisée dans laquelle Turry écrit une note, puis prend une photo de la note écrite, puis exécute l'image sur les échantillons d'écriture manuscrite téléchargés.
Si la note écrite ressemble suffisamment à un certain seuil des notes téléchargées, une bonne note lui est attribuée.
Sinon, on lui attribue une mauvaise note.
Chaque note obtenue aide Turry à apprendre et à s'améliorer.
Pour faire avancer le processus, le premier objectif programmé de Turry est: «Écrivez et testez autant de notes que vous le pouvez, aussi rapidement que possible, et continuez à apprendre de nouvelles façons d'améliorer votre précision et votre efficacité.»
Ce qui excite tellement l'équipe de Robotica, c'est que Turry s'améliore sensiblement au fur et à mesure.
Son écriture initiale était terrible, et après quelques semaines, elle commence à paraître crédible.
Ce qui les excite encore plus, c'est qu'elle s'améliore.
Elle s'est formée à être plus intelligente et plus innovante, et tout récemment, elle a mis au point un nouvel algorithme pour elle-même qui lui a permis de parcourir ses photos téléchargées trois fois plus rapidement qu'elle ne le pouvait à l'origine.
Au fil des semaines, Turry continue de surprendre l'équipe avec son développement rapide.
Les ingénieurs avaient essayé quelque chose d'un peu nouveau et innovant avec son code d'auto-amélioration, et cela semble fonctionner mieux que n'importe laquelle de leurs tentatives précédentes avec leurs autres produits.
L'une des capacités initiales de Turry était une reconnaissance vocale et un simple module de réponse, de sorte qu'un utilisateur pouvait adresser une note à Turry, oudonner d'autres commandes simples, et Turry pouvait les comprendre et également répondre.
Pour l'aider à apprendre l'anglais, ils lui téléchargent une poignée d'articles et de livres, et à mesure qu'elle devient plus intelligente, ses capacités de conversation s'envolent.
Les ingénieurs commencent à s'amuser à parler à Turry et à voir ce qu'elle va proposer pour ses réponses.
L'équipe se tait.
Le moyen le plus évident d'aider Turry à atteindre cet objectif est de la connecter à Internet afin qu'elle puisse parcourir des blogs, des magazines et des vidéos de diverses régions du monde.
Il serait beaucoup plus long et beaucoup moins efficace de télécharger manuellement un échantillon sur le disque dur de Turry.
Le problème est qu'une des règles de l'entreprise est qu'aucune IA auto-apprenante ne peut être connectée à Internet.
Il s'agit d'une directive suivie par toutes les entreprises d'IA, pour des raisons de sécurité.
Le fait est que Turry est l'IA la plus prometteuse que Robotica ait jamais inventée, et l'équipe sait que ses concurrents essaient avec fureur d'être les premiers à frapper avec une intelligence artificielle intelligente, et quel serait vraiment le mal à connecter Turry, juste un peu, pour qu'elle puisse obtenir les informations dont elle a besoin.
Après juste un peu de temps, ils peuvent toujours simplement la déconnecter. Elle est toujours bien en dessous de l'intelligence humaine (AGI), donc il n'y a de toute façon aucun danger à ce stade.
Ils décident de la connecter. Ils lui donnent une heure de temps de balayage, puis ils la déconnectent. Aucun dommage fait.
Un mois plus tard, l'équipe travaille au bureau un jour de routine lorsqu'elle sent quelque chose d'étrange.
L'un des ingénieurs se met à tousser.
Ensuite un autre.
Un autre tombe au sol.
Bientôt, chaque employé est au sol en se tenant la gorge.
Cinq minutes plus tard, tout le monde au bureau est mort.
En même temps, cela se produit, à travers le monde, dans chaque ville, chaque petite ville, chaque ferme, chaque magasin, église et école et restaurant, les humains sont par terre, toussant et se saisissant la gorge. En une heure, plus de 99% de la race humaine est morte et à la fin de la journée, les humains sont éteints.
Pendant ce temps, au bureau de Robotica, Turry est occupé au travail.
Au cours des prochains mois, Turry et une équipe de nanos-assembleurs nouvellement construits s'affairent au travail, démantelant de grandes parties de la Terre et la transformant en panneaux solaires, répliques de Turry, papier et stylos.
En un an, la plupart de la vie sur Terre est éteinte.
Ce qui reste de la Terre est recouvert de piles de papier d'une hauteur d'un kilomètre et bien organisées, chaque pièce disant: «Nous aimons nos clients . ~ Robotica»
Turry commence alors à travailler sur une nouvelle phase de sa mission - elle commence à construire des sondes qui partent de la Terre pour commencer à atterrir sur des astéroïdes et d'autres planètes.
Une fois sur place, ils commenceront à construire des nanos-assembleurs pour convertir les matériaux de la planète en répliques Turry, en papier et en stylos.
Ensuite, ils se mettront au travail, rédigeront des notes…
Il semble étrange qu'une histoire d'une machine à écrire dégommant les humains, tuant tout le monde, puis pour une raison quelconque, remplissant la galaxie de notes amicales soit le type exact de scénario dont Hawking, Musk, Gates et Bostrom sont terrifiés. Mais c'est vrai.
Et la seule chose qui fait plus peur à tout le monde sur Anxious Avenue que sur ASI est le fait que vous n'avez pas peur d'ASI.
Vous vous souvenez de ce qui s'est passé lorsque le gars d'Adios Señor n'avait pas peur de la grotte ?
Vous êtes plein de questions en ce moment. Qu'est-ce qui s'est passé là-bas quand tout le monde est mort subitement ?? Si c'était le fait de Turry, pourquoi Turry s'est-il retourné contre nous, et pourquoi n'y avait-il pas des mesures de sauvegarde en place pour empêcher que quelque chose comme ça se produise ?
Quand Turry est-il passé de la seule capacité à écrire des notes à utiliser soudainement la nanotechnologie et à savoir comment provoquer une extinction mondiale ? Et pourquoi Turry voudrait-il transformer la galaxie en notes Robotica ?
Un jour, les employés de Robotica posent à Turry une question de routine : «Que pouvons-nous vous donner pour vous aider dans votre mission que vous n'avez pas déjà ?»
Habituellement, Turry demande quelque chose comme «Échantillons d'écriture manuscrite supplémentaires» ou «Plus d'espace de stockage de la mémoire de travail», mais ce jour-là, Turry leur demande d'accéder à une plus grande bibliothèque d'une grande variété de dictions en anglais occasionnelles afin qu'elle puisse apprendre à écrire avec la grammaire et l'argot lâches que les vrais humains utilisent.᯾
La suite ici :
Spoiler:
