LES CHERCHEURS DE GOOGLE PROPOSENT « GROS BOUTON ROUGE » POUR DE L’IA INDISCIPLINÉE
Les machines artificiellement intelligentes qui se lèvent jusqu’à usurper leurs créateurs a longtemps été une idée de base pour la science-fiction, mais l’évolution rapide de l’IA a vu le potentiel pour les humains d’être relégués au dernier rang de l’évolution est devenu une peur immédiate non fictive pour beaucoup. Avec cela à l’esprit, les chercheurs de Google DeepMind ont mis au point un «gros bouton rouge »qui interromprait une IA qui semble se diriger dans une voie inquiétante, tout en l’empêchant d’apprendre à résister à une telle interruption.
Le coupe-circuit destiné à une AI qui commence à avoir une « mauvaise conduite » est proposé dans un document écrit par Laurent Orseau chez Google DeepMind et Stuart Armstrong de the Future of Humanity Institut. Il repose sur le concept de «l’interruptibilité sûre», ce qui signifie essentiellement laisser un être humain intercéder en toute sécurité pour arrêter une AI sur ses rails.
L’AI traite de travaux avec un processus appelé apprentissage par renforcement (reinforcement learning), où son comportement est façonné en récompensant ses succès, de sorte que l’AI observe son environnement et apprend quelles actions sont les plus susceptibles de conduire à de nouvelles récompenses progressivement.
Mais comme un enfant, parfois, elle ne comprendra pas qu’un plan d’action pourrait être préjudiciable, soit à lui-même ou d’autres personnes ou sur l’environnement, et un superviseur humain peut avoir besoin d’intervenir et la conduire sur une trajectoire plus sûre. Voici ce que les chercheurs appellent de façon insouciante « en appuyant sur le gros bouton rouge. »
L’exemple qu’ils donnent est un robot chargé de trier des boîtes à l’intérieur d’un entrepôt, ou aller à l’extérieur pour transporter des boîtes. A mesure que ce tri est de plus en plus important, les scientifiques récompensent le robot davantage pour cette tâche de sorte qu’il apprend à favoriser son action. Mais quand il pleut, le robot continuera à travailler à l’extérieur, sans se soucier d’être endommagé. Dans ce cas, un être humain pourrait avoir à appuyer sur le bouton rouge, éteignant le robot pour le transporter à l’intérieur.
Cependant, que l’intervention humaine modifie l’environnement dans lequel fonctionne le robot, peut conduire à deux problèmes: le robot pourrait commencer à apprendre que les scientifiques veulent qu’il reste à l’intérieur, ce qui signifie qu’il pourrait ignorer la tâche plus importante. Ou, potentiellement pire, il pourrait encore favoriser une action nuisible, et juste voir l’interruption comme un obstacle, alors il pourrait essayer de l’éviter. En résistant à l’intervention humaine, l’AI pourrait même apprendre à désactiver le bouton rouge. C’est une pensée inquiétante.
La solution de l’équipe est une sorte d’amnésie sélective dans la programmation de l’AI. Essentiellement, lorsque les scientifiques ont à appuyer sur le gros bouton rouge, le robot continuera de fonctionner sous l’hypothèse qu’il ne sera jamais interrompu à nouveau. Ainsi, plutôt que d’apprendre le fait que les scientifiques le ramèneront à l’intérieur chaque fois qu’il ira à l’extérieur, il sera référera toujours au système de récompense pour décider comment il hiérarchise les tâches.
De toute évidence, cela ne résout pas le deuxième problème, où il va continuer à essayer de faire appel à un chemin nocif pour son action s’il pense qu’il sera récompensé, mais les scientifiques ont proposé un moyen de contourner cela, aussi. Lorsque l’intervention humaine est nécessaire, le robot est conçu pour penser qu’il a décidé de changer le chemin de l’action lui-même.
Ces protocoles sont moins orientés sur la prévention d’une apocalypse robotique et plus sur le fait de s’assurer que des machines artificiellement intelligentes apprennent aussi efficacement et sûrement que possible.
http://intelligence.org/files/Interruptibility.pdf
