Des projets sont actuellement en cours dans quelques pays en vue de former les robots à l’apprentissage des tâches qui leur incombent, sans qu’il soit nécessaire de les programmer, l’auto-apprentissage étant plutôt basé sur des informations accessibles via internet, sur des séquences vidéo, des simulations, et/ou des instructions vocales formulées en langage naturel.
Même si les robots sont devenus plus 'intelligents', dès lors qu’il s’agit de leur faire exécuter une nouvelle tâche, il est nécessaire de leur inculquer des séquences d’instructions très détaillées. Ou alors il faut d’abord les programmer. Autrement dit, on peut difficilement utiliser les robots dans les situations relevant de la vie de tous les jours. Les Cobots de type Baxter sont certes déjà capables d’interpréter des instructions plus facilement et plus rapidement, mais il faudrait faire mieux encore, estiment les chercheurs en Allemagne et aux Etats-Unis.
Apprentissage fondé sur le langage naturel
Obtenir qu’un robot exécute une tâche : la manière la plus simple serait évidemment de pouvoir lui “dire” ce qu’il doit faire… Mais le langage des humains est parfois ambigu, ou alors les instructions ne sont pas formulées de manière univoque, certains détails peuvent avoir été négligés, ou peuvent varier d’un opérateur à l’autre. De plus, les différences résultant du contexte d’utilisation jouent également un rôle déterminant. C’est pourquoi les chercheurs du Robot Learning Lab de l’université Cornell, New York, ont lancé un projet visant à faire comprendre à un robot les instructions qu’il reçoit en langage naturel par des locuteurs différents, et de lui permettre de compléter les informations manquantes de manière que la tâche soit réalisée en tenant compte de l’environnement. Pour cela, le robot doit intégrer un langage de programmation à base d’instructions.
Le logiciel développé par les chercheurs traduit les phrases prononcées par les humains en instructions formulées dans un langage compréhensible pour le robot. De plus, le robot est équipé d’une caméra 3D, qui scanne l’environnement et identifie les objets au moyen d’un logiciel de vision. Le robot mémorise les objets identifiés avec la liste de leurs propriétés. Et on lui apprend à exécuter les mêmes actions lorsque l’environnement a changé.
Cette séquence vidéo montre comment un robot prépare un dessert italien : https://www.youtube.com/watch?v=73ofcHex92E
Le travail de recherche porte également sur le problème du changement de contexte : une solution consiste à intégrer des schémas définissant les actions pour toutes les situations du quotidien à quoi s’ajoute un module de traitement des phrases par mot-à-mot. Pour cela, les chercheurs utilisent des 'techniques d’apprentissage pour machines' permettent d’entraîner le cerveau informatique du robot à mettre en relation des instructions complètes et des actions définies de manière flexible. Des simulations d’actions animées sont présentées à l’ordinateur en association avec des listes d’instructions vocales enregistrées avec la voix de différents locuteurs. L’ordinateur du robot propose la combinaison des nombreuses instructions similaires selon un schéma flexible tenant compte d’un grand nombre de variantes possibles. L’algorithme accepte les instructions données en langage naturel par un opérateur, en fonction de l’environnement dans lequel ces instructions doivent être exécutées.
Pour l’instant, le robot n’est pas encore capable d’exécuter les instructions de manière toujours correcte, mais les résultats sont prometteurs : le taux de réussite est 64 pour cent, même en cas de variations dans les instructions ou changement d’environnement, et le robot s’est révélé capable de compléter les étapes manquantes. Ce résultat est trois à quatre fois meilleur que les précédentes méthodes, mais il reste beaucoup de place pour les améliorations. C’est pourquoi les chercheurs ont mis en ligne le site web 'Tell me Dave', qui permet aux visiteurs d’apporter leur contribution à la procédure d’apprentissage sous la forme de données qui vont s’ajouter à la bibliothèque des instructions destinées aux robots de l’université Cornell.
Auto-apprentissage sur la base de sources écrites
En Allemagne, dans le cadre du projet RoboHow, les chercheurs de l’université de Brème se sont donnés pour hypothèse de travail que les robots pourraient faire l’apprentissage de tâches en réunissant des informations disponibles sur internet. En particulier sur YouTube et Wikihow, on trouve des séquences d’instructions détaillées. Il semblerait que les chercheurs ont réussi à apprendre quelque chose à un robot via des vidéos et des procédures pas-à-pas. C’est ainsi que le robot expérimental PR2 a appris, notamment, à préparer des crêpes et des pizzas rien qu’en “lisant” les recettes publiées sur le site WikiHow.
En permettant aux robots de lire et comprendre le langage naturel, il est plus facile de donner des instructions et de faire exécuter des tâches que la machine n’a pas apprises au préalable. Plutôt que de programmer un robot pour lui faire exécuter un mouvement précis, l’opérateur humain pourrait se contenter de lui “dire” ce qu’il doit faire.
Mais traduire une description un peu compliquée sous la forme d’une action spécifique n’est pas aussi simple qu’il n’y paraît. Après tout, c’est tout au long de leur existence que les humains développent leur aptitude à réaliser des tâches diverses… C’est pourquoi les chercheurs se proposent d’apprendre aux robots à faire l’acquisition du savoir de base requis pour exécuter des instructions de haut niveau sous la forme d’actions spécifiques. En tout cas, pour l’instant les robots sont d’ores et déjà en mesure de fournir un comportement utile, fondé sur quelques instructions collectées sur WikiHow, à la fois au niveau de la simulation qu’au niveau du robot.
Dès qu’un robot a fait l’apprentissage d’une série déterminée d’instructions en relation avec une tâche, ce savoir est ajouté dans une base de données en ligne, accessible par les autres robots. Les instructions sont codées dans un langage lisible pour les machines.
Vidéo et réalité virtuelle
D’autres techniques également sont mises en oeuvre pour apprendre aux robots à exécuter des tâches, notamment la présentation de vidéos montrant les humains réalisant ces tâches, et la mémorisation des données de réalité virtuelle montrant les actions exécutées par des humains, le port de gants, permettant le suivi précis des mouvements.
Néanmoins, pour des robots, même les tâches les plus simples restent un défi. Quelques progrès ont certes déjà été enregistrés dans le traitement du langage naturel. Mais il reste à intégrer le langage naturel, la compréhension de ce langage via la perception, et la planification d’actions complexes via des algorithmes de manipulation.
Sur la base d’instructions orales ou écrites, le robot est capable de préparer diverses recettes de cuisine, par exemple, des crêpes
(Source : Michael Memminger)
Sirris également étudie les possibilités d’utiliser les robots dans un atelier de production. L’achat d’un cobot Baxter - le premier en Belgique - a marqué le début de ce programme de recherche.
