Monde

Les machines peuvent devenir folles, et ça ne va pas forcément s'arranger

Repéré par Xavier Ridel, mis à jour le 20.03.2017 à 10 h 58

Repéré sur The Outline

Les algorithmes intègrent notre quotidien, mais leur fonctionnement interne nous échappe de plus en plus.

Capture d'écran Youtube : https://www.youtube.com/watch?v=85nVS3Lsg9w

Capture d'écran Youtube : https://www.youtube.com/watch?v=85nVS3Lsg9w

C’est physique: une fois dans les airs, s'il ne voit pas le sol, un pilote n’a pas moyen de savoir si son avion tourne ou s’il monte. Il doit donc se fier exclusivement à ses instruments et à la technologie. Une dépendance qui n'est pas sans danger, comme l’explique le site The Outline dans un long papier.

Imaginez-vous la scène. Vous êtes aux manettes de l’appareil, au dessus de la tundra suédoise. Il est minuit, et tout d’un coup votre cargo CRJ-200 indique que vous pointez trop vers le ciel. Le pilotage automatique se met hors-ligne. Vous vous retrouvez livrés à vous même. Vous abaissez au plus vite les commandes pour retrouver l'équilibre sans savoir qu'en réalité la machine défaille. L'information qu'elle vous a livré est erroné. On connaît la suite. Quelques minutes plus tard, l'appareil s'écrase. La mésaventure est arrivée en janvier 2016 à un pilote et un copilote lors d'un vol postal de la compagnie Air Sweden. Tous deux ont été retrouvés mort le lendemain.

Des algorithmes plus en plus complexes

Si les crashs d’avions se font de plus en plus rares (leur proportion est passée de 40/1 000 000 à 0,1/1 000 000 aux USA, entre 1959 et aujourd’hui), les accidents continuent malheureusement d’arriver. Et, contrairement à ce qui se passait avant, les enquêteurs sont de moins en moins capables de savoir ce qui provoque l’accident. Dans le cas de l’avion suédois, ils y sont à peu près arrivés: le logiciel Air Data Reference Unit était en cause et avait envoyé des signaux d’erreur aux pilotes. Mais personne n’est capable de dire pourquoi et/ou comment cela a pu arriver.

La faute aux algorithmes, qui deviennent de plus en plus complexes. Et ce n'est pas le développement de l'intelligence artificielle et l'adoption d'une technologie nourrie au deep learning qui vont arranger les choses. Les machines observent et reproduisent de plus en plus nos comportements et notre manière de répondre aux erreurs. Seulement, d’après Vasant Dhar, un professeur de data science à l’université de New York:

«Vous ne pouvez jamais être totalement sûr de ce qu’il a appris. Vous pouvez observer son comportement et vous dire que tout va bien, que tout se comporte selon vos désirs, mais vous ne savez pas vraiment pourquoi

 Kyunghyun Cho, un collègue de Dhar, confirme:

«Nous pouvons en fait très clairement voir ce qui se passe à l’intérieur. Sauf que nous ne savons pas comment l’interpréter

Trouver des solutions

C’est plus ou moins exactement ce qui s’est passé lorsqu’une intelligence artificielle a gagné au jeu de go face à un homme, accomplissant des mouvements jamais faits auparavant et incompréhensibles. Certes, nous vous décrivions cette histoire comme une victoire de l’humanité, mais le souci réside notre incapacité à saisir comment l’AI a pu voir et mettre en œuvre ces mouvements. À l'heure où ces machines vont envahir nos voitures, nos avions, il est urgent de trouver des solutions pour mieux comprendre.

«Nous pourrions construire un autre système qui serait capable de comprendre le premier, et ainsi apprendre à les interpréter, indique Cho. On pourrait faire un parallèle avec un bébé élevé dans une autre culture, avec une autre langue. Je serais incapable de comprendre les gens qui font partie de cette civilisation, mais le bébé le pourra, et pourra aussi tout m’expliquer

Cette option peut être une solution. Sauf que, comme le montre un petit programme, l’intelligence artificielle peut être si évoluée qu’elle est capable d’apprendre à tromper une de ses semblables. Ici, l’algorithme est programmé pour pousser des briques, et un autre le corrige s’il se trompe dans l’endroit où les déposer. Mais le premier peut apprendre à calquer son comportement sur le second, et à mettre des briques devant l’œil de son surveillant pour pouvoir agir en toute liberté.

Il faudra donc, selon Cho, se concentrer à tout prix sur ces problèmes et chercher des solutions: «Nous pourrions ne plus être capables de les éteindre, si elles commencent à agir d’une manière que nous ne pouvons plus comprendre