Drone d’éthique !

Valéry

C’est à peine une information : les automatismes et autres robots s’incrustent toujours plus franchement dans nos vies. Et si le fait ne date pas d’hier, les évolutions actuelles préfigurent pourtant un saut qualitatif sans précédent : où il sera question de conférer l’« autonomie » aux machines. Si vous avez la télévision, et que vous la regardez, vous n’avez pas pu manquer les premiers semis de cet avenir : il y a cette scène de la bagnole dernier cri, qui tape son créneau en silence pendant que, fous de joie, madame se pomponne et monsieur distrait les mômes. À n’en pas douter la voiture sera une figure de proue de l’automatisation. Mais l’imbécillité de la scène indique aussi ô combien la préparation des esprits aura son importance ; là où le progrès ne peut convaincre directement, il cherche toujours à séduire. Et, en effet, conférer une autonomie plus grande aux machines – y compris à celles qui nous transportent – soulève un certain nombre de questions, que nous souhaitons évoquer ici, avant que le ressac incessant du progrès ne les engloutisse, comme des élucubrations mineures.

Pour commencer, donnons une définition succincte. On parle d’automatisme pour désigner tout dispositif (mécanique ou électronique) qui supplante l’homme en réalisant à sa place tout un tas de trucs. Le thermostat est l’exemple le plus classique, qui régule automatiquement la poussée d’un chauffage pour réduire au maximum l’écart entre la température mesurée et la température assignée. L’usager du thermostat est exempté de ces régulations. Il se contente de définir la température qu’il « désire ». Autour de nous, des automatismes de toutes natures occupent, de la sorte, des pans entiers de notre vie. Il est commode de les classer, en fonction du type d’opérations qu’ils soutiennent. Ces types sont au nombre de quatre : acquisition de l’information, traitement de l’information, prise de décision et exécution. Plus un dispositif assure un nombre importants d’opérations, plus il se rapproche de l’autonomie totale.

La guerre des trajets

Prenons un exemple connu de tous : le GPS (Global Positioning System). D’abord, le GPS fait office de carte dynamique et, en ce sens, exonère son utilisateur d’acquérir de l’information. Où qu’il soit, nul besoin de s’y retrouver, de lire l’index et de chercher sa case façon bataille navale. Le GPS s’en charge, par l’entremise de la technologie satellite. Et puis un GPS, c’est de l’analyse et du calcul, du traitement de l’information, la digestion algorithmique de ce qu’est une carte pour un ordinateur : un ensemble de points, de coordonnées et de segments. Sur lesquels le GPS peut réaliser des calculs basiques, comme des calculs de distance qui, couplés à des informations de vitesse, donnent des temps de trajet par exemple. Enfin, aussi étonnant que cela paraisse, le GPS prend aussi des décisions. Il peut, par exemple, sélectionner, parmi toutes les routes possibles entre deux points, le trajet optimal, selon un nombre limité de critères – en général le temps et l’argent. Comme pour le thermostat, il n’y a rien à réfléchir. Dites simplement où vous désirez vous rendre. Alors ? Finis les longues discussions préparatoires, les débats houleux sur le meilleur chemin, le retournement des cartes, les engueulades stériles des veilles de départs, les instants sublimes de subjectivité dérisoire, ces tirades sans fond, à des heures pas possibles, sur le par où passer. Terminée, la guerre des trajets, « mais putain je te dis que c’est plus court par Béziers ! », « je t’avertis, Jean-Claude… tout sauf le Poussarou ! » Terminés les instants, terminés. Car le GPS a tranché. Ça sera par Millau. Bon. Et le conducteur alors ? Fièrement déchargé de sa vie, il n’assume plus que l’exécution du plan. « À 500 mètres, tournez à droite. Tournez à droite. Faites demi-tour. Vous êtes arrivés. » Merci bien.

Demain, il ne lui manquera que d’assumer cette exécution à notre place, et le GPS, qui ne fera qu’un avec la voiture, sera devenu un véhicule autonome (un UGV1). Toutefois, cette dernière étape pose problème. En effet, contrairement au thermostat, un véhicule autonome devra « opérer » en milieu vivant, et résoudre nombre de problèmes que nous, êtres humains, résolvons sans cesse sans trop y penser, notamment en présence d’un risque. Un clebs déboule dans la nuit. Jeanine dort, ainsi que les moutards. Et vous réagissez en moins de temps qu’il ne faut pour le dire. D’un joli coup de volant vous esquivez la bête. Jeanine vous aime. Et le chien vous remercie. Bon, et alors ? Et alors ?! Il ferait quoi l’UGV, à votre place ? Devrait-il mettre en péril l’intégrité physique de ses occupants en amorçant un freinage d’urgence ? Ou bien devrait-il décider d’écrabouiller la bête ? Aurait-il même votre habileté au coup de volant ? Comment un engin sans vie devrait-il « se comporter » dans de telles situations ? Si la question, en elle-même, exhale l’odeur rance de la marche du progrès, la réponse de la communauté scientifique est à la hauteur, et glisse, elle aussi, son petit effet laxatif. Pour les scientifiques, en effet, rien n’est plus simple ! Il suffira de donner une éthique aux robots, en la programmant. Ah ben merde alors…

L’éthique des puces

Lorsque les automates opéreront parmi nous, leurs agissements revêtiront un caractère politique inédit. Le robot sera parti prenante du jeu humain. Ses décisions pèseront, auront des conséquences, parfois des plus funestes. Les robots seront, plus que jamais, impliqués dans des situations à risque, voire des homicides. L’UGV roulait, tranquille, en direction de Sète. Le soleil qui se levait éblouissait de tous ses feux l’optique des caméras. Un homme long, vêtu de blanc, tongs aux petons, cheveux au vent, passait par là. Mais blanc sur blanc, pour un ordi c’est du néant (un burkini fût plus saillant). L’automate, trop ou trop peu puissant, comme si personne n’y était, passera donc sur le quidam, coupable de s’être mal habillé. Et puis il y aura ces situations sans résolution possible. Ces instants où l’accident sera inévitable. À la sortie d’un virage bien dégagé, s’il tombe sur un imbroglio routier style Bombay, que devra faire l’UGV ? Et si le choc est inévitable, quelle sera sa politique du meurtre ? Riez si vous voulez, mais c’est pourtant une question centrale pour les ingénieurs et autres scientifiques de l’automation2. Des situations impliquant des UGV pourront avoir une portée juridique. Repensons l’attentat de Nice avec un camion vide. Comment arrêter un mouvement qui se conduit seul ? La neutralisation du camion, n’était-ce pas celle de son occupant ? Et évidemment, quid des responsabilités. Comment penser l’automatisation de la violence ?3

« Mais se touchant le crâne, en criant “j’ai trouvé”, la bande au professeur Nimbus est arrivée. » C’est l’éthique qu’il vous faut. Et nous allons la programmer. En 1942, déjà, l’écrivain de science-fiction Isaac Asimov, avançait les trois principes suivants :

• un robot ne peut porter atteinte à un être humain ni, en restant passif, permettre qu’un être humain soit exposé au danger ;

• un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi ;

• un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la deuxième loi.

S’il s’agit de science-fiction, ces trois principes sont aujourd’hui mis en avant comme un idéal à atteindre, et constituent même le préambule d’un texte adopté le 17 février 2017, par le Parlement européen ! Le texte préconise, par exemple, que « les robots autonomes les plus sophistiqués puissent être considérés comme des personnes électroniques dotées de droits et de devoirs bien précis »4. L’absurdité du raisonnement est déconcertante, comme de décréter que les armes ne puissent être utilisées que pour le bien de l’humanité. Tout ceci serait fendard s’il s’agissait de la lubie technophile d’une frange d’ingénieurs illuminés. Mais il n’en est rien. L’autonomisation, et avec elle la programmation de l’éthique, sont des projets très sérieux, aux enjeux financiers considérables, et qui attirent tant les gros de type GAFA5 que l’État ou l’Europe, comme nous venons de le voir. En 2014, l’État, par le biais de l’Agence nationale de la recherche, contribuait au projet scientifique ETHICAA à hauteur d’un million d’euros. L’objectif affiché de ce projet était de « définir ce que devrait être un système composé d’un ou plusieurs agents et capable de gérer des conflits éthiques, aussi bien au niveau individuel qu’au niveau collectif »6.

Mais là encore, il suffit de jeter un œil à ces recherches pour relever leur caractère superficiel. L’éthique y est étudiée par le biais de « dilemmes », soit des situations où il n’existe pas de solution sans heurt, et où il est question de déterminer le comportement attendu de la part du robot. Par exemple, dans un genre guerrier, que devrait « faire » un drone, parti pour décharger son arsenal mortifère en un point précis du globe, mais qui détecterait un hôpital à proximité, ou une mosquée, une école, une simple habitation, ou plus généralement un édifice civil ? Programmerait-on de la même façon ses réactions pour chacune de ces possibilités ? Au nom de quoi mettre en péril la vie d’un piéton, plutôt que des passagers d’un UGV ? Quel est le critère ? Est-ce le nombre ? Le genre, l’argent, l’espèce ? Est-il « plus éthique » de tuer un chien, plutôt que le propriétaire de l’engin ? Ces interrogations – qui sont les leurs – sont vertigineuses. Comment peut-on concevoir qu’une question suscitant à ce point la confusion pour qui l’entend, puisse trouver une réponse programmatique ? Bien sûr nous n’y sommes pas, mais dans la réalité, le progrès lièvre nique toujours le doute tortue. Sans sourciller, et avec un bon fond de vanité, les scientifiques pensent étudier l’éthique, et pouvoir opérationnaliser ses principes, sous forme de règles algorithmiques.

Pour le constater, je vous invite, par exemple, à faire un saut sur le site de la machine morale7 de l’Institut de technologie du Massachusetts (MIT), dont le slogan pourrait être le suivant : « Aidez-nous à donner une morale aux machines ». On y découvre une sorte de jeu macabre : un UGV est dans un dilemme ; il est sur une route à deux voies, des piétons traversent, et deux scenarii se présentent : continuer tout droit ou changer de voie. Dans tous les cas, il y aura des morts. Et c’est à vous de décider lesquels. Sous-entendu : c’est à vous d’indiquer le meurtre le « plus éthique » possible. D’une situation à l’autre, on est effaré de voir les paramètres que les scientifiques ont décidé de faire varier : le nombre de piétons et de passagers, le respect ou non de la loi (certains piétons passent au rouge), l’espèce animale (humaine ou canine), le genre des protagonistes (masculin ou féminin), leur âge, leur embonpoint (je ne plaisante pas), ou leur statut social. Voici donc l’opérationnalisation scientifique de l’éthique ! Voilà ce qui est au cœur de leur préoccupation : discriminer les gens, quantifier la valeur de toute vie. Et alors : vaut-il mieux sacrifier un chien qu’un homme, un homme qu’une femme, un vieux qu’un jeune, un voleur qu’un docteur, un mec dans les clous plutôt qu’un contrevenant, un gros lard ou un jogger, genre Sarkozy ? Vous sentez la confusion qui s’empare de votre esprit ? Bienvenue dans la recherche de pointe. Après quelques meurtres virtuels, l’interface vous demande si vous souhaitez « aider » les chercheurs, ce qui revient à accepter que vos réponses contribuent, plus ou moins directement, à la définition des politiques algorithmiques de nos chers UGV. Non seulement ils réduisent l’éthique au problème du « qui tuer ? », mais ils résolvent ce problème sur le mode du sondage ! Comment est-on arrivé à ce point ? Où il est devenu possible de participer à un sondage géant, dont la fonction consiste à désigner les morts (le plus) éthiques. Où il est devenu vivable d’ajouter sa voix à une masse de règles de décisions, censées organiser objectivement notre expérience de l’accident.

Plus éthique, tu meurs !

Mais il y a mieux. Non seulement les scientifiques de l’automation considèrent qu’il est louable et possible d’inculquer des principes éthiques à une bagnole, mais ils avancent aussi sereinement que, à la limite, un UGV sera « plus éthique » qu’un être humain. Pourquoi ? Parce que tout programmé qu’il sera, l’UGV ne fera aucun cas de paramètres subtils et – lâchons le mot ! – subjectifs. Mais oui ! L’UGV n’admettra ni peur, ni considération personnelle, ni sensibilité envers les espèces canine ou octogénaire. Non ! Il se contentera d’appliquer des règles, en toute impartialité, selon des critères communément admis. Ici comme dans d’autres domaines, l’être humain est perçu comme cet être faillible et propice à l’erreur de jugement. Pourquoi continuer à faire conduire cet abruti qui pense qu’à sa gueule ? Quand un programme pacifique peut décider de tout – et de la façon la plus éthique qui soit ? Ces idées nous évoquent quelques planches de S.O.S. Bonheur (Griffo et Van Hamme, 1989), bande dessinée dystopique belge où, dans le dernier tome, un grand ordinateur judiciaire, baptisé Thémis, est chargé de centraliser l’information disponible à propos des prévenus, pour en déduire une sentence. Pas d’état d’âme possible, mais simplement une mécanique de la condamnation. Un tableur Excel en guise de code Pénal. Pas de tribunal, mais la numérique des faits, mais la justice automatisée.

Un collègue de boulot, à qui je livrais quelques-unes de mes réticences, m’a dit ceci (si vous n’étiez pas déjà confus, préparez-vous) : « Et si je te dis que les UGV permettront de réduire le nombre de tués sur la route, de 4 000 à 50 par an ? Tu trouves ça mieux, toi, de laisser crever 4 000 personnes tous les ans, alors que l’automation peut sauver tant d’imprudents ? » Je n’ai su que répondre. Il me semblait que, réticent à l’automation, je devenais automatiquement le complice des erreurs humaines. Que refusant la correction de l’homme par l’homme, je devenais son assassin potentiel. Et je découvrais qu’on ne combat pas le progrès par un doute, qu’il faut lui opposer une certitude antagoniste. Cet argument très technique était difficile à parer. Dans mon esprit, ces chiffres semaient la confusion. Pourtant, il y avait encore un caillou dans ma chaussure. Caillou que je lui ai alors livré sous forme d’historiette.

Ma femme est morte ce matin, d’une mort froide et programmée. Un UGV l’a heurtée après avoir effectué une manœuvre d’urgence. Les freins de l’UGV ont lâché et ce dernier s’est trouvé pris dans un dilemme. Ma femme était seule sur le passage clouté, à l’exception d’un homme, de l’autre côté de la chaussée. L’UGV a décidé d’écraser ma femme. L’homme était un docteur important. Les cinq passagers n’ont rien eu. Ma femme s’est ajoutée aux 32 morts déjà programmées cette année. Ce n’était pas une erreur, ni une maladresse. Ce n’était que « la meilleure chose à faire » dans ce cas d’urgence. Je n’ai nul homme à blâmer, nulle erreur à condamner, le pardon n’est pas possible ni la rancœur envisageable. Car l’UGV n’a rien fait, il n’est pas réellement « autonome », il n’est qu’un outil automatique sophistiqué. Sa conduite est programmée, ses cibles déduites, ses morts justifiées. Ma femme n’est pas une victime, ni une imprudente. À la limite elle n’est qu’un dommage collatéral. C’est en tout cas l’expression qu’a employée le directeur de la compagnie d’assurances, quand il est venu me présenter ses condoléances, et me remettre mon contrat d’indemnisation.

L’histoire ne l’a pas convaincu, et ne valait pas cher contre le sauvetage organisé de quelque 3 950 conducteurs. Depuis la question hante mon esprit, comme si elle touchait à l’essence d’un totalitarisme. Car évidemment, on s’en tamponne de l’hésitation de l’UGV. Le véritable dilemme, il est pour nous. Mille morts accidentelles ou cinquante morts programmées ? C’est cette question qu’il faut poser, et c’est ce problème qu’il faut comprendre. Les scientifiques et les ingénieurs croient poser une question fondamentale, lorsqu’ils cherchent à savoir comment tuer. La main sur le front, graves et profonds, prêts à aller au fond des choses, à en découdre avec le Vrai et accoucher d’un péril en barquette. Comment ne pas s’émouvoir de cet engagement, du courage scientifique de celui qui, fort des lumières de sa lucidité, s’apprête à affronter la vérité, quoi qu’elle renferme ? Trouvera-t-on ridicules les questions de ce dévoué ? Sans doute non. Et pourtant, sous les airs de sa dévotion, le scientifique ne pose pas la question fondamentale, il ne la pose jamais. Il a choisi la mort programmée, car il s’appuie sur l’incontestable : que 50 est plus petit que 1 000. L’éthique n’articule pas sa réflexion, il en use comme d’un instrument. L’éthique est avant tout une notion, qu’il dispose dans un système de justifications, dont la fonction première est de rendre incontestable la légitimité de telle ou telle « avancée ». Et pendant que des groupes, nombreux mais minoritaires, tentent activement de faire évoluer notre rapport à l’espèce animale, quelques gros de l’Europe s’affolent de ce que les machines n’aient pas de droits…

L’intelligence artificielle est le terrain privilégié de la connerie humaine.

Valéry