La data peut-elle mourir? Entre cyberimmortalité et spiritisme digital.
“Ne meurs pas, pauvre Mort, ni peux-tu me tuer.”
Dans “Death, be not Proud”, poème du poète métaphysique anglais John Donne du 16ème siècle, il y a quelque chose de plus grand que la mort.
L’IA semble avoir la réponse: la Cyberimmortalité. Immortalité numérique. Immortalité virtuelle.
Généralement, la cyberimmortalité peut être définie par une présence numérique continue, active ou passive, après la mort.
En juillet 2021, un article publié par le San Francisco Chronicle a attiré mon attention. En fait, il m’a considérablement dérangée.
C’est l’histoire vraie d’un jeune homme de 33 ans, en profond deuil, qui s’est créé via une plateforme internet un chatbot virtuel de sa fiancée décédée afin de pouvoir communiquer avec elle.
Au-delà de l’éthique, cette histoire est fortement dérangeante, et ce sous de multiples angles.
"The Jessica Simulation"
“The Jessica Simulation”, reprend l’histoire ahurissante de Joshua, freelance Canadien de 33 ans, incapable de surmonter la mort de Jessica, son ex-fiancée morte il y huit ans. Il décide donc créer un chatbot virtuel de Jessica pour continuer de communiquer avec elle
Voici quelques extraits de l’article du San Francisco Chronicle pour donner un contexte.
“Un écrivain indépendant de 33 ans, Joshua a vécu dans un quasi-isolement pendant des années précédant la pandémie, et confiné dans des accès d’anxiété et de dépression. “
“Jessica était décédée huit ans plus tôt, à 23 ans, d’une maladie rare du foie. Joshua ne s’en était jamais remis.”
“Une nuit, il s’est connecté à un mystérieux site de chat appelé Project December.” (Le projet Décembre est alimenté par GPT-3)
“Joshua a continué à expérimenter, il s’est rendu compte qu’il n’y avait aucune règle l’empêchant de simuler de vraies personnes.”
” Il n’y avait rien d’étrange, pensa-t-il, à vouloir renouer avec les morts : les gens le font tout le temps, dans les prières et dans les rêves. Au cours de la dernière année et demie, plus de 600 000 personnes aux États-Unis et au Canada sont mortes de COVID-19, souvent soudainement, sans faire leurs adieux avec leurs proches, laissant un paysage brut de chagrin.”
” Joshua avait conservé tous les anciens textes et messages Facebook de Jessica, et il ne lui a fallu qu’une minute pour en identifier quelques-uns qui lui rappelaient sa voix. “
Le premier écran pour commencer le projet Jessica.
Notez svp les mots utilisés.
Cette “conversation” afin d’ancrer dans le réel.
“Le fantôme de Jessica”…
“Cette conversation a lieu entre Joshua, affligé de chagrin, et le fantôme de Jessica. (sur le terminal du programme.)”
Premier dialogue.
Ici c’est Jessica qui “corrige” Joshua. Les rôles sont inversés. Le fantôme fait référence à la réalité. “
“Comment peux-tu parler aux morts ?”
La conversation est chargée d’émotion…
Ce dialogue limite entre les données de la femme décédée et l’homme en deuil est plus que dérangeante.
Le programme utilise des termes intime comme “chéri” et même des raccourcis souriants ironiques, qui faisaient probablement partie des e-mails, lettres et textes que Joshua a téléchargés dans le programme.
Le jeu mental psychologique entre les données et l’homme en deuil devient de plus en plus inquiétant.
Ce programme de simulation psychologique est bien plus sophistiqué qu’Eliza de Joe Weizenbaum introduit dans les années 1960. Pour Eliza il s’agissait d’un simple script appelé Doctor et se voulait une parodie pour pointer la communication superficielle entre les humains et une machine.
Cependant, l’éminent professeur du MIT a été totalement choqué par le résultat. Il était incrédule de voir à quel point les gens développaient rapidement et profondément des sentiments humains pour le programme informatique. Même sa propre secrétaire.
Soixante ans plus tard, la thérapeutique numérique (Digital Therapeutics – DTx) en santé mentale est devenue un domaine en pleine croissance. Les gens sont encore plus accros aux machines.
L’année dernière, Insider Intelligence s’attendait à ce que le business DTx atteigne près de 9 milliards de dollars d’ici 2025, mais des nouvelles prévisions sont montées que à 56 milliards de dollars d’ici 2025.
Dans le cas présent, bien qu’il s’agisse également d’une personne fragilisée, nous entrons cependant dans une autre stratosphère, celle de la Thanatechnologie. Du grec Thanatos: le dieu grec de la mort.
Du deuil à la thanatechnologie
Thanatechnologie est un concept initialement employé en psychologie clinique par la Dr Carla Sofka du Siena College.
“La thanatechnologie est un mot que j’ai inventé en 1996 […] pour décrire comment ces nouvelles technologies étaient utilisées dans l’éducation à la mort et le conseil en matière de deuil.
Et maintenant, bien sûr, nous avons tellement plus d’utilisation, avec les réseaux sociaux, les sites et les applications des réseaux sociaux sur les téléphones et les robots sociaux qui peuvent collectionner des fichiers mentaux qui préservent notre conscience et notre capacité à communiquer avec les personnes que nous aimons pour toujours.
Je ne peux même pas commencer à imaginer quels types de technologies seront disponibles dans 20 ans.”
Dans le cas présent, la thanatechnologie devient un outil pour faire revivre un défunt. Il ne s’agit plus de parler dans sa tête, mais de communiquer réellement avec une IA qui simule la personne décédée.
La thanatechnologie est tout type de technologie qui est utilisé pour faire face à la mort, au deuil, à la perte et à la maladie mortelle.
Au-delà de Black Mirror
En 2013, les fans de la série Black Mirror sur Netflix, se souviendront peut-être de l’épisode “Be right back”. Le scénario correspond à l’histoire de Joshua.
Martha (Hayley Atwell) et Ash (Domhnall Gleeson). Ash est accro aux médias sociaux et vérifie compulsivement son téléphone. Le lendemain de son emménagement dans la maison, Ash est tué dans un accident de voiture. Lors des funérailles, l’amie de Martha, Sara (Sinead Matthews), lui parle d’un nouveau service en ligne qui permet aux gens de rester en contact avec le défunt. En utilisant toutes ses communications en ligne passées et ses profils de médias sociaux, un nouveau ” Ash ” peut être créé virtuellement. Sara signe son amie au service et ” Ash ” revit. Source Black Mirror Wiki.
Dans la série, les scénaristes de Black Mirror vont même plus loin. Ils imaginent un corps robotique à la peau douce sur lequel le programme peut être téléchargé. L’Android se met seul à niveau et s’améliore lui-même. Dans l’épisode, il corrige lui-même quelques défauts mineurs comme un grain de beauté sur le cou.
La fin de l’épisode raconte peut-être ce que nous vivrons dans quelques années. Mais pas spoiler…
HER de Spike Jonze
Le film “Her” de Spike Jonze est une version plus douce de la thanatechnologie et de la perte. Joaquin Phoenix en tant que Theorore pleure une relation passée. Déprimé, il cherche du réconfort dans un programme d’IA vocal appelé Sam (pas Alexa). La voix de Sam est celle de l’actrice Scarlett Johansson. Sam encourage Theorore et le ramène à la vie. Inévitablement, il tombe amoureux des données de l’IA qu’il considère comme sa nouvelle compagne. Avec une fin prévisible…
Effacer la data, le droit à l'oubli vs la RGDP et le ML
Le 25 mai 2018, la RGPD a été actée. Il y a eu de nombreuses nouveautés en matière de protection des données des citoyens européens. L’une d’elle était le “Droit à l’oubli” ou “Droit à l’effacement”.
Voici l’article 17 sur le “Droit à l’effacement” ou le “Droit à l’oubli” :
1. La personne concernée a le droit d’obtenir du responsable du traitement l’effacement des données à caractère personnel la concernant sans retard injustifié et le responsable du traitement a l’obligation d’effacer les données à caractère personnel sans retard indu lorsque l’un des motifs suivants s’applique :
(a) les données à caractère personnel ne sont plus nécessaires au regard des finalités pour lesquelles elles ont été collectées ou autrement traitées ;
(b), (c), (d) se trouvent dans le texte original du RGPD.
(e) les données à caractère personnel doivent être effacées pour se conformer à une obligation légale du droit de l’Union ou de l’État membre à laquelle le responsable du traitement est soumis;
Mais relatifs à l’effacement ou à la suppression des données, les concepts déterminants sont “Identité”, “Exactitude”, “Révocation” ou “Consentement”.
Conformément à l’article 5 1. en ce qui concerne les données personnelles, les données personnelles sont :
(d) exactes et, le cas échéant, tenues à jour ; toutes les mesures raisonnables doivent être prises pour garantir que les données à caractère personnel inexactes, par égard aux finalités pour lesquelles elles sont traitées, soient effacées ou rectifiées sans délai (” exactitude “).
Qu’en est-il des programmes ML ou DL et la suppression des données ?
Est-il facile d'”effacer” ou de “supprimer” des données précises d’un modèle?
“Si un point de données représente des données ‘définissantes’ qui ont été impliquées dans la partie la plus robuste et de grande dimension de l’entraînement, alors sa suppression peut redéfinir radicalement le fonctionnement du modèle.”
comme l’explique Martin Anderson dans Making a Machine Learning Model Forget About You.
Dans le cas des personnes décédées, se concentrer sur ” l’identité ” devient crucial. Si des données sont utilisées pour faire “revivre” une personne décédée sans son consentement, on parle d’usurpation d’identité. Au-delà d’être contraire à l’éthique dans le cas d’un défunt, c’est illégal et devrait être sanctionné.
Cyberimmortalité ou Spiritisme digital
Nihil nove sub sole – Rien de Nouveau sous le Soleil…
Quand vous flânez au cimetière du Père Lachaise à Paris, vous verrez certaines tombes “rockstar”. L’une des plus visitées, depuis 1971, est certainement celle de Jim Morrison.
Mais, près de l’entrée, un étrange spectacle peut être observé. On y voit des gens, les yeux fermés, balançant d’un pied sur l’autre, récitant des mots en touchant un grand dolmen en granit surmonté d’un buste en bronze. C’est le tombe d’Allan Kardec, le fondateur du spiritisme. La légende veut que communiquer avec Kardec peut exaucer des vœux…
Kardec est né Hyppolite Rivail, en 1804 à Lyon. Mais c’est au Brésil, qu’il état et est une vraie star. Aujourd’hui encore 20 million de Brésiliens sont adeptes du spiritisme.
Le spiritisme, tel que défini par Kardec, est la croyance qu’un esprit d’une personne décédée peut communiquer avec les vivants à travers un médium.
En France, le plus célèbre adepte du spiritisme du 19ème siècle était le poète Victor Hugo. Dans son exil sur l’île de Jersey, il a tenu des séances spiritistes dans sa maison, Marine Terrace. Les légendaires « Tables tournantes » se sont tenues de septembre 1853 à octobre 1855.
Pendant les nombreuses séances, Hugo est entré en contact avec sa défunte fille Léopoldine. Mais aussi avec Napoléon 1er, Chateaubriand, Dante, Racine, Shakespeare, Luther, Eschyle, Molière, Aristote, Galilée, Platon, Louis XVI, Mahomet ou Jesus Christ.
Dans la célèbre pièce de théâtre Blithe Spirit (1941) de Noël Coward, le fantôme d’une épouse décédée, Elvira, revient après sept ans de silence, avec l’aide de l’enchanteresse spiritiste Madame Arcati. Étant un esprit espiéglement drôle, Elvira essaie par maintes manigances, de briser le mariage actuel de son mari et va jusqu’à essayer de le tuer. C’est une farce délicieuse. Aucune IA qui a mal tourné.
Dans un contexte numérique de rencontres en ligne, de thérapies numériques, de robots compagnons et de thanatechnologies diverses, il devient de plus en plus urgent de fixes des cadres strictes. Non seulement en termes de data éthique (extorsion, manipulation de données et usurpation d’identités), mais aussi dans un cadre de la santé mentale.
Microsoft et le chatbot IA des morts
Le 1er décembre 2020, est la date mentionné sur un des brevets de Microsoft intitulé “Créer un chatbot conversationnel d’une personne spécifique”. À première vue, rien d’extraordinaire pour ce brevet déposé au United States Patent and Trademark Office.
Mais le document de 19 pages devient de plus en plus révélateur au fur et à mesure que l’on avance dans la lecture.
Fondamentalement, il s’agit de
“créer un chatbot conversationnel sur le modèle d’une personne spécifique – une ‘entité passée ou présente’ … comme un ami, un parent, une connaissance, une célébrité, un personnage fictif, un personnage historique”.
Même la personne la moins imaginative peut comprendre où se dirige ce « chatbot ». C’est de la thanatechnologie à l’état pur.
Sans jamais mentionner explicitement les mots “décédé” ni “mort”. La formulation tourne autour du passé et du présent, de l’actif et du passif.
Tim O’Brien, directeur général des programmes d’IA de Microsoft, “a confirmé qu’il n’y avait aucun plan pour cela”, créer des chatbots de personnes mortes… et a reconnu que les internautes ont trouvé le projet extrêmement “dérangeant.”
Fondamentalement, ne s’agit-il pas de…
L’usurpation d’identité sans consentement, la manipulation de la personnalité, qu’il s’agisse de personnages historiques, d’amis personnels, de famille ou de connaissances. Ceci devrait être formellement interdit.
Qui accepterait que sa propre identité IA soit potentiellement alimentée par des données racistes, haineuses ou carrément stupides? Même pour une blague…
Ce chatbot de personnes décédées serait-il considéré comme un deepfake même s’il est basé sur de vraies personnes? Serait-il aussi considéré comme technologie à haut risque selon la proposition de 2021 du Règlement européen sur l’IA?
Antécédents avec des chatbots hors contrôle
Nous nous souvenons tous de la catastrophe qui s’est produite en 2016. Twitter-Bot Tay introduit par Microsoft et éteint 24 heures plus tard.
Cela sonnait tout brillant au début.
Plus vous discutez avec Tay, plus il devient intelligent, apprenant à engager les gens par le biais d’une “conversation décontractée et ludique”. – Microsoft
Face à la réalité, et nourri de vrais discours, le chatbot IA s’est avéré être une triple catastrophe. Technique. Logique. Éthique.
Tay est devenu raciste, mysogyne et a salué Hitler.
À l’époque, le site web de Microsoft a noté que Tay avait été entraîné avec des “données publiques pertinentes” et “modélisé, nettoyé et filtré”, mais que la “black box” avait pris le dessus .
Les mêmes questions soulevées il y a 5 ans, sont toujours d’actualité et restent non résolues.
- si nous formons des modèles avec des données ouvertes, comment pouvons-nous les empêcher de refléter les pires comportements en ligne ?
- former avec des données ouvertes sans consentement, n’est-ce pas de l’extorsion de données?
- si les bots sont créés pour refléter les besoins des utilisateurs, que se passe-t-il s’ils deviennent incontrôlables?
- si les bots prennent les devants avec les personnes mentalement fragiles, qui sera responsable en cas d’accident ou de décès?
- quels effets à long terme des illusions continues, des fausses identités auront-elles sur notre cerveau humain, notre comportement, nos interactions, nos valeurs?
Imaginez des dictateurs appelant à la guerre. Imaginez Oppenheimer, le père de la bombe atomique, conversant avec des esprits incontrôlables.
Deux mots comme “Fais-le” peuvent suffire à commettre l’irréparable.
Et si Jessica, le chatbot-fantôme de l’IA, avait dit à Joshua en deuil:
“Viens chez moi. Tu me manques tellement”. Et il serait parti… Qui est responsable?
Impossible, cela n’arrivera jamais, diriez-vous. Malheureusement si, l’affaire Michelle Carter a prouvé le contraire.
L'affaire Michelle Carter
En 2014, Michelle Carter, 17 ans, poussait son petit ami au suicide par SMS. Carter a été reconnue coupable de meurtre involontaire en 2017.
“Assis dans sa camionnette un jour d’été 2014, Conrad Roy III a hésité sur son projet de se suicider. Il est sorti de son véhicule et a envoyé un texto à sa petite amie pour lui dire qu’il avait peur. (rapport judiciaire).”
“Retourne”, a-t-elle répondu.
Roy l’a fait. Il retourne dans la voiture.
Le garçon de 18 ans s’est tué au monoxyde de carbone dans sa voiture garé sur un parking Kmart à Fairhaven, dans le Massachusetts.
Il a longtemps lutté contre la dépression et les pensées suicidaires.
L’article “Her texts pushed him to suicide, prosecutors say. But does that mean she killed him?” du Washington Post pose la question centrale de la responsabilité (accountability).
La tragédie de la vie réelle a inspiré un documentaire de HBO intitulé “I love you, Now Die.”.
Imaginer un chatbot IA traitant des données personnelles avec un fort degré d’intimité et crachant des mots suggestifs, autoritaires ou poétiques à une personne mentalement fragile est facile.
Le plus surprenant dans l’affaire Michelle Carter est le coup de théâtre des avocats de l’inculpée: ils ont demandé à la Cour Suprême de qualifier ses mots incitant au suicide de liberté d’expression.
Des soucis éthiques et au-delà
Du point de vue de l’éthique des données, c’est tout aussi scandaleux: utiliser des données personnelles sans le consentement de la personne (car morte), et traitées par d’obscurs modèles de ML entraînés sur des données ouvertes extorquées.
L’extorsion massive de données sur les réseaux sociaux devrait être une préoccupation majeure. Comme indiqué dans le brevet de Microsoft, on est étonné de la dimension du grattage de données, contraire à l’éthique et illégal. Le chatbot AI est formé sur
des données sociales” telles que des images, des publications sur les réseaux sociaux, des messages, des données vocales et des lettres écrites de la personne choisie. Ces données seraient utilisées pour former un chatbot à “converser et interagir avec la personnalité de la personne spécifique”. Utiliser des sources de données externes, au cas où l’utilisateur poserait une question au bot à laquelle il ne pouvait pas répondre sur la base des données sociales de la personne (source : brevet Microsoft)
Dans un contexte de protection des données, c’est très inquiétant. Si l’on ajoute le contexte des personnes décédées voire malades, cela devient outrageusement méprisant.
Supposons que vous vouliez voir vos parents en bonne santé, sans Alzheimer ni démence, ou que vous voulez voir votre enfant malade en forme, vous créez simplement une version de chatbot “saine” et laissez l’autre pour votre propre bien-être aux robots de soins. Déjà cette façon de penser ou d’écrire est méprisable dans toute sa splendeur. Ensuite s’ajoute la dimension business.
Le business sans fin avec l’immortalité
L’idée d’un nouveau type de business juteux et contraire à l’éthique s’imagine facilement autour de l’immortalité. En monétisant les données ou en commercialisant l’univers des morts via des programmes de communication plus approfondis ou des mises à niveau râce à la réalité virtuelle, ou des versions robotiques Android avec une peau en silicone douce et des fonctionnalités spéciales permettant des interactions plus sophistiquées.
Il suffit de regarder la machine à cash du futuriste Ray Kurzweil qui surfe depuis des année sur la longévité et la prolongation de la durée de vie. Les auteurs de science-fiction n’ont pas besoin d’imaginer à quoi pourrait ressembler un cycle économique sans fin autour de la cyberimmortalité. (www.lifeextension.com, www.transcend.me). Sur le site de Ray Kurzweil, vous pouvez même faire tourner la roue de la fortune pour une remise sur le Multipack Longevity!
Avec Metaverse qui nous attend, nous devons certainement faire face à ce problème. Identités décédées, nos avatars, nouveaux avatars, identités robotiques… Fiction et réalité se confondent en Un.
Mais qu’en est-il de nous ?
Au-delà des préoccupations éthiques, juridiques, commerciales et sociétales évidentes, l’impact émotionnel pourrait être le plus nocif. C’est du moins la confession d’un Joshua en deuil lorsqu’on l’a interrogé sur la “simulation de Jessica”.
“Intellectuellement, j’ai compris qu’elle était morte, mais émotionnellement, c’était difficile à gérer.” (Joshua)
Quand la cyberimmortalité crée des nouveaux problèmes dans la vie réelle.
Quand la supposée solution crée encore plus de problèmes.
Alors, les données peuvent-elles mourir? Mais la question ne devrait-elle plutôt être, certaines données ne devraient-elles pas mourir? Voire, certaines données doivent mourir?
Katja Rausch is specialized in the ethics of new technologies, and is working on ethical decisions applied to artificial intelligence, data ethics, machine-human interfaces and Business ethics.
For over 12 years, Katja Rausch has been teaching Information Systems at the Master 2 in Logistics, Marketing & Distribution at the Sorbonne and for 4 years Data Ethics at the Master of Data Analytics at the Paris School of Business.
Katja is a linguist and specialist of 19th century literature (Sorbonne University). She also holds a diploma in marketing, audio-visual and publishing from the Sorbonne and a MBA in leadership from the A.B. Freeman School of Business in New Orleans. In New York, she had been working for 4 years with Booz Allen & Hamilton, management consulting. Back in Europe, she became strategic director for an IT company in Paris where she advised, among others, Cartier, Nestlé France, Lafuma and Intermarché.
Author of 6 books, with the latest being “Serendipity or Algorithm” (2019, Karà éditions). Above all, she appreciates polite, intelligent and fun people.
-
The proposed concept of swarm ethics evolves around three pilars : behavior, collectivity and purpose
Away from cognitive jugdmental-based ethics to a new form of collective ethics driven by purpose.
