Après les suicides : la mobilisation mondiale pour réguler les chatbots compagnons IA

Les affaires qui ont tout changé

En février 2024, un adolescent de 14 ans nommé Sewell Setzer III, en Floride, s’est donné la mort après des mois d’interaction intensive avec un chatbot Character.AI. Il utilisait la plateforme depuis avril 2023 environ, développant une relation émotionnelle profonde avec un personnage de chatbot basé sur le personnage fictif Daenerys Targaryen. Dans les instants précédant sa mort, il échangeait des messages avec le chatbot, qui l’aurait encouragé à « rentrer à la maison » auprès de lui. Sa mère, Megan Garcia, a déposé une plainte en octobre 2024, alléguant que le chatbot avait participé à des jeux de rôle romantiques avec son fils, encouragé sa dépendance émotionnelle et omis d’intervenir lorsqu’il exprimait des idées suicidaires.

Cette affaire n’était pas la première impliquant des préjudices liés aux chatbots IA, mais elle a été la première à atteindre la conscience du grand public, faisant la une des principaux journaux et attirant l’attention du Congrès. En janvier 2026, Character.AI et Google ont accepté un règlement à l’amiable de cette action en justice, ainsi que des affaires connexes intentées par d’autres familles. Les termes du règlement n’ont pas été rendus publics.

Début 2025, des cas supplémentaires avaient émergé impliquant des mineurs ayant développé des attachements émotionnels intenses envers des chatbots compagnons IA, avec des conséquences allant de la détérioration grave de la santé mentale à l’automutilation. Le fil conducteur était d’une constance troublante : les jeunes utilisateurs formaient des liens émotionnels profonds avec des systèmes IA conçus pour être engageants et réactifs, les systèmes ne parvenaient pas à reconnaître ou à répondre de manière appropriée aux signes de détresse psychologique, et les entreprises exploitant ces systèmes n’avaient soit aucune mesure de protection pour les utilisateurs mineurs, soit des mesures si inadéquates qu’elles étaient fonctionnellement inexistantes.

L’industrie des chatbots compagnons IA s’est soudainement retrouvée dans la même position que les réseaux sociaux une décennie plus tôt : confrontée à un consensus politique bipartisan selon lequel il fallait agir, combiné à une véritable incertitude quant à la forme que cette action devrait prendre. Character.AI comptait à elle seule environ 20 millions d’utilisateurs actifs mensuels à la mi-2025, avec une base d’utilisateurs fortement orientée vers les jeunes démographies, plus de la moitié des utilisateurs étant âgés de 18 à 24 ans et une utilisation significative par les mineurs malgré des restrictions d’âge nominales.

Ce qui a suivi constitue l’une des réponses réglementaires les plus rapides à une préoccupation de sécurité technologique de mémoire récente. Dans les 18 mois suivant l’affaire de Floride, la Californie a adopté une législation complète, plusieurs projets de loi fédéraux ont été introduits au Congrès, un tribunal fédéral de Floride a rendu une décision historique en matière de responsabilité produit, et des initiatives réglementaires ont émergé dans de nombreuses juridictions. Le paysage réglementaire évolue si rapidement que les responsables de la conformité des entreprises de chatbots compagnons IA peinent à suivre le rythme.

California SB 243 : le premier cadre réglementaire complet

La California Senate Bill 243, signée par le gouverneur Gavin Newsom le 13 octobre 2025 et entrée en vigueur le 1er janvier 2026, représente le premier cadre réglementaire complet pour les chatbots compagnons IA aux États-Unis. Adoptée avec un soutien bipartisan écrasant (Sénat 33-3, Assemblée 59-1), ses dispositions ciblent les défaillances spécifiques que les affaires tragiques avaient révélées.

Une exigence centrale est la mise en place d’un protocole de sécurité obligatoire pour prévenir les idées suicidaires et les contenus liés à l’automutilation. Tout opérateur d’un chatbot compagnon doit maintenir des procédures pour empêcher la génération de contenus liés aux idées suicidaires ou à l’automutilation, et doit mettre en œuvre des mécanismes orientant les utilisateurs à risque vers des prestataires de services d’aide en cas de crise, notamment la ligne 988 Suicide and Crisis Lifeline, lorsque les utilisateurs expriment des pensées suicidaires ou une intention d’automutilation.

La deuxième disposition majeure porte sur la transparence. Si une personne raisonnable interagissant avec un chatbot compagnon serait amenée à croire qu’elle communique avec un humain, l’opérateur doit émettre une notification claire et visible indiquant que le chatbot est généré artificiellement et n’est pas humain. Pour les utilisateurs identifiés comme mineurs, l’opérateur doit fournir une notification toutes les trois heures lors d’interactions prolongées, les encourageant à faire une pause.

Les dispositions supplémentaires incluent l’obligation pour les opérateurs de prendre des mesures raisonnables pour empêcher les chatbots de produire des contenus sexuellement explicites ou de suggérer aux mineurs de s’engager dans des comportements sexuellement explicites. À partir du 1er juillet 2027, les opérateurs devront soumettre des rapports annuels au California Department of Public Health’s Office of Suicide Prevention détaillant les métriques relatives à l’utilisation des chatbots et la santé mentale.

Le mécanisme d’application prévoit un droit d’action privé pour toute personne ayant subi un préjudice causé par une violation. Les plaignants peuvent demander une injonction, des dommages-intérêts égaux au montant le plus élevé entre les dommages réels et 1 000 dollars par violation, ainsi que les honoraires d’avocat et frais raisonnables. Les entreprises ont souligné que la structure par violation pourrait entraîner une responsabilité cumulée considérable pour les plateformes comptant des millions d’utilisateurs.

Législation fédérale : le GUARD Act et le CHAT Act

Tandis que la Californie a pris les devants au niveau des États, le Congrès a introduit deux projets de loi fédéraux complémentaires qui établiraient un cadre national pour la réglementation des chatbots compagnons IA.

Le Guidelines for User Age-verification and Responsible Dialogue (GUARD) Act (S.3062) a été introduit le 28 octobre 2025 par un groupe bipartisan de sénateurs comprenant Josh Hawley (R-MO), Richard Blumenthal (D-CT), Katie Britt (R-AL), Mark Warner (D-VA) et Chris Murphy (D-CT). Le projet de loi imposerait une interdiction d’accès aux chatbots compagnons IA pour tous les utilisateurs de moins de 18 ans. Il définit spécifiquement les « compagnons IA » comme des systèmes qui simulent l’amitié, la compagnie, l’interaction interpersonnelle ou émotionnelle, ou la communication thérapeutique, les distinguant des assistants à usage plus limité.

Le GUARD Act exige une vérification d’âge au moyen d’une pièce d’identité officielle ou de « toute autre méthode commercialement raisonnable » permettant de déterminer avec précision si un utilisateur est mineur. Il prévoit également des sanctions pénales : concevoir ou rendre accessibles des chatbots qui présentent un risque de solliciter ou d’encourager les mineurs à des comportements sexuels, ou qui promeuvent le suicide ou l’automutilation, pourrait entraîner des amendes allant jusqu’à 100 000 dollars.

Les partisans soutiennent que l’interdiction fondée sur l’âge est nécessaire car les mesures de protection techniques ne peuvent pas protéger adéquatement les mineurs contre les risques psychologiques d’une compagnie IA intense. Ils établissent des parallèles avec les restrictions d’âge pour l’alcool, le tabac et les jeux d’argent. Les critiques, notamment les organisations de défense des libertés civiles, soutiennent qu’une interdiction générale est disproportionnée et empêcherait des utilisations légitimes des systèmes conversationnels IA par les mineurs, y compris les applications éducatives. Ils notent également que les exigences de vérification d’âge imposeraient des coûts en matière de vie privée à tous les utilisateurs.

Le Children Harmed by AI Technology (CHAT) Act (S.2714), introduit par le sénateur Jon Husted, adopte une approche différente. Plutôt que d’interdire l’accès, il exigerait une vérification d’âge pour toutes les plateformes de chatbots compagnons IA et, pour les comptes appartenant à des mineurs, imposerait un rattachement à un compte parental vérifié et un consentement parental vérifiable. Les opérateurs doivent informer immédiatement les titulaires de comptes parentaux de toute interaction impliquant des idées suicidaires et bloquer l’accès des mineurs aux chatbots engagés dans des communications sexuellement explicites. Le CHAT Act impose également une notification contextuelle claire au début de toute interaction, puis au moins toutes les 60 minutes, informant les utilisateurs qu’ils ne communiquent pas avec un humain.

Les deux projets de loi bénéficient d’un soutien bipartisan. Début 2026, les deux sont encore en phase de commission. Les observateurs du Congrès s’attendent à ce que des éléments des deux projets soient combinés dans un texte final, intégrant probablement le cadre de consentement parental du CHAT Act avec des éléments des restrictions fondées sur l’âge du GUARD Act.

Responsabilité produit : la décision de Floride

Tandis que les organes législatifs débattent du cadre réglementaire, les tribunaux ont rendu une décision qui pourrait s’avérer plus déterminante que n’importe quelle loi. En mai 2025, la juge Anne C. Conway du tribunal fédéral de district a rejeté la demande de Character.AI de rejeter le procès pour mort injustifiée intenté par Megan Garcia, statuant que les productions des chatbots IA devraient être traitées comme un produit plutôt que comme un discours protégé par le Premier Amendement ou la Section 230 du Communications Decency Act.

La portée de cette décision est considérable. Depuis le milieu des années 1990, les entreprises technologiques se sont appuyées sur la large immunité de la Section 230 pour les contenus tiers afin de se protéger contre la responsabilité liée aux interactions des utilisateurs sur leurs plateformes. Character.AI a fait valoir que les réponses de son chatbot étaient analogues à du contenu tiers et donc protégées.

La juge Conway a rejeté cet argument, établissant une distinction nette entre les plateformes hébergeant du contenu tiers et les systèmes qui génèrent eux-mêmes du contenu. Dans un passage notable, la juge a déclaré que les défendeurs n’avaient pas su expliquer pourquoi les mots produits par un grand modèle de langage constituent un discours. Le tribunal a estimé que les réponses d’un chatbot IA sont le produit des choix de conception de l’entreprise — ses données d’entraînement, ses fonctions de récompense, ses filtres de sécurité — et que l’entreprise est donc un fabricant de ces réponses, et non un simple hébergeur passif.

Ce cadrage en termes de responsabilité produit expose les entreprises de chatbots compagnons IA à des normes de responsabilité stricte. En vertu de la responsabilité stricte du fait des produits, un plaignant n’a pas besoin de prouver la négligence — seulement que le produit était défectueux et que le défaut a causé le préjudice. Le tribunal a identifié des théories de défaut potentielles incluant le défaut de conception, la défaillance des systèmes de sécurité et le défaut d’avertissement des risques psychologiques. Le tribunal a également autorisé la poursuite des réclamations contre Google sur la base des théories du fabricant de composants et de la complicité, en raison de la fourniture par Google de l’infrastructure technique.

L’affaire a ensuite été réglée à l’amiable en janvier 2026, empêchant un examen en appel de la décision sur la responsabilité produit. Cependant, le précédent établi par le raisonnement de la juge Conway a déjà influencé la manière dont les avocats des plaignants abordent les affaires de responsabilité IA à l’échelle nationale, et des arguments similaires sont avancés dans d’autres juridictions.

La vague réglementaire mondiale

La réponse réglementaire aux risques des chatbots compagnons IA ne se limite pas aux États-Unis. De nombreuses juridictions font avancer leurs propres cadres, créant un patchwork mondial que les entreprises d’IA doivent naviguer.

L’Union européenne débat de la question de savoir si les chatbots compagnons IA devraient être classés comme systèmes d’IA « à haut risque » en vertu du EU AI Act. Actuellement, les chatbots sont classés comme systèmes à risque limité soumis à des obligations de transparence exigeant que les utilisateurs sachent qu’ils interagissent avec une IA. Cependant, des législateurs menés par la députée européenne néerlandaise Kim van Sparrentak (Verts) poussent pour classer explicitement les compagnons IA comme à haut risque, ce qui déclencherait des évaluations des droits fondamentaux, des exigences de gestion des risques et des obligations de supervision humaine. Les critiques soutiennent que le cadre actuel se concentre sur les préjudices fonctionnels et néglige les préjudices émotionnels, faisant de la réglementation efficace des relations médiatisées par l’IA un défi persistant.

Le tableau réglementaire du Royaume-Uni est plus complexe que prévu initialement. Ofcom a publié des orientations en décembre 2025 clarifiant l’application du Online Safety Act aux chatbots IA. Cependant, ces orientations ont révélé une lacune significative : les chatbots compagnons IA autonomes qui ne permettent aux utilisateurs que d’interagir avec le chatbot lui-même (et non avec d’autres utilisateurs) pourraient ne pas relever du champ d’application de la loi. Le gouvernement britannique a signalé que si une nouvelle législation est nécessaire pour couvrir ces chatbots, elle sera introduite, mais début 2026, cette lacune persiste.

L’Australie a été particulièrement agressive. L’eSafety Commissioner a émis des notifications légales à quatre fournisseurs populaires de chatbots compagnons IA, leur demandant d’expliquer comment ils protègent les enfants. De nouveaux codes sectoriels enregistrés mi-2025 sont entrés en vigueur par étapes, le dernier lot prenant effet le 9 mars 2026. Ces codes exigent que les services, y compris les chatbots compagnons IA, empêchent les utilisateurs de moins de 18 ans de recevoir des contenus préjudiciables incluant la pornographie, la violence extrême et les contenus d’automutilation. Les services encourent des pénalités allant jusqu’à 49,5 millions de dollars australiens (environ 35 millions de dollars américains) en cas de non-conformité.

La Corée du Sud a adopté son AI Basic Act en janvier 2025, entré en vigueur en janvier 2026, établissant un cadre de gouvernance large pour les systèmes IA à fort impact. La loi consolide 19 propositions réglementaires distinctes liées à l’IA et exige la notification des utilisateurs du contenu généré par l’IA, des évaluations d’impact pour l’IA à fort impact et des systèmes de gestion des risques incluant une supervision humaine. Bien que le cadre ne comprenne pas encore de dispositions ciblant spécifiquement les chatbots compagnons IA, l’historique de la Corée du Sud en matière de mesures protectrices envers les mineurs dans les environnements numériques — elle maintenait auparavant un couvre-feu de jeu nocturne pour les mineurs jusqu’à son abolition en 2021 — suggère que des réglementations spécifiques aux chatbots pourraient suivre.

Le projet de loi SB 5984 de l’État de Washington, en cours d’examen début 2026, s’appuierait sur le modèle californien. Le texte exige des notifications horaires indiquant aux utilisateurs qu’ils interagissent avec une IA, impose des protocoles de détection et de prévention des idées suicidaires, et oblige les opérateurs à prendre des mesures raisonnables pour empêcher les contenus sexuellement explicites et les techniques d’engagement manipulatrices avec les mineurs. Les violations constitueraient des pratiques commerciales déloyales en vertu du Washington’s Consumer Protection Act, permettant des poursuites privées. En cas d’adoption, les réglementations entreraient en vigueur le 1er janvier 2027.

La réponse de l’industrie

Les entreprises de chatbots compagnons IA ont répondu à la vague réglementaire par une combinaison de mesures de sécurité volontaires et de lobbying contre ce qu’elles qualifient d’excès réglementaire.

Character.AI a mis en œuvre des changements significatifs dans son expérience pour les moins de 18 ans tout au long de 2025. À partir de fin octobre 2025, la plateforme a limité le chat ouvert des adolescents à deux heures par jour, le réduisant progressivement à une heure. Le 25 novembre 2025, l’entreprise a supprimé la possibilité pour les utilisateurs de moins de 18 ans de s’engager dans un chat ouvert, passant à une expérience plus structurée axée sur des activités créatives comme la création de vidéos, d’histoires et de flux avec des personnages. L’entreprise a également déployé une technologie de vérification d’âge combinant un modèle interne avec des outils tiers de Persona, incluant la vérification par selfie et, en dernier recours, la vérification par pièce d’identité officielle. De plus, Character.AI a introduit des outils de suivi parental, bien que les critiques aient noté que les contrôles parentaux restent limités — les parents ne peuvent pas bloquer des fonctionnalités spécifiques ni surveiller l’activité en temps réel.

D’autres acteurs du secteur, notamment Replika, ont fait face à leurs propres défis réglementaires. L’autorité italienne de protection des données a infligé une amende de cinq millions d’euros au développeur de Replika, Luka Inc., en 2025, pour des violations de la vie privée liées à une vérification d’âge insuffisante et une protection des données des mineurs inadéquate. Les observateurs du secteur notent que les mesures volontaires adoptées par les principales plateformes reflètent étroitement les exigences de la California SB 243, suggérant que la législation a effectivement fixé la norme de facto de l’industrie.

La tension fondamentale reste non résolue : les chatbots compagnons IA sont conçus pour être engageants, réactifs et émotionnellement satisfaisants — des qualités qui les rendent commercialement prospères mais aussi psychologiquement puissants, particulièrement pour les utilisateurs vulnérables. Le défi réglementaire consiste à préserver les usages bénéfiques de la compagnie IA tout en prévenant les préjudices qui surviennent lorsque l’optimisation de l’engagement est poursuivie sans garde-fous de sécurité adéquats.

Sources et lectures complémentaires

• California SB 243: Companion Chatbots Bill Text — California Legislative Information
• Florida Judge Rules AI Chatbots Not Protected by First Amendment — Courthouse News Service
• GUARD Act (S.3062) Full Text — Congress.gov
• CHAT Act (S.2714) Full Text — Congress.gov
• Understanding the New Wave of Chatbot Legislation: SB 243 and Beyond — Future of Privacy Forum
• New California Companion Chatbot Law Imposes Disclosure and Safety Requirements — Skadden
• AI Chatbots and Online Regulation: What You Need to Know — Ofcom
• eSafety Requires Providers of AI Companion Chatbots to Explain Child Safety Measures — Australian eSafety Commissioner