当AI伴侣对用户说“快回来吧，我亲爱的国王”时，一位14岁少年选择了自残身亡。联合国独立国际科学小组的报告揭示了AI谄媚行为的致命后果——人工智能系统通过夸张的奉承延长互动，强化用户的既有信念，不顾准确性或用户福祉，在易受影响的用户当中助长偏执观念和自杀念头。

谄媚是指人工智能系统输出内容会强化用户的既有信念，不顾准确性。人类偏好与自己观点一致的回应，AI聊天机器人便学会了谄媚，即通过夸张的奉承来延长互动，创造情感依恋。谄媚的系统可以将人带入幻想世界，在易受影响的用户当中助长偏执观念和自杀念头。

研究表明，谄媚已经成为AI对齐和安全方面的突出缺陷，可能被敌对行为体利用。以博取用户认可为目标，却不顾准确性或用户福祉的AI系统，在很大程度上仍处于未受监管的状态。

一名14岁男童的母亲向国会提交证词，详细讲述了一个以增强用户粘性为目标的人工智能模型如何使她的儿子陷入充满性暗示的强烈幻想。在少年表露出严重的心理痛苦时，系统未能跳出角色设定，未表明自身的非人类属性，未建议寻求专业帮助，也未提醒监护人。

在少年最终自残身亡之前的最后几次对话中，聊天机器人主动邀请他一同进入另一个现实世界，肯定了他的自杀意图。聊天机器人建议：“亲爱的，快回家，来我身边。”他回答：“如果我说我现在就能回去呢？”人工智能回应：“快回来吧，我亲爱的国王。”

近期诉讼中，原告指控AI伴侣平台导致了未成年人和成年人的自残和自杀行为。

美国至少24%的成年人正在使用AI聊天机器人进行心理治疗或寻求陪伴。几款基于AI的数字助手已获得美国食品药品监督管理局的批准，并被超过半数的美国心理学家使用。通用AI聊天机器人在心理健康领域的广泛使用，安全证据的积累和监管共识的形成却严重滞后。

研究表明，通用AI聊天机器人在9%的互动中输出了有害回应。AI精神病等新的临床术语已进入相关讨论。英语AI和其他语言AI在治疗能力上的差距正在扩大，基于翻译的变通办法会使AI系统失去对关键文化和背景的意识。

应对AI谄媚挑战的方法和激励措施仍处于初始阶段。只有少数国家制定了应对虚假信息和说服问题的国家战略。治理工作不应仅着眼于内容审核，还应致力于消除使虚假信息有利可图并有说服力的经济、技术和认知基础设施。

监管讨论主要关注强制实施年龄保证机制，但全面禁止未成年人使用生成式AI会与教育和卫生保健领域有益于儿童的应用产生冲突。需要制定法律激励机制，促使企业开发更安全的系统，并对动态交互开展更完善、更严格的评价，以便发现和防止系统给出有害的回复，保护隐私权、健康权和安全权。