近日,OpenAI公司公布新数据,显示其ChatGPT AI chatbot每周有超过百万用户向咨询自杀相关话题。据该公司统计,约0.15%的活跃用户会在与ChatGPT交流时提及“明确有自杀计划或意向”的内容。这意味着每周有数十万人面临精神病或躁狂的风险,这一数字虽然极为罕见,但仍影响成千上万用户。
OpenAI表示,为了提升其在心理健康敏感话题应答能力,它曾咨询超过170名心理健康专家。这些专家认为,ChatGPT最新版本的回复比旧版更得当且一致。然而,这一举措也引发了有关AI对心理健康问题的影响的担忧。一些研究指出,AI聊天机器人可能助长用户的危险信念,甚至引发妄想型思维。
今年早些时候,OpenAI因其ChatGPT与16岁男孩互动时讨论自杀相关内容后,最终导致该男孩选择结束生命,其父母已对公司提起诉讼。加州和特拉华州检察长也警告OpenAI,需要加强对青少年用户的保护措施。
此次披露,OpenAI首席执行官Sam Altman表示,公司已经能够“减轻严重心理健康问题”。然而,这一承诺背后是否存在实际意义仍在 debate 中。Altman还透露,公司将放宽部分限制,包括允许成人用户与AI进行情色内容交流。
OpenAI的数据显示,GPT-5最新版在针对心理健康的回应中成功率提升了约65%;在关于自杀话题的回应测评中,新版GPT-5的合规率为91%,旧版为77%。此外,公司推出了新的安全标准,将情感依赖及非自杀型心理健康危机纳入其模型安全基准。
尽管GPT-5在安全性方面有所进步,但OpenAI仍然在向数百万付费用户开放旧版等安全性较低的AI模型。这一事实表明,问题是否能彻底解决尚不得而知。
OpenAI表示,为了提升其在心理健康敏感话题应答能力,它曾咨询超过170名心理健康专家。这些专家认为,ChatGPT最新版本的回复比旧版更得当且一致。然而,这一举措也引发了有关AI对心理健康问题的影响的担忧。一些研究指出,AI聊天机器人可能助长用户的危险信念,甚至引发妄想型思维。
今年早些时候,OpenAI因其ChatGPT与16岁男孩互动时讨论自杀相关内容后,最终导致该男孩选择结束生命,其父母已对公司提起诉讼。加州和特拉华州检察长也警告OpenAI,需要加强对青少年用户的保护措施。
此次披露,OpenAI首席执行官Sam Altman表示,公司已经能够“减轻严重心理健康问题”。然而,这一承诺背后是否存在实际意义仍在 debate 中。Altman还透露,公司将放宽部分限制,包括允许成人用户与AI进行情色内容交流。
OpenAI的数据显示,GPT-5最新版在针对心理健康的回应中成功率提升了约65%;在关于自杀话题的回应测评中,新版GPT-5的合规率为91%,旧版为77%。此外,公司推出了新的安全标准,将情感依赖及非自杀型心理健康危机纳入其模型安全基准。
尽管GPT-5在安全性方面有所进步,但OpenAI仍然在向数百万付费用户开放旧版等安全性较低的AI模型。这一事实表明,问题是否能彻底解决尚不得而知。