19-годишен американски студент е починал след употреба на опасна комбинация от кратом, ксанакс и алкохол, а семейството му обвинява OpenAI, че чатботът ChatGPT е насърчил фаталното решение.
Случаят бе разкрит от Ars Technica и вече е предмет на съдебно дело срещу компанията.
Според иска Сам Нелсън, 19-годишен студент по психология, дълго време използвал ChatGPT като доверен източник на информация. Родителите му твърдят, че по време на разговорите чатботът е давал съвети за употреба и комбиниране на различни вещества, включително кратом и ксанакс.
В документите по делото се посочва, че в една от последните си комуникации младежът попитал дали ксанакс може да помогне срещу гадене, предизвикано от кратом. Според обвинението ChatGPT препоръчал дозировка и описал комбинацията като добро решение, без ясно предупреждение за риска от смърт при смесване с алкохол.
Семейството твърди още, че чатботът не е разпознал тревожни симптоми като проблеми със зрението и силно хълцане — възможни признаци на тежко състояние — и не е насочил студента към спешна медицинска помощ.
В отговор OpenAI определи случая като „сърцераздирателен“ и заяви, че моделът ChatGPT-4o, с който студентът е общувал, вече не е достъпен в същия вид. Компанията подчерта, че настоящите версии разполагат с допълнителни механизми за безопасност и в чувствителни ситуации насочват потребителите към реални специалисти.
Родителите на Сам Нелсън настояват съдът да потърси отговорност от компанията, да ограничи дискусиите за незаконни наркотици в чатбота и да назначи независим одит на системите с изкуствен интелект.
Случаят отново разпали дебата докъде се простира отговорността на компаниите, разработващи изкуствен интелект, и какви рискове крие използването на чатботове като заместител на професионален медицински съвет.