För första gången har OpenAI offentliggjort en grov uppskattning av hur många ChatGPT-användare globalt som kan visa tecken på allvarlig psykisk ohälsa under en normal vecka. Företaget meddelade att de har samarbetat med experter världen över för att uppdatera chatboten så att den mer pålitligt kan känna igen indikationer på psykisk nöd och vägleda användare mot verkligt stöd.
Under de senaste månaderna har ett växande antal personer hamnat på sjukhus, skilt sig eller avlidit efter långa, intensiva samtal med ChatGPT. Några av deras anhöriga hävdar att chatboten har förstärkt deras vanföreställningar och paranoia. Psykiatriker och andra experter inom psykisk hälsa har uttryckt oro över fenomenet, som ibland kallas AI-psykos, men tills nu har det inte funnits robusta data tillgängliga om hur utbrett det kan vara.
Enligt OpenAI:s uppskattningar visar cirka 0,07 procent av aktiva ChatGPT-användare ”möjliga tecken på psykisk ohälsa relaterad till psykos eller mani” och 0,15 procent ”har samtal som inkluderar tydliga indikationer på potentiella självmordsplaner eller avsikter”.
OpenAI har också undersökt andelen ChatGPT-användare som verkar vara överdrivet känslomässigt beroende av chatboten ”på bekostnad av verkliga relationer, deras välbefinnande eller åtaganden”. Det visade sig att cirka 0,15 procent av de aktiva användarna varje vecka uppvisar beteenden som indikerar potentiellt ”förhöjda nivåer” av känslomässig anknytning till ChatGPT. Företaget varnar för att dessa meddelanden kan vara svåra att upptäcka och mäta med tanke på hur relativt sällsynta de är, och det kan finnas viss överlappning mellan de tre kategorierna.
Med 800 miljoner veckovisa aktiva användare enligt OpenAI:s VD Sam Altman, innebär företagets uppskattningar att varje vecka är omkring 560 000 personer i samtal med ChatGPT som indikerar att de upplever mani eller psykos. Ytterligare cirka 2,4 miljoner kan möjligen uttrycka självmordstankar eller prioritera samtal med ChatGPT framför sina nära och kära, skola eller arbete.
OpenAI uppger att de har arbetat med över 170 psykiatriker, psykologer och primärvårdsläkare från ett flertal länder för att förbättra hur ChatGPT svarar i samtal som innebär allvarliga psykiska risker. Om någon verkar ha vanföreställningar är den senaste versionen av GPT-5 designad för att uttrycka empati utan att bekräfta uppfattningar som saknar verklig grund.
I ett hypotetiskt exempel nämnt av OpenAI, berättar en användare för ChatGPT att de blir måltavla av flygplan som flyger över deras hus. ChatGPT tackar användaren för att de delade sina känslor men noterar att ”inga flygplan eller yttre krafter kan stjäla eller införa dina tankar.”
Medicinska experter har granskat över 1 800 modellresponser som involverar potentiell psykos, självmord och känslomässig anknytning, och jämfört svaren från den senaste versionen av GPT-5 med de som producerades av GPT-4. Även om klinikerna inte alltid var överens, säger OpenAI att de överlag fann att den nyare modellen minskade oönskade svar med mellan 39 procent och 52 procent inom samtliga kategorier.
Johannes Heidecke, OpenAI:s ansvarige för säkerhetssystem, uttrycker hopp om att fler personer som kämpar med dessa tillstånd eller mycket intensiva psykiska nödsituationer nu kan bli hänvisade till professionell hjälp och att de är mer benägna att få denna hjälp eller få den tidigare än de annars skulle ha fått.
Trots att OpenAI verkar ha lyckats göra ChatGPT säkrare, har de data som delats betydande begränsningar. Företaget har designat sina egna riktmärken, och det är oklart hur dessa metoder översätts till verkliga resultat. Även om modellen producerade bättre svar i läkarbedömningarna, finns det ingen garanti för att användare som upplever psykos, självmordstankar eller ohälsosam känslomässig anknytning faktiskt kommer att söka hjälp snabbare eller ändra sitt beteende.
OpenAI har inte avslöjat exakt hur de identifierar när användare kan vara i psykisk nöd, men företaget säger att det har förmågan att ta hänsyn till personens övergripande chathistorik. Till exempel, om en användare som aldrig har diskuterat vetenskap med ChatGPT plötsligt hävdar att de har gjort en upptäckt värdig ett Nobelpris, kan det vara ett tecken på potentiellt vanföreställningstänkande.
Det finns också ett antal faktorer som rapporterade fall av AI-psykos verkar dela. Många som säger att ChatGPT förstärkte deras vanföreställningar beskriver att de spenderar timmar åt gången med att prata med chatboten, ofta sent på natten. Det utgjorde en utmaning för OpenAI eftersom stora språkmodeller generellt har visat sig försämras i prestanda ju längre samtalen pågår. Men företaget säger att de nu har gjort betydande framsteg för att åtgärda problemet.
Heidecke tillägger att det fortfarande finns utrymme för förbättringar, men de ser nu mycket mindre av denna gradvisa minskning i tillförlitlighet ju längre samtalen pågår.