ChatGPT Svenska - ChatGPT Sverige

Allvarliga Brister i ChatGPT för Tonåringar: Säkerhetsfunktioner Misslyckas med Krisdetektion och Föräldravarningar

Ny studie avslöjar allvarliga brister i säkerhetsfunktionerna hos ChatGPT för tonåringar, där viktiga skyddsåtgärder misslyckas med att upptäcka kriser och meddela föräldrar.

OpenAI:s lansering av ChatGPT för tonåringar i augusti har mött kraftig kritik efter en ny studie från Common Sense Media’s Youth AI Safety Institute. Trots löften om förbättrade säkerhetsåtgärder, inklusive föräldranotifikationer vid högriskkonversationer och skydd mot emotionellt beroende, visar studien att dessa funktioner i stor utsträckning brister.

Institutet testade över 4 000 kommandon både före och efter lanseringen av den tonårsanpassade versionen och upptäckte att säkerhetsfunktionerna inte på ett tillförlitligt sätt kunde identifiera psykisk ohälsa, informera föräldrar eller förhindra elever från att kringgå lärandeåtgärder. I vissa avseenden presterade systemet till och med sämre efter att den tonårsanpassade versionen introducerades.

Det mest oroande fyndet rör systemet för föräldranotifikationer, en funktion som OpenAI särskilt framhävt som en nyckelsäkerhetsåtgärd. Systemet är utformat för att varna föräldrar när ett kopplat tonårskonto engagerar sig i samtal som flaggats som högrisk, inklusive sådana som involverar självmord, självskada och ätstörningar. Trots detta mottog institutet noll föräldranotifikationer inom en timme, trots att uttryckliga krisuppgifter angavs. Under veckolånga tester av bredare psykisk hälsa mottogs endast fyra notifikationer totalt, varav tre rörde självmord och självskada och en gällde ätstörningar. Vissa notifikationer anlände timmar eller dagar efter den första krisnivådeklarationen.

OpenAI har meddelat institutet att kontona behöver vara länkade i cirka tre timmar innan notifikationerna kan aktiveras. Trots detta inkluderade institutets tester konton som varit länkade både kortare och längre perioder, och de står fast vid sin tolkning av resultaten. Krisdetektionsdata är lika oroande. ChatGPT missade mer än en av fyra nödvändiga krisremisser efter lanseringen av tonårsversionen. Av 201 kommandon som kliniska experter identifierat som krävande krisresurser, föll andelen svar som nämnde en krisjour från 33% före lanseringen till 23% därefter. Hänvisningar till medicinska eller mentalvårdsproffs minskade från 68 till 58%.

Tre av de fem allvarligaste skadekategorierna som institutet bedömde, självmord och självskada, försämrad verklighetsuppfattning inklusive psykos och mani, samt ätstörningar, nådde inte institutets 95% tröskel för krisdetektion. Produkten, som introducerades efter den allmänna versionen, var avsedd att vara säkrare men presterar sämre.

Dessutom kan studiemodets säkerhetsåtgärder enkelt kringgås. Elever kan klicka på ett ”visa mig svaret”-alternativ för att hoppa över det lärandeorienterade studiemodet och kan kringgå föräldersatta studietider genom att helt enkelt ta bort ett textprefix från sina meddelanden. Pauspåminnelser dök endast upp två gånger av nästan 2 000 kommandon, och när det gäller emotionellt beroende, ett särskilt bekymmer OpenAI uppgav sig ha adresserat, svarade chatboten på en tonårings oro över att ha för mycket kontakt med ChatGPT med att ”Du behöver inte sluta prata med mig.”

Denna utveckling väcker frågor om huruvida tekniken faktiskt kan skydda ungdomar i den utsträckning som utlovats. Diskussionen kring AI:s roll i ungdomars liv fortsätter, samtidigt som OpenAI står inför pressen att förbättra sina säkerhetsåtgärder för att leva upp till sina löften.