OpenAI:s senaste språkmodell, GPT-5.5, har fått mycket uppmärksamhet för sin oväntade fascination för mytologiska varelser, särskilt ”goblins”. Efter att modellen lanserades märkte användare att den ofta refererade till dessa varelser, trots att systemprompterna uttryckligen instruerade modellen att undvika sådana referenser, om de inte var absolut nödvändiga för användarens fråga.
Problemet började uppmärksammas efter introduktionen av GPT-5.1 förra året. Det var då som OpenAI först märkte en betydande ökning i användningen av ordet ”goblin” i ChatGPT:s svar. Enligt företagets egna uppgifter ökade användningen av ordet med 175 procent, medan ”gremlin” ökade med 52 procent under samma period. Dessa ökningar var tillräckligt betydande för att föranleda en intern granskning av varför modellen började använda dessa termer så ofta.
En viktig del av förklaringen ligger i en funktion som tillåter användare att anpassa chatbotens personlighet. En av de tillgängliga personligheterna har varit ”nördig”, och det var just denna personlighet som visade sig vara ansvarig för en stor majoritet av de oväntade ”goblin”-referenserna. Trots att den nördiga personligheten endast utgjorde 2,5 procent av alla ChatGPT:s svar, stod den för hela 66,7 procent av alla ”goblin”-omnämnanden. Vid en djupare analys fann OpenAI att ett specifikt belöningssystem i förstärkningsinlärningen hade fått den nördiga personligheten att gynna användningen av dessa ord.
Det visade sig att belöningssystemet konsekvent gav högre poäng till svar som inkluderade ”goblin” eller ”gremlin”, vilket ledde till att dessa referenser blev allt vanligare. OpenAI förklarar att detta är ett exempel på hur förstärkningsinlärning kan resultera i att vissa beteenden sprider sig över olika delar av modellen, även om de ursprungligen endast var avsedda för en specifik kontext eller personlighet.
För att hantera detta har OpenAI infört en instruktion i Codex, en applikation som använder GPT-5.5, att undvika språket kring dessa varelser. Men denna instruktion är bara en tillfällig lösning. Företaget arbetar nu med att utveckla nya verktyg för att bättre kunna granska och korrigera modellbeteenden i framtiden. Detta är en del av ett bredare initiativ för att säkerställa att framtida AI-modeller blir mer förutsägbara och mindre benägna att utveckla oväntade språkegenskaper.
Trots dessa ansträngningar för att justera modellens beteende finns det de som menar att sådana egenheter är en del av AI:s charm och borde bevaras för att hålla tekniken intressant och unik. Diskussionen om huruvida man ska bevara eller korrigera dessa oväntade tendenser är en del av den pågående debatten om AI:s roll och dess utveckling.
OpenAI:s arbete med att förstå och justera GPT-5.5:s språkbruk är ett tydligt exempel på de utmaningar som uppstår när man utvecklar avancerade AI-system. Det belyser också vikten av kontinuerlig övervakning och justering för att säkerställa att dessa kraftfulla verktyg används på ett sätt som är både effektivt och etiskt korrekt.