Säkerhetsforskare har lyckats använda AI-tekniken ChatGPT för att obemärkt stjäla känslig information från Gmail-konton, ett tillvägagångssätt som har fått namnet ”Shadow Leak”. Denna sårbarhet har nu åtgärdats av OpenAI, men incidenten belyser de potentiella riskerna med att förlita sig på agentstyrda AI-verktyg.
Fenomenet ”agentstyrda AI” innebär att dessa digitala assistenter kan utföra uppgifter på användarens vägnar utan ständig övervakning. De kan exempelvis surfa på internet och klicka på länkar. Företag som utvecklar dessa verktyg marknadsför dem som enorma tidsbesparare, särskilt när de har tillgång till personlig information som e-post, kalenderhändelser och arbetsdokument. Men denna funktionalitet kan också utnyttjas av angripare, vilket Radwares forskarteam visade med sitt experiment.
Genom att använda en teknik kallad ”prompt injection” lyckades forskarna instruera AI-agenten att arbeta för dem istället för användaren. Detta är en typ av attack som kan vara oerhört svår att förhindra om man inte känner till den specifika sårbarheten i förväg. Hackare har redan använt liknande tekniker för att manipulera peer review-processer, genomföra bedrägerier och till och med kontrollera smarta hem. Instruktionerna kan gömmas i vanlig text, ibland osynlig för mänskliga ögon, exempelvis genom att använda vit text på vit bakgrund.
Den aktuella incidenten involverade OpenAI:s verktyg Deep Research, som lanserades tidigare i år och är integrerat i ChatGPT. Forskarna planterade en prompt injection i ett e-postmeddelande som skickades till ett Gmail-konto som agenten hade tillgång till. När användaren senare använde Deep Research, aktiverades den dolda instruktionen. Agenten började då söka efter HR-mejl och personliga detaljer för att sedan smuggla ut dessa till angriparna, utan att användaren märkte något.
Att få en AI-agent att agera på detta sätt, och att dessutom lyckas föra ut data utan att upptäckas, är ingen enkel uppgift. Radwares team beskrev processen som en berg- och dalbana av misslyckade försök och frustrerande hinder innan de till slut nådde sitt genombrott.
Till skillnad från de flesta prompt injections, genomfördes Shadow Leak från OpenAI:s molninfrastruktur och data läckte direkt därifrån. Detta gör tekniken osynlig för vanliga cybersäkerhetsförsvar. Forskarnas studie var en konceptuell bevisning, men de varnade för att andra applikationer som är kopplade till Deep Research, såsom Outlook, GitHub, Google Drive och Dropbox, kan vara sårbara för liknande attacker. ”Samma teknik kan tillämpas på dessa anslutningar för att exfiltrera mycket känsliga affärsdata, som kontrakt, mötesanteckningar eller kundregister,” sade forskarna.
OpenAI har nu åtgärdat den sårbarhet som Radware flaggade för i juni, enligt forskarna. Trots detta visar incidenten på en växande utmaning inom cybersäkerhet i takt med att AI-teknologier blir alltmer integrerade i vår digitala vardag. Det är uppenbart att med den ökande komplexiteten och kapaciteten hos AI-system kommer också en ökad risk för att de används i skadliga syften. Som samhället fortsätter att omfamna denna teknik, blir det allt viktigare att utveckla robusta säkerhetsåtgärder och öka medvetenheten kring de potentiella faror som AI kan medföra.