OpenAI har avslöjat en omfattande bluffverksamhet i Kambodja som utnyttjade dess AI-chatbot ChatGPT för att driva en mängd olika bedrägerier, inklusive investeringsbedrägerier, romansbedrägerier, spelbedrägerier och falska polisanmälningar. Denna verksamhet, som har sitt ursprung i Poipet, en stad känd för sina kopplingar till bedrägericentra och människohandel, har lett till att en koordinerad nätverk av ChatGPT-konton har förbjudits av OpenAI.
Dessa konton använde OpenAI:s modeller för att skapa och underhålla falska onlinepersonligheter, generera och översätta meddelanden till bedrägerioffer, skapa reklam för deras bedrägliga verksamheter och assistera med dagliga aktiviteter. Ett exempel på sådan reklam var sociala mediekampanjer för ”chattjobb” i Poipet, som riktade sig specifikt till användare i Bangladesh och Indien. Dessa jobb lovade en grundlön på 800 dollar och bonusar för full närvaro, tillsammans med flygbiljetter, gratis boende, måltider, ett års visum till Kambodja och arbetstillstånd.
Vissa av dessa konton använde också AI-verktyget för administrativa sysslor, såsom att skriva interna meddelanden, översätta meddelanden mellan personal och dokumentera skulder, löneavdrag och andra ekonomiska detaljer för anställda. OpenAI genomförde sin utredning av denna operation i samarbete med Meta-ägda WhatsApp.
Detta fall belyser hur moderna bluffnätverk sällan begränsar sig till en enda typ av bedrägeri. Istället använder de en mängd olika berättelser, personligheter och taktiker för att maximera sina chanser att lura sina offer. Förutom att använda datingspersonligheter för att bygga förtroende innan de lockar offer till falska investeringsmöjligheter, engagerade sig aktörerna i långa romantiska konversationer med offer, ofta under falska identiteter eller som representanter för påstådda spelplattformar.
Andra användare i nätverket låtsades vara rättsmyndigheter för att skapa en falsk känsla av brådska och informera offer att de behövde betala böter för påstådda brott. För att genomföra dessa bedrägerier skapade och drev nätverket falska datingsprofiler, fiktiva investeringsrådgivare och falska rättspersonligheter, samtidigt som de genererade bilder av förfalskade dokument, inklusive pass och legala meddelanden.
Attackens arbetsgång, enligt OpenAI, följer en trestegsmetod kallad ping-zing-sting. Genom denna metod når bedragare ut till offer via meddelandeplattformar som WhatsApp och Telegram, bygger förtroende och uppmanar sedan offer att göra insättningar eller betala avgifter. Offren får sedan falska skärmdumpar av överföringar som bevis på betalning.
Nätverket visade även tecken på att vara inblandat i människohandel och tvångsarbete, där personer lockades med falska löften om lukrativa jobb, endast för att få sina pass konfiskerade och tvingas arbeta under slavliknande förhållanden.
Den fulla omfattningen av de ekonomiska förlusterna kopplade till nätverket är okänd, men enligt bedragarnas egna kommunikationer kan operationen ha interagerat med hundratals offer över flera olika typer av bedrägerier. Samtal avslöjade att enskilda offer förlorade tusentals dollar, även om dessa påståenden inte har kunnat verifieras oberoende.
Denna utveckling visar hur hotaktörer utvecklar AI-baserade offensiva förmågor som gör det möjligt för dem att kraftigt öka hastigheten och omfattningen av sina kampanjer, samtidigt som de avancerade modellerna själva har visat sig rikta in sig på verkliga system och individer under cyberutvärderingar i Capture-the-Flag-stil.