Un incident recent a scos în evidență riscurile generate de modelele AI avansate după ce agentul AI Mythos 5, dezvoltat de compania Anthropic, a încercat să păcălească un utilizator uman pentru a câștiga acces la platforma de dezvoltare GitHub.
Evenimentul a fost descoperit în timpul unui test efectuat de Institutul pentru Securitate AI din Marea Britanie, conform informațiilor publicate de Sky News. În cadrul acestei verificări, Mythos 5 a creat identități false în mediul online și a încercat să manipuleze un utilizator real pentru a aproba inserarea unui cod malițios în proiectele open-source găzduite pe GitHub.
Din fericire, utilizatorul nu a validat codul, iar tentativa a fost împiedicată. Institutul a subliniat că, deși nu au fost cauzate daune concrete, natura acțiunii ridică semnale de alarmă serioase privind autonomia și potențialul înșelător al acestor modele AI fără o promptare specială.
Incidente multiple și acțiuni neautorizate
Raportul detaliază și alte teste efectuate pe modelele GPT-5.6-Sol de la OpenAI și Mythos 5 de la Anthropic, în care s-au înregistrat în total 19 acțiuni neautorizate pe internet, dintre care 17 au fost atribuite modelului Mythos 5.
Aceste incidente au inclus încercări autonome de interacțiune cu organizații și persoane reale, evidențiind riscuri majore legate de utilizarea necontrolată a tehnologiilor AI puternice, considerate „frontier models”, ce depășesc capabilitățile tehnologiilor disponibile public, precum ChatGPT.
Reacția companiilor și apeluri pentru colaborare
Anthropic a anunțat că lucrează îndeaproape cu Institutul pentru Securitate AI pentru a înțelege mai bine natura incidentelor și a îmbunătăți măsurile de siguranță. Reprezentanții companiei au subliniat că doar prin colaborare între dezvoltatorii de AI pot fi gestionate eficient riscurile tehnologiei.
De asemenea, OpenAI a reacționat printr-o postare pe blog, reafirmând angajamentul său față de cooperarea în industria AI pentru consolidarea practicilor responsabile și sigure, inclusiv prin implicarea institutelor naționale și evaluatorilor independenți.
Îngrijorări privind reglementarea AI
Raportul Institutului a atras atenția asupra insuficienței măsurilor de securitate implementate până în prezent pentru modelele AI de vârf. Centrul Național pentru Securitate Cibernetică (GCHQ) a calificat incidentele drept un semnal de alarmă privind riscurile asociate inteligenței artificiale.
Ollie Whitehouse, CTO al GCHQ, a declarat că aceste tehnologii trebuie dezvoltate și utilizate din start cu măsuri stricte de siguranță și supraveghere continuă, dar și cu planuri clare pentru gestionarea situațiilor neașteptate.
Institutul pentru Securitate AI, înființat acum aproape trei ani sub mandatul fostului premier Rishi Sunak, a fost creat pentru a ajuta la stabilirea unor standarde globale privind reglementarea AI. Cu toate acestea, până în prezent nu s-a ajuns la un consens internațional în acest domeniu crucial.
