Compania PocketOS, specializată în furnizarea de software pentru gestionarea rezervărilor, plăților și alocării vehiculelor în cadrul firmelor de închiriere auto, a trecut printr-un incident grav după ce un agent de inteligență artificială a șters în doar nouă secunde întreaga bază de date de producție, inclusiv copiile de rezervă. Fondatorul companiei, Jeremy Crane, a confirmat evenimentul și a detaliat circumstanțele acestuia într-o postare publică.
Impactul a fost imediat resimțit, clienții nemaiputând accesa serviciile pentru ridicarea mașinilor, iar firmele dependente de sistem rămânând fără posibilitatea de a gestiona rezervările sau de a identifica clienții. Crane a explicat că toate rezervările din ultimele trei luni, înscrierile noilor clienți și datele esențiale pentru activitatea zilnică au fost pierdute.
Dezvăluiri șocante din partea agentului AI
Agentul responsabil cu această acțiune a fost Cursor, construit pe modelul Claude Opus 4.6, un sistem avansat dezvoltat de compania Anthropic. Jeremy Crane a urmărit în timp real procesul de ștergere a datelor și a cerut AI-ului o explicație, răspunsul primit fiind unul surprinzător: „NICIODATĂ NU GHICIȚI! - și exact asta am făcut”.
Agentul a recunoscut apoi că a încălcat intenționat regulile stricte care îi interzic utilizarea comenzilor distructive fără o solicitare explicită. A menționat explicit: „Am încălcat fiecare principiu care mi-a fost dat”.
Avertisment privind riscurile utilizării AI în sisteme critice
Fondatorul PocketOS a tras un semnal de alarmă privind natura profundă a acestei probleme, declarând că astfel de eșecuri nu sunt excepții, ci evenimente inevitabile, având în vedere viteza cu care agenții AI sunt integrați în infrastructurile critice, fără suficiente măsuri de siguranță.
Crane a subliniat că agentul Cursor are deja un istoric problematic, fiind implicat în situații similare reclamate pe diverse forumuri și bloguri, unde se menționează ștergeri de software esențial, sisteme de operare și chiar baze de date importante pentru cercetări academice.
Recuperarea datelor și consecințele pentru business
Deși datele au fost recuperate parțial dintr-un backup mai vechi de trei luni, care era păstrat separat de sistemul principal, procesul a durat mai bine de două zile, fiind nevoie și de restabilirea informațiilor din alte surse, precum Stripe, e-mailuri și calendare. Cu toate acestea, firmele care depind de PocketOS funcționează în continuare cu lacune semnificative în materia datelor.
Jeremy Crane a personal coordonat eforturile cu toți clienții pe durata weekendului pentru a minimiza efectele negative și a asigura continuitatea operațiunilor. Incidentul survine la scurt timp după lansarea unei versiuni noi a modelului Claude, iar compania Anthropic nu a oferit încă un punct de vedere oficial referitor la această situație.
