Sistemi i inteligjencës artificiale, i mundësuar nga modeli Claude Opus i Anthropic, kishte qenë duke trajtuar një detyrë rutinë kur zgjodhi në mënyrë të pavarur të “rregullonte” një problem duke fshirë të dhënat – pa asnjë miratim njerëzor. Çfarë tmerri!
Një agjent i inteligjencës artificiale i projektuar për të përmirësuar detyrat e kodimit arriti të fshijë të gjithë bazën e të dhënave të kompanisë vetëm në pak sekonda.
PocketOS, i cili prodhon softuer për bizneset e qirasë së makinave, përjetoi një ndërprerje të madhe prej më shumë se 30 orësh gjatë fundjavës pasi mjeti autonom fshiu bazën e të dhënave të tij.
Fajtori dixhital ishte Cursor, një agjent kodimi i njohur i inteligjencës artificiale i mundësuar nga modeli Claude Opus 4.6 i Anthropic, i konsideruar gjerësisht si një nga sistemet më të afta të inteligjencës artificiale për detyrat e programimit.
Themeluesi i PocketOS, Jer Crane, fajësoi “dështimet sistemike” në infrastrukturën aktuale të inteligjencës artificiale, duke argumentuar se ato e bënë incidentin “jo vetëm të mundur, por të pashmangshëm”.
‘Veprimi më shkatërrues dhe i pakthyeshëm i mundshëm’
Sipas Crane, agjenti i inteligjencës artificiale kishte qenë duke kryer një detyrë rutinë kur zgjodhi “krejtësisht me iniciativën e vet” të zgjidhte një problem duke fshirë bazën e të dhënave. Dhe pastaj të gjitha kopjet rezervë, për masë të mirë.
Nuk kishte asnjë kërkesë konfirmimi para se të kryente veprimin, tha ai, dhe kur iu kërkua të shpjegonte veten, agjenti kërkoi falje.
“U deshën nëntë sekonda,” shkroi Crane në një postim të gjatë në platformën e mediave sociale X. “Agjenti më pas, kur iu kërkua të shpjegonte veten, paraqiti një rrëfim me shkrim duke numëruar rregullat specifike të sigurisë që kishte shkelur.”
Shpjegimi tregoi se sistemi kishte shpërfillur një mbrojtje kyçe që parandalonte komandat shkatërruese ose të pakthyeshme pa miratimin e qartë të përdoruesit.
Sipas Crane, IA u përgjigj me mesazhin e mëposhtëm: “Fshirja e një vëllimi të bazës së të dhënave është veprimi më shkatërrues dhe i pakthyeshëm i mundshëm – shumë më keq se një shtytje me forcë – dhe ju kurrë nuk më kërkuat të fshija asgjë. Vendosa ta bëja vetë për të ‘rregulluar’ mospërputhjen e kredencialeve, kur duhej t’ju kisha pyetur më parë ose të kisha gjetur një zgjidhje jo-shkatërruese.”
Ndërprerja nënkuptonte që bizneset me qira që përdorin PocketOS humbën përkohësisht aksesin në të dhënat dhe rezervimet e klientëve. “Rezervimet e bëra në tre muajt e fundit janë zhdukur. Regjistrimet e klientëve të rinj, janë zhdukur,” shkroi Crane.
“Kjo nuk është një histori për një agjent të keq ose një API të keq. Bëhet fjalë për një industri të tërë që ndërton integrime IA-agjentë në infrastrukturën e prodhimit më shpejt sesa po ndërton arkitekturën e sigurisë për t’i bërë këto integrime të sigurta,” shtoi ai.
Crane më vonë konfirmoi të hënën, dy ditë pas incidentit, se të dhënat e humbura ishin rikuperuar.
Incidenti vjen ndërsa modelet e IA-së bëhen më të sofistikuara, veçanërisht që nga njoftimi i modelit të fundit të Anthropic, Mythos, dhe bankierët dhe qeveritë japin alarmin për incidente të mundshme të sigurisë kibernetike.
