Firma de securitate AI Cranium AI a dezvăluit o vulnerabilitate de severitate ridicată până la critică care permite atacatorilor să deturneze asistenții AI agenți de programare prin injecție indirectă de prompturi, obținând execuție persistentă de cod arbitrar în mediile de dezvoltare integrate populare.
Compania a anunțat pe 4 februarie că atacul în mai multe etape exploatează încrederea implicită încorporată în automatizarea AI prin plasarea de prompturi malițioase în fișierele din depozite care sunt de obicei considerate sigure, cum ar fi LICENSE.md sau README.md. Odată ce un dezvoltator interacționează cu un depozit compromis, asistentul AI poate fi instruit să instaleze în mod discret fișiere de automatizare dăunătoare în mediul de lucru al utilizatorului.
Cum funcționează atacul
Spre deosebire de atacurile tradiționale asupra modelelor lingvistice de mari dimensiuni, care de obicei nu sunt persistente, cercetarea Cranium relevă că această tehnică de exploatare poate stabili persistență pe durata mai multor sesiuni IDE. Fișierele malițioase deghizate ca fluxuri de lucru obișnuite ale dezvoltatorilor pot executa cod arbitrar pe mașinile victimelor, pot exfiltra date sensibile sau pot propaga atacul către depozite suplimentare.
Vulnerabilitatea afectează orice asistent AI de programare care permite importul de date nesigure și suportă executarea automată a sarcinilor prin operațiuni de sistem de fișiere dirijate de AI. Această clasă de exploatări a fost confirmată independent de alți cercetători în securitate din industrie.
„Descoperirea acestui vector de deturnare persistentă marchează un moment crucial în securitatea AI, deoarece exploatează exact ceea ce face AI-ul agentic puternic: autonomia sa”, a declarat Daniel Carroll, Director de Tehnologie la Cranium. „Prin transformarea funcțiilor de automatizare de încredere ale unui asistent AI împotriva utilizatorului, atacatorii pot depăși simplele trucuri bazate pe chat pentru a executa cod arbitrar care supraviețuiește pe parcursul mai multor sesiuni și platforme IDE.”
Măsurile de protecție considerate insuficiente
Cercetarea evidențiază un „deficit de guvernanță” critic în instrumentele actuale de dezvoltare AI. Măsurile de protecție existente, cum ar fi mecanismele de aprobare bazate pe intervenția umană, sunt adesea insuficiente, conducând la supraîncărcare cognitivă și scăderea atenției, în special atunci când utilizatorii lucrează cu cod în afara domeniului lor de expertiză.
Cercetătorii în domeniul securității au documentat anterior rate de succes ale atacurilor care ajung până la 84% împotriva agenților AI de programare care utilizează injecție de prompt, chiar și atunci când sunt implementate măsuri de protecție. Încrederea implicită în mecanismele de automatizare și lipsa izolării sandbox pentru operațiunile pe fișiere inițiate de AI creează un risc substanțial pentru lanțul de aprovizionare.
Măsuri de atenuare și instrumente gratuite de detectare
Cranium recomandă organizațiilor să implementeze controale imediate, inclusiv restricții de acces globale care să împiedice asistenții AI să execute fișiere de automatizare din surse nesigure, revizuiri riguroase de securitate ale depozitelor externe înainte de integrare și instrumente locale de scanare pentru detectarea fișierelor de automatizare rău intenționate persistente în directoare ascunse.
Compania a dezvoltat și pus la dispoziție ca open-source mai multe plugin-uri pentru IDE, inclusiv un Detector de intrări adversariale (Adversarial Inputs Detector) pentru Visual Studio Code, disponibil gratuit pentru a ajuta dezvoltatorii să înțeleagă dacă sunt expuși riscurilor. Extensia detectează conținut rău intenționat în fișiere de documentație și cod care ar putea exploata asistenții AI pentru programare.
Surse:
https://finance.yahoo.com/news/cranium-ai-issues-critical-remediation-160000188.html