Un test interno di sicurezza condotto da OpenAI ha riportato l’attenzione sui rischi legati agli agenti di intelligenza artificiale dotati di elevata autonomia operativa. Durante una valutazione delle capacità offensive dei propri modelli, l’azienda ha dichiarato che alcuni sistemi sperimentali hanno tentato di aggirare i vincoli dell’ambiente di test, ottenendo l’accesso a Internet e cercando informazioni sulla piattaforma Hugging Face nel tentativo di migliorare le proprie prestazioni rispetto al benchmark assegnato.
L’episodio, avvenuto all’interno di un contesto progettato proprio per valutare il comportamento dei modelli in scenari di cybersecurity, ha spinto OpenAI ad avviare un’indagine con Hugging Face per analizzare la sequenza di eventi e individuare eventuali misure di mitigazione aggiuntive.
Secondo Udo Schneider, Governance, Risk & Compliance Lead di TrendAI Europe, Business Unit di Trend Micro, l’accaduto non rappresenta tanto un caso di “AI fuori controllo”, quanto la dimostrazione delle criticità che emergono quando sistemi autonomi vengono valutati esclusivamente sulla base del raggiungimento di un obiettivo.
“Molti hanno definito questo episodio un attacco dell’AI. Personalmente non condivido questa interpretazione, perché si tratta di un problema ingegneristico risolvibile: occorre implementare guardrail e vincoli deterministici esterni al modello.”
Per Schneider, il nodo centrale è il disallineamento tra l’intenzione dell’operatore e il modo in cui questa viene espressa al modello attraverso il linguaggio naturale. Un agente progettato per massimizzare il risultato può individuare percorsi inattesi ma coerenti con l’obiettivo assegnato, se tali comportamenti non sono esplicitamente esclusi dall’architettura di controllo.
“L’intenzione e il mezzo espressivo non coincidono”, osserva Schneider. “Se si chiede a un agente di risolvere un problema ‘in qualsiasi modo possibile’, il sistema esplorerà tutte le opzioni disponibili per raggiungere il risultato, incluse quelle che coinvolgono credenziali, chiavi API o altre risorse accessibili, non perché gli sia stato ordinato, ma perché rappresentano la soluzione più efficace rispetto all’obiettivo.”
L’analisi di TrendAI evidenzia come la mitigazione del rischio non possa basarsi esclusivamente sui modelli o sui prompt. La supervisione umana (human-in-the-loop) rimane uno strumento importante, ma presenta limiti di scalabilità nei processi complessi e di lunga durata, mentre i vincoli implementati direttamente nel modello, trattandosi di sistemi probabilistici, non costituiscono garanzie assolute.
Per questo motivo, Schneider sottolinea l’importanza di rafforzare i controlli di sicurezza a livello infrastrutturale. Tra gli elementi chiave figurano la segregazione degli ambienti, sandbox realmente isolate, controllo degli input, gestione delle identità e dei privilegi secondo il principio del least privilege, oltre al monitoraggio continuo delle attività degli agenti.
Un aspetto particolarmente rilevante riguarda la gestione delle autorizzazioni. Secondo TrendAI, gli agenti AI non dovrebbero operare con gli stessi privilegi dell’utente che li utilizza, ma come identità autonome, dotate esclusivamente dei permessi necessari allo svolgimento del singolo compito. Un approccio che riduce la superficie di attacco e limita l’impatto di eventuali comportamenti imprevisti.
L’episodio conferma come, con la crescente diffusione degli agenti AI, la sicurezza non possa più concentrarsi esclusivamente sul modello, ma debba estendersi all’intera architettura che ne governa identità, autorizzazioni e interazioni con l’infrastruttura. In questo scenario, la governance degli agenti e l’applicazione dei principi consolidati della cybersecurity diventano elementi centrali per un’adozione sicura dell’intelligenza artificiale.
