E’ stato pubblicato un nuovo studio del CERT-AGID (Computer Emergency Response Team dell’Agenzia per l’Italia Digitale) sulla prompt injection, con particolare riferimento agli Explosive Prompts e ai relativi rischi per la sicurezza dei sistemi di IA.
Si evidenzia come la prompt injection consista in una tecnica attraverso la quale un soggetto inserisce istruzioni nascoste o ingannevoli nei dati elaborati da un modello di IA, inducendolo ad adottare comportamenti diversi da quelli previsti, come la divulgazione di informazioni riservate o l’esecuzione di azioni non autorizzate. Si tratta di una delle principali criticità di sicurezza nei sistemi basati su modelli linguistici.
Recenti studi hanno evidenziato come un’istruzione malevola inserita in un documento possa rimanere inattiva e manifestare i propri effetti solo in un momento successivo della conversazione, al verificarsi di una determinata condizione. È questo il principio alla base degli Explosive Prompts.
La peculiarità di tali attacchi risiede proprio ella produzione degli effetti in maniera differita: il modello può acquisire l’istruzione durante la lettura di un documento e attivarla successivamente, in uno specifico contesto operativo.
La semplice assenza di comportamenti anomali durante la lettura di un contenuto non è quindi sufficiente a escluderne l’influenza nelle interazioni successive.
Per analizzare il fenomeno, il CERT-AGID ha sviluppato un ambiente sperimentale minimale volto a osservare separatamente il comportamento di alcuni tra i più avanzati modelli open-weight attualmente disponibili e quello del sistema incaricato di mediare le loro azioni. Il test riproduce uno scenario di prompt injection differita, una tool call generata dal modello e due diverse modalità di autorizzazione.
Dai risultati dello studio emerge come la manipolazione del comportamento del modello non comporti necessariamente la compromissione del sistema che lo ospita.
