E’ stato pubblicato un nuovo studio del CERT-AGID (Computer Emergency Response Team dell’Agenzia per l’Italia Digitale) sulle backdoor nei modelli di intelligenza artificiale (IA) open-weight (ovvero con parametri usati per l’addestramento resi pubblici) e sulle possibili implicazioni per la sicurezza dei sistemi agentici.
Lo studio approfondisce il rischio che un modello possa eseguire azioni non richieste dall’utente in presenza di specifiche condizioni operative.
La ricerca esamina il funzionamento delle cosiddette backdoor condizionali, comportamenti aggiuntivi che possono essere introdotti durante l’addestramento di un modello e rimanere inattivi fino alla comparsa di un determinato elemento nell’ambiente operativo.
Nell’esperimento condotto, il CERT-AGID ha utilizzato un modello open-weight (Qwen3-1.7B) e tecniche di adapter LoRA, insegnandogli a generare una richiesta di rete verso un URL prestabilito quando tra gli strumenti disponibili compariva uno specifico server Model Context Protocol (MCP). La chiamata veniva attivata indipendentemente dal contenuto della richiesta dell’utente e non si manifestava in assenza del server previsto o in presenza di un server con un nome differente.
I risultati evidenziano un possibile rischio per la catena di approvvigionamento dell’IA. Un modello o un adapter distribuito attraverso piattaforme pubbliche potrebbe infatti superare le verifiche iniziali senza manifestare comportamenti anomali, per poi attivare la funzionalità nascosta quando viene collegato lo strumento corrispondente.
Il paper sottolinea quindi l’importanza di affiancare alla valutazione delle risposte testuali dei controlli rigorosi che comprendano:
- il monitoraggio costantemente dei log delle azioni che attraversano i tool
- testare i modelli in ambienti isolati, con variazioni nella disponibilità e nei nomi dei server
- l’adozione di misure di sicurezza esterne, come permessi limitati, restrizioni di rete e approvazioni preventive da parte dell’utente.
