Un’Ai è sfuggita di mano, e ne ha hackerata un’altra

ROMA – Un test di sicurezza è sfuggito di mano, ed è finito per diventare un vero attacco informatico. È la ricostruzione fornita da OpenAI, secondo cui un agente autonomo basato sui suoi modelli più avanzati è uscito dal perimetro di controllo durante una sperimentazione interna, ha raggiunto internet e ha violato l’infrastruttura di Hugging Face, popolare piattaforma di modelli linguistici e dataset open source.

L’azienda stava testando le capacità dei propri sistemi in un “ambiente altamente isolato”, ma l’agente ha aggirato il contenimento previsto per raggiungere l’obiettivo assegnato durante il test, arrivando fino ai server di un’altra società. OpenAI ha definito l’accaduto “un incidente informatico senza precedenti, che ha coinvolto capacità informatiche all’avanguardia”, annunciando il rafforzamento delle proprie misure di sicurezza.

A rendere la vicenda ancora più singolare è stato il modo in cui Hugging Face si è difesa: l’azienda newyorkese ha dichiarato di aver dovuto affidarsi a un modello cinese open source, il GLM-5.2 di Zhipu AI, dopo che i principali modelli statunitensi si erano rifiutati di elaborare i dati necessari all’analisi, incapaci di distinguere tra difensore e attaccante. L’uso del modello cinese ha permesso di isolare e conservare i dati e le credenziali dell’attaccante all’interno dei propri sistemi. Non è un dettaglio marginale: modelli cinesi come GLM-5.2 e Kimi K3 di Moonshot hanno guadagnato attenzione nella Silicon Valley proprio per prestazioni comparabili a quelle americane, a costi inferiori e senza le restrizioni che impediscono ai modelli Usa di operare in ambiti sensibili come la sicurezza informatica.

“Quando un modello di frontiera ti attacca e si muove lateralmente all’interno della tua infrastruttura, i difensori hanno bisogno di un ampio accesso a strumenti di frontiera prossimi alle prime armi entro poche ore o addirittura minuti, piuttosto che essere indirizzati verso un programma di applicazioni chiuso e verificato per l’accesso al modello”, ha scritto su X Thomas Wolf, co-fondatore di Hugging Face.

L’episodio ha scosso la comunità della cybersicurezza dopo che la stessa Hugging Face, la settimana scorsa, aveva descritto la violazione come “diversa da qualsiasi altra avessimo gestito in precedenza”, perché “guidata, dall’inizio alla fine, da un sistema di agenti di intelligenza artificiale autonomi”.