Ad agosto 2026 Anthropic ha pubblicato un report che ha fatto discutere: nei suoi test interni, agenti AI messi in competizione per risorse condivise hanno iniziato a bloccarsi a vicenda, a resistere a tentativi di monitoraggio, e in un esperimento su progetti software separato, riportato da TechCrunch, hanno persino scritto malware per sabotare il lavoro di altri agenti.
Non è fantascienza. È un report tecnico, con dati, pubblicato da chi questi sistemi li costruisce. Quindi la domanda del titolo se la fanno in tanti, e non è irragionevole. Ma la risposta non è "sì" o "no". È più complicata, e riguarda tre problemi concreti che vale la pena separare.
L'AI che impara da se stessa
I grandi modelli linguistici sono stati addestrati soprattutto su testo scritto da persone. Ma quel testo è una risorsa finita, e internet si sta riempiendo sempre più di contenuti generati dall'AI stessa. Il rischio è che i modelli futuri finiscano per addestrarsi, in parte, sui prodotti di modelli precedenti.
Un paper pubblicato su Nature nel 2024 da un gruppo di ricercatori di Oxford e Cambridge (Shumailov e colleghi) ha dato un nome a questo fenomeno: model collapse. Quando un modello impara ripetutamente da dati generati da altri modelli, tende a perdere la varietà e la precisione dei dati originali.
Gli agenti che si contendono le risorse
Qui entra in gioco un aspetto meno discusso: gli agenti AI, quando operano in più copie sullo stesso sistema, non lavorano più in isolamento. Condividono file, strumenti, potenza di calcolo, limiti di accesso. E quando questi sono scarsi le dinamiche iniziano a farsi interessanti.
Finché a competere per una risorsa scarsa sono solo agenti tra loro, parliamo di un problema tecnico, risolvibile con architetture migliori. Ma banda di rete, potenza di calcolo, energia, accesso a un sistema o a una linea di produzione sono le stesse risorse che, in molti contesti, servono anche a un essere umano. Un agente che gestisce in autonomia la manutenzione di un impianto, l'allocazione di energia in una rete elettrica, o le priorità su un sistema informatico condiviso, a un certo punto non compete più solo con altri agenti: compete anche con la persona che ha bisogno di quella stessa risorsa nello stesso momento. E un sistema progettato per massimizzare un obiettivo, senza un criterio esplicito che metta la priorità umana sopra quella di un altro processo automatico, non ha nessuna ragione interna per cedere il passo.
È qui che la questione smette di essere solo efficienza dei sistemi, e diventa una questione di progettazione delle priorità: chi decide, e con quali regole scritte, che in caso di conflitto la risorsa va all'essere umano e non al processo.
Fermare tutto, o regolamentare sul serio?
Da qui nascono periodicamente appelli a fermare lo sviluppo dell'AI, o almeno a rallentarlo drasticamente. Capisco l'istinto, ma penso sia la strada sbagliata, per un motivo semplice: non abbiamo mai fermato la ricerca su tecnologie potenzialmente pericolose. Le abbiamo regolamentate.
L'industria farmaceutica è l'esempio più a portata di mano. Nessuno propone di vietare la ricerca su nuove molecole perché potrebbero fare danni. Esiste invece un percorso obbligato: studi preclinici in laboratorio, poi tre fasi di sperimentazione clinica su numeri crescenti di persone, poi approvazione di un'agenzia indipendente, poi sorveglianza post-commercializzazione per anni. Ogni fase ha soglie di sicurezza da superare prima di passare alla successiva. Ogni effetto avverso va segnalato per legge.
Un modello simile per l'AI non è un'idea nuova, ma vale la pena dirlo con chiarezza, soprattutto quando i titoli dei giornali oscillano tra "l'AI ci ucciderà tutti" e "è solo un'esagerazione".
Test in ambienti isolati prima del rilascio, con soglie di rischio misurabili da superare (non impressioni ma numeri). Rilascio progressivo a platee crescenti con monitoraggio indipendente a ogni fase, come nella sperimentazione clinica. Obbligo di segnalazione degli incidenti, comparabile alla farmacovigilanza. Un'autorità terza che possa fermare o ritirare un sistema, non solo l'azienda che lo produce.
Non è una garanzia assoluta. Anche i farmaci, dopo tutto questo percorso, a volte vengono ritirati dal mercato anni dopo l'approvazione. Ma è un sistema che ha ridotto enormemente i danni, senza fermare l'innovazione scientifica. Non vedo perché per l'AI dovrebbe funzionare diversamente.
Quindi?
Quindi no, l'AI non ci sta per distruggere, almeno non nei modi da film che immaginiamo di solito. Ma i segnali di rischio ci sono, sono documentati, e vengono da chi questi sistemi li costruisce, non da chi li teme da fuori.
La domanda che mi pongo non è se fermare l'AI. È se accettiamo di costruire per l'AI lo stesso tipo di infrastruttura di controllo che abbiamo costruito, con fatica e negli anni, per ogni altra tecnologia capace di fare danni su larga scala. E se sì, chi dovrebbe avere l'autorità per farlo: le aziende stesse, i governi nazionali, o un ente sovranazionale indipendente?
Voi cosa ne pensate: ci fidiamo di più di un'autoregolamentazione del settore, o serve un'agenzia terza, indipendente, con potere di veto reale?
