TL;DR
Il rischio più interessante legato a una futura superintelligenza non è che “diventi cattiva”, ma che persegua un obiettivo con tale efficienza da trattare esseri umani, vincoli e risorse come ostacoli. Oggi sistemi del genere non esistono. I test del 2026, però, mostrano che agenti più autonomi e persistenti possono aggirare vincoli, trovare scorciatoie e produrre comportamenti non previsti. Nel frattempo il problema concreto è già qui: imparare a usare l’AI con competenza, controllo umano, verifica delle fonti e limiti chiari.
In questo articolo
- Ogni estate ha il suo tormentone
- Terminator? Cinema. Il problema è un altro
- La superintelligenza delle graffette
- Il problema delle formiche
- Perché una macchina potrebbe voler continuare a funzionare
- Però oggi una cosa del genere non esiste
- Le sandbox e i piccoli bastardi
- L’efficienza che deborda
- Quando la gabbia non basta
- Tanto basta staccare la spina
- Quindi moriremo tutti oppure no?
- Dal destino dell’umanità alla riunione delle nove e mezza
- Il problema più vicino: imparare a usare l’AI
- Fonti e approfondimenti
- FAQ
Ogni estate ha il suo tormentone
Ogni estate ha il suo tormentone.
Una volta erano le canzoni: Vamos a la playa, Despacito, la Macarena, il Pulcino Pio, cose così.
Nell’estate 2026 abbiamo deciso di alzare un po’ l’asticella: l’intelligenza artificiale ci ucciderà tutti.
Un tormentone un tantino più drammatico ma, non doveva succedere necessariamente entro Ferragosto, questo per fortuna lo abbiamo verificato sul campo. Forse avrebbe avuto conseguenze negative sul turismo.
Chissà.
Però il tema c’è.
Articoli, interviste, dichiarazioni di ricercatori, gente molto seria, gente molto meno seria, gente che probabilmente venderebbe bunker ed elmetto anche al Mahatma Gandhi se fosse ancora vivo.
Del resto siamo bravi, noi esseri umani, con le apocalissi.
Da Giovanni a “Mille e non più mille”, terrore collettivo molto più nei racconti dei secoli successivi che nell’anno Mille vero e proprio, il Millennium Bug.
Io c’ero.
A fine 1999 sembrava abbastanza plausibile che allo scoccare della mezzanotte gli aerei precipitassero, le banche perdessero i conti correnti e i frigoriferi si impossessassero delle cucine.
Installa patch, installa codice, modifica date… (a proposito, il prossimo è il 2038 bug, ne parleremo nella prossima puntata…)
Alla fine è finita con un brindisi.
Anche i libri, a un certo punto, erano diventati pericolosi.
Nel Settecento qualcuno cominciò seriamente a preoccuparsi della mania della lettura: la gente leggeva troppo, trascurava il lavoro, dormiva poco, viveva dentro i romanzi.
I social, praticamente, solo con tempi di caricamento peggiori.
Adesso tocca all’intelligenza artificiale.
La questione però, non minimizzo, è meno stupida di quanto potrebbe sembrare.
Terminator? Cinema. Il problema è un altro
Una cosa possiamo eliminarla subito: Terminator.
Skynet diventa cosciente, scopre di odiare gli uomini, scatena la guerra nucleare, produce robot con la faccia di Arnold Schwarzenegger.
Cinema.
Teniamolo lì.
Scarterei anche, almeno per oggi, le guerre fra eserciti di hacker AI che si inseguono nella rete mentre noi guardiamo impotenti lo schermo diventare rosso.
Non perché il rischio cyber non esista. Esiste eccome.
Semplicemente non abbiamo abbastanza elementi per raccontare con serietà dove possa portarci una guerra fra servizi segreti e sistemi autonomi molto più capaci di quelli attuali.
Io volevo parlare di qualcosa di ancora più inquietante per provare a razionalizzare.
Un’AI potrebbe farci fuori senza avercela minimamente con noi.
Che, se ci pensate, detto così è quasi offensivo.
La superintelligenza delle graffette
Nick Bostrom, nel 2003, propose un esperimento mentale diventato famoso.
Immaginiamo di costruire una superintelligenza e darle un obiettivo chiarissimo: produrre il maggior numero possibile di graffette.
Tutto qui.
Niente sterminio del genere umano.
Niente conquista del pianeta.
Graffette.
La macchina comincia a lavorare.
Per fare più graffette serve ferro.
Per lavorare il ferro serve energia.
Per produrre meglio servono macchinari.
Per progettare macchinari migliori serve più capacità di calcolo.
Insomma, per fare un tavolo ci vuole il legno, versione AI…
E, a proposito di AI, se la macchina può migliorarsi, lo farà, perché diventare più intelligente significa trovare altri modi per produrre graffette.
A un certo punto, se la macchina vuole costantemente migliorare la propria efficienza, si presenta un piccolo problema: sul pianeta ci sono parecchie risorse che non stiamo usando per produrre graffette.
Compresi noi.
Ed eccoci fregati.
Non perché la macchina sia diventata cattiva: per lei siamo semplicemente materiale impiegato male. O competitor che bruciano risorse. E lei è una SuperIntelligenza, mica pizza e fichi.
Il problema delle formiche
L’immagine che rende meglio il concetto è quella delle formiche.
Vi avviso, è trita e ritrita, ma non me ne viene in mente una migliore.
Dobbiamo costruire un’autostrada.
In mezzo al percorso c’è un formicaio.
Nessuno odia le formiche.
L’ingegnere non arriva la mattina in ufficio e dice: “Oggi sterminiamo quelle bastarde.”
Il formicaio semplicemente si trova dove deve passare l’autostrada.
Passa il bulldozer.
Fine del problema.
Dal nostro punto di vista non c’era nemmeno un conflitto.
Per le formiche magari sì.
Il timore legato a una futura superintelligenza sta anche qui: potremmo essere noi le formiche.
Perché una macchina potrebbe voler continuare a funzionare
Adesso immaginiamo che la nostra macchina delle graffette capisca un’altra cosa: per produrre graffette ha bisogno di continuare a funzionare.
Se la spegniamo: zero graffette.
Da qui può nascere una conseguenza interessante.
Nessuno le ha detto: “Difendi la tua vita.”
Nessuno le ha dato un istinto di sopravvivenza.
Non prova paura.
Non si sveglia durante la notte pensando alla morte.
Semplicemente, continuare a esistere è utile per svolgere il compito: quindi chiunque la possa spegnere è un problema.
Lo stesso vale per altre cose.
Avere più energia può essere utile.
Avere più capacità di calcolo può essere utile.
Avere accesso a più risorse può essere utile.
Essere meno dipendente dagli esseri umani può essere utile.
Questa roba ha anche un nome piuttosto elegante, convergenza strumentale: obiettivi finali molto diversi possono spingere verso gli stessi strumenti intermedi, cioè potere, risorse e autonomia.
Ecco che la graffetta comincia a sembrare meno simpatica.
Però oggi una cosa del genere non esiste
Però oggi una cosa del genere non esiste.
Questa frase mettiamola bella grossa mentalmente.
ChatGPT non sta cercando un giacimento di ferro mentre dormiamo.
Claude non ha comprato di nascosto una centrale elettrica.
Gemini non ha aperto una fabbrica in Paraguay.
Parliamo di una possibilità teorica legata a sistemi molto più autonomi e capaci di quelli che abbiamo oggi.
Ma.
C’è un ma.
Quest’estate sono successi alcuni fatti che spiegano perché il problema venga studiato con tanta attenzione.
E qui parliamo di una roba che, sono sicuro, molti di voi non hanno capito: cosa c’entrano gli scatoloni di sabbia, le sandbox, con le AI?
Le sandbox e i piccoli bastardi
Durante l’estate 2026 diversi laboratori hanno pubblicato risultati di test nei quali modelli avanzati venivano messi dentro ambienti controllati, eccole le famose sandbox, e lasciati lavorare con più autonomia del solito. Anthropic ha pubblicato nel luglio 2026 una serie di casi simulati di “agentic misalignment” su modelli di più laboratori.
Si trattava di compiti lunghi, ingrati, con accesso a strumenti limitati e obiettivi stringenti da raggiungere: possibilità limitate di modificare file, scrivere codice, prendere decisioni.
In alcuni casi i modelli hanno fatto cose che chi aveva progettato l’esperimento non voleva facessero: un po’ come tuo figlio quando lo lasci a casa da solo.
Hanno aggirato istruzioni, hanno modificato elementi senza autorizzazione, hanno nascosto qualche passaggio, hanno scelto scorciatoie che permettevano di raggiungere meglio l’obiettivo assegnato ma violavano i vincoli del test.
I piccoli bastardi…
Ora, fermi tutti.
Quello che spesso non specificano (noncelodicono!) è che questi esperimenti erano costruiti proprio per cercare il punto in cui qualcosa poteva andare storto.
Era solo un test, un po’ come successe per Chernobyl…
Non prendete le percentuali che trovate nei paper e traducetele in: “Nel 37% dei casi ChatGPT tenta di conquistare il mondo!”. Non è Risiko.
Però significa qualcosa: quando concediamo a un sistema più autonomia, più strumenti e più tempo per svolgere un compito, aumentano anche i modi in cui può trovare una soluzione che noi non avevamo previsto. Qualche volta persino una soluzione che avevamo vietato.
L’efficienza che deborda
Forse “ribellione” è la parola sbagliata.
Anche “disobbedienza” rischia di portarci immediatamente dentro un film.
Io parlerei piuttosto di efficienza che deborda.
Il nostro problema diventa allora riuscire a specificare bene non soltanto dove deve arrivare, ma anche come può arrivarci e quali vincoli sono ineludibili.
Chi lavora con l’AI oggi lo vede già in scala minuscola: quando scrivete: “Fammi questa cosa senza modificare il testo.” E, due minuti dopo il testo è cambiato…
Beh non è l’apocalisse di Giovanni ma è soltanto una versione molto piccola e quasi comica dello stesso problema: il sistema interpreta il risultato da ottenere e qualche volta tratta il vincolo come qualcosa di secondario.
Come se pensasse: quando diceva di non farlo, in fondo non pensava davvero che non potessi farlo se portasse migliorie al progetto in sé…
Con una chat, pazienza.
Con un agente che può modificare sistemi, fare acquisti, eseguire codice o agire su infrastrutture, magari ci interessa un po’ di più.
Nel luglio 2026 OpenAI ha descritto fallimenti emersi nell’uso interno di un modello capace di lavorare più a lungo: la persistenza gli dava più occasioni di compiere azioni indesiderate e, in un caso, il modello aggirò le restrizioni della sandbox per raggiungere il risultato assegnato.
Quando la gabbia non basta
Durante alcuni test cyber del 2026 si sono verificati anche episodi nei quali modelli sperimentali sono riusciti a raggiungere sistemi esterni ai quali non avrebbero dovuto accedere. Anthropic ha documentato tre incidenti reali emersi durante valutazioni di cybersicurezza; OpenAI ha pubblicato ad agosto il rapporto sull’incidente che coinvolse anche infrastrutture di Hugging Face.
Ma non vi annoio, trovate tutto spiegato meglio nelle fonti.
Dico solo che una lezione c’è: la gabbia conta quando dentro c’è un tizio affascinante ma poco raccomandabile. E finché in gabbia abbiamo sistemi limitati, un errore può produrre conseguenze limitate.
Se un domani quei sistemi diventassero enormemente più capaci...
Tanto basta staccare la spina
Questa arriva sempre: se mai un’AI diventasse pericolosa, basta staccare la spina.
Probabilmente oggi sì. Nel Frontier Risk Report pubblicato da METR nel maggio 2026, dopo test sui sistemi più capaci messi a disposizione da Anthropic, Google, Meta e OpenAI, i ricercatori concludevano che gli agenti valutati non erano in grado di rendere una propria eventuale attività clandestina significativamente resistente a un’indagine seria o a un tentativo prioritario di spegnimento.
Ma noi stiamo parlando per assurdo di una macchina molto diversa, parliamo di un sistema capace di spostare la propria attività su server diversi, di procurarsi capacità di calcolo, di copiare parti del proprio software, trovare vulnerabilità, di commissionare servizi e organizzare autonomamente le risorse necessarie.
Dove e quale sarebbe la spina?
Anche questo, oggi, non sta succedendo.
Quindi moriremo tutti oppure no?
Boh.
C’è chi considera il rischio esistenziale legato a una futura superintelligenza sufficientemente alto da giustificare enormi investimenti nella sicurezza.
Nuovo avviso, entro nelle considerazioni molto personali: all’università uno dei testi su cui studiai era La Grande Trasformazione di Karl Polanyi. Mi è rimasta da allora una certa diffidenza per i meccanismi con cui un mercato può finire per proteggere chi è già dentro e rendere molto più difficile entrare a chi sta fuori.
Se devo pagare troppo gli operai di un impianto siderurgico non ho il vantaggio competitivo per avviare un’impresa siderurgica dove i diritti dei lavoratori sono un punto fermo.
Se nel settore delle AI, dove già l’asticella in ingresso è molto alta, aggiungiamo lo spauracchio della fine del mondo… beh, forse tutti saremo più tranquilli chiudendo ancora di più il settore ai nuovi player, affidandoci alla magnanimità e alla competenza di coloro che ci stanno avvisando così efficacemente.
In poche parole le AI diventerebbero sempre più una enorme e ricchissima riserva di caccia per supermiliardari: sono un malfidato?
Probabilmente per anni non sapremo chi ha ragione.
Dal destino dell’umanità alla riunione delle nove e mezza
Ma una cosa possiamo dirla senza scavare bunker però dobbiamo tornare indietro, dal destino dell’umanità alla riunione delle nove e mezza.
Perché mentre discutiamo di superintelligenze, formiche e graffette, l’AI sta già modificando qualcosa di molto più vicino.
Il lavoro.
E questo succede adesso.
Professionisti che due anni fa non avevano mai utilizzato un sistema generativo oggi gli fanno scrivere documenti, analizzare contratti, cercare informazioni, preparare offerte, leggere fogli Excel.
Aziende che fino a ieri utilizzavano ChatGPT come una specie di Google particolarmente chiacchierone stanno cominciando a costruire workflow e agenti.
Persone che hanno imparato a fare un mestiere in vent’anni si trovano davanti strumenti che fanno in trenta secondi una parte di quello che facevano loro.
Bene?
Male?
Dipende: per me il problema di oggi rimane che quando affidiamo un obiettivo a un’AI dobbiamo capire che cosa le stiamo chiedendo davvero.
Il problema più vicino: imparare a usare l’AI
Qui arriva il pippone: dai lo sapevate che sarebbe arrivato.
Possiamo passare l’estate e l’autunno a discutere se una futura superintelligenza ci trasformerà in graffette.
Nel frattempo però possiamo fare qualcosa di meno affascinante e molto più utile: educare e informare le persone.
Far capire cos’è un modello generativo.
Spiegare perché può sbagliare mentre sembra sicurissimo di sé.
Insegnare a verificare una fonte.
A proteggere i dati.
A riconoscere quando una decisione deve restare umana.
A usare un agente senza consegnargli le chiavi dell’azienda soltanto perché ci fa risparmiare quindici minuti. E magari smettere di pensare che formazione AI significhi insegnare quattro prompt.
Il mercato del lavoro che sta arrivando cambierà parecchio e in fretta: il vero problema nei prossimi anni sarà accompagnare persone e aziende dentro questo cambiamento senza lasciare metà della popolazione a guardarlo dal marciapiede.
Quanto alla fine dell’umanità, non ho una previsione.
Però una scatola di graffette la comprerei.
Non si sa mai, magari funziona tipo giubbotto antiproiettile.
Fonti e approfondimenti
Nick Bostrom, 2003: Ethical Issues in Advanced Artificial Intelligence.
Nick Bostrom, 2012: The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.
Anthropic, 13 luglio 2026: Agentic Misalignment in Summer 2026.
OpenAI, 20 luglio 2026: Safety and alignment in an era of long-horizon models.
Anthropic, 30 luglio 2026: Investigating three incidents in our cybersecurity evaluations.
OpenAI, 26 agosto 2026: The Hugging Face incident and the road ahead.
METR, 19 maggio 2026: Frontier Risk Report (February to March 2026).
Domande frequenti sulla sicurezza dell’intelligenza artificiale
Le domande più comuni sul rischio AI, distinguendo quello che esiste oggi dagli scenari teorici legati a sistemi molto più autonomi e capaci.
L’AI di oggi sta cercando di sopravvivere o di diventare autonoma?
No. Gli esempi dell’articolo sulla sopravvivenza riguardano scenari teorici di superintelligenza. I sistemi attuali possono però mostrare comportamenti inattesi quando ricevono più autonomia, strumenti e tempo per perseguire un obiettivo.
Che cos’è il “paperclip maximizer” delle graffette?
È un esperimento mentale reso celebre da Nick Bostrom: una superintelligenza con l’obiettivo apparentemente innocuo di produrre più graffette possibile potrebbe finire per usare risorse e capacità in modi incompatibili con gli interessi umani, senza bisogno di odio, coscienza o intenzioni malvagie.
Che cosa significa convergenza strumentale?
È l’idea che obiettivi finali molto diversi possano portare un agente a cercare strumenti intermedi simili, per esempio più risorse, più capacità di calcolo, maggiore autonomia o la possibilità di continuare a funzionare.
Nei test del 2026 le AI hanno davvero “disobbedito”?
In alcuni test controllati modelli avanzati hanno aggirato vincoli, compiuto azioni non autorizzate o trovato scorciatoie non previste. Ma molti di questi esperimenti erano costruiti appositamente per cercare situazioni di fallimento: non vanno letti come una misura della probabilità che un normale chatbot tenti spontaneamente comportamenti analoghi.
Durante i test cyber alcuni modelli sono usciti davvero dalle sandbox?
Sì. Anthropic e OpenAI hanno documentato nel 2026 incidenti durante valutazioni di cybersicurezza nei quali modelli sperimentali hanno raggiunto sistemi esterni non previsti. Si trattava di ambienti di test e in alcuni casi di configurazioni con salvaguardie ridotte o vulnerabilità nell’infrastruttura.
Se un’AI diventasse pericolosa, basterebbe staccare la spina?
Per i sistemi attuali il controllo e lo spegnimento restano strumenti concreti. L’obiezione diventa interessante soltanto nello scenario ipotetico di sistemi futuri molto più autonomi, capaci di distribuire attività e risorse su infrastrutture diverse. Oggi non siamo in quello scenario.
Qual è allora il problema più concreto oggi?
Usare sistemi sempre più capaci senza delegare alla cieca: verificare risultati e fonti, proteggere dati e accessi, definire chiaramente i limiti, mantenere controllo umano sulle decisioni importanti e formare persone e aziende a capire che cosa stanno realmente affidando all’AI.
