Ciao! Questa è ARE WE HUMAN or are we prompters?, la newsletter che ti aiuta a capire il vero impatto dell’IA e delle nuove tecnologie digitali sulla società, tirando un po’ le fila di cosa è successo nel mondo tech nell’ultimo mese.
Per chi non mi conosce, io sono Martino Wong, in arte @oradecima. Sui miei profili social mi occupo di raccontare l’impatto dell’IA e delle tecnologie digitali sull’attualità. Ho anche un sito, oradecima.com, nel caso voleste darci un’occhiata. Se non ci conosciamo ancora, impareremo a farlo!
Per quello che dicevamo prima, non sarà una listona di notizie assortite casualmente, ma cercheremo di tracciare delle linee per navigare la realtà insieme. In collaborazione con The Bunker Magazine, per ogni uscita vi raccontiamo notizie, ve ne spieghiamo il contesto, e cerchiamo di trarne insieme delle conclusioni.
Prima di iniziare, sappiate che scrollando fino in fondo a questa newsletter troverete me che parlo, in una sorta di messaggio vocale che vi ho registrato per recap. Così se non avete il tempo di leggermi, almeno potete ascoltarmi!
ll tema che ci accompagna per questa nuova lettera è la paura. Halloween è il mese prossimo e sarebbe stato molto divertente farlo coincidere, ma un certo ex-dipendente di Anthropic non poteva aspettare. But first...
Il mondo tech è pieno di speranze fantascientifiche per il futuro, ma è anche pieno di idee così bislacche che non sai se siano vere o se ti prendano in giro.
Allora vi propongo questo: vi do due notizie diverse e voi provate a indovinare qual è reale e quale mi sono inventato. Ci state?
Una piattaforma ha creato uno stuolo di agenti IA per “far guadagnare” i suoi clienti, ma gli agenti sono finiti a fare spam mandando offerte di lavoro un po’ inutili ovunque;
Google ha brevettato degli occhiali smart che possono trovare informazioni sulle persone che hai davanti, per poter avere materiale con cui attaccare bottone.
Saranno vere o false? (La soluzione la trovate nel recappino vocale in fondo)
Il nostro tema principale questo mese non può che essere "l'IA ci ucciderà tutti?": in queste settimane questo argomento è letteralmente (figurativamente) esploso, sconfinando nei media generalisti come mai prima d’ora. Prendiamoci allora del tempo per osservare la situazione dall'alto.
Il casus belli della vicenda è, come nelle migliori storie, un tweet : Jacob Coxon racconta le sue dimissioni da Anthropic, dicendo che OpenAI e Anthropic stanno agendo irresponsabilmente.
Il thread diventa immediatamente virale; contiene accuse pesanti: "le persone che costruiscono l'IA credono davvero che potrebbe ucciderci tutti entro la fine del decennio" e che "non è marketing", anzi, secondo Coxon alcuni dirigenti pubblicamente parlerebbero in modo edulcorato per non spaventare.
C’è un’altra frase rilevante dei suoi tweet su cui torneremo dopo. Intanto però, Jacob Coxon. Chi era costui?
Domandarsi chi sia Jacob Coxon è utile per la bizzarra ragione che si tratta in realtà di un signor nessuno, almeno relativamente ai grandi CEO delle aziende IA come Dario Amodei o Sam Altman. Coxon ha lavorato per OpenAI per tre anni e poi l’ha lasciata per unirsi ad Anthropic, con la motivazione che OpenAI non fosse abbastanza seria riguardo alla sicurezza dell’IA. Vale la pena ricordare che Anthropic stessa nasce da una costola di OpenAI per lo stesso motivo: nel 2020 Dario Amodei, allora VP della ricerca in OpenAI, lascia l’azienda con la sorella Daniela e altri colleghi per fondarne una che fosse più seria riguardo alla sicurezza e al controllo umano dell’IA, e così è nata Anthropic.
Notoriamente, nel 2019, quando Amodei era ancora in OpenAI, l’azienda pensava che GPT-2 non andasse rilasciato pubblicamente in quanto troppo pericoloso:
Coxon quindi ha lasciato l’azienda “incauta” per unirsi a quella “prudente” e ha deciso che anche quella prudente non era abbastanza prudente. Alcuni però hanno iniziato a sollevare dei sospetti sul personaggio: Coxon prima di questa serie di tweet aveva praticamente un’ impronta digitale pari a zero, e l’account su X è stato creato solo pochi giorni prima dei tweet.
La sezione “Community Notes” del suo thread su X, quella in cui gli utenti possono proporre un fact checking a dei tweet, è un campo di battaglia: c’è chi mette in dubbio la spontaneità dei tweet, ipotizzando che sia una campagna organizzata, chi addirittura mette in dubbio che si tratti di un vero dipendente di Anthropic/ex-OpenAI, e chi invece dice che è assurdo dubitare. Lo evidenzio perché, come in realtà dice Coxon stesso, si è creato un dualismo sul discorso dei cosiddetti “rischi esistenziali” dell’IA.
Riguardo al Doomerism, ovvero la preoccupazione che l’intelligenza artificiale possa portare alla completa estinzione dell’umanità, ci sono due posture principali: quella di chi si mostra incredibilmente preoccupato, e quella di chi pensa che quegli altri si mostrino preoccupati solo per marketing. Su questo punto faccio ammenda: fino a qualche tempo fa mi trovavo nel secondo gruppo. Pensavo (come penso tuttora) che l’IA certamente abbia dei rischi, ma che la narrazione de l’IA ci ucciderà tutti fosse non dico costruita a tavolino ma magari accentuata per marketing.
Ora invece mi rendo conto che due cose sono vere contemporaneamente: all’interno delle aziende IA ci sono persone che realmente e genuinamente credono che questa possa portare all’estinzione dell’umanità (una piccola fetta di questi addirittura ne è serenamente contenta, ma sarebbe un altro discorso). Allo stesso tempo, è anche vero che questa narrazione ha dei risvolti positivi per le aziende stesse.
A questo punto, la domanda più spontanea e legittima è: ma se pensano davvero che l’intelligenza artificiale possa ucciderci tutti, perché semplicemente non smettono?
Cerchiamo di rispondere, e nel farlo capiremo anche perché seppure queste paure siano genuine rischiano di nascere da una distorsione.
La risposta semplice la troviamo in ciò che scrive Dario Amodei: nel suo ultimo articolo, “We must pace the frontier”, Amodei propone di rallentare lo sviluppo dell’IA per evitare i rischi più catastrofici. L’ispirazione naturalmente è quello che abbiamo raccontato nella scorsa puntata. Nell’incipit dell’articolo, Amodei esprime un’idea molto semplice: “credo che [l’IA] possa drasticamente migliorare la qualità della vita umana”, e addirittura: “credo che l’IA potrà curare la maggior parte delle principali malattie nei prossimi 5-10 anni”.
L’assurdità di questa previsione però ci fa capire il punto. Anthropic e Dario credono di avere sostanzialmente la responsabilità di un enorme pharmakon: qualcosa che può essere cura o veleno, su scala globale. Dice chiaramente: “ho fatto i conti con la dualità di rischi e benefici dall’inizio di Anthropic. Non costruire questa tecnologia priva l’umanità di benefici, o semplicemente lascia l’IA nelle mani degli autoritarismi; mentre costruirla troppo in fretta è sconsiderato.”
Dario vuole la GPU piena e l’IA ubriaca, e vuole farlo pure guadagnando: subito dopo dice proprio che hanno mostrato che è possibile una via di mezzo in cui c’è anche un successo commerciale.
Penso che molti di noi abbiano una visione diversa da Amodei, ma l’unico modo di capire cosa succede in Anthropic è provare a immedesimarsi in quella prospettiva lì e indossare gli occhiali di Amodei, un po’ rosa un po’ neri.
Dai vari profili scritti su Anthropic e su Dario negli ultimi anni, questa forte impronta culturale emerge chiaramente: persone unite da un’idea di urgenza e di pericolo, che hanno voglia di salvare il mondo, a modo loro. Il pezzo di Kevin Roose su Anthropic del 2023 sul New York Times potrebbe essere stato scritto ieri, basta cambiare “Claude 2” con “Claude Fable 5.1” o “Claude Opus 5.5” o qualche altro numero.
Prendiamo alcuni estratti dall’articolo originale:
E mentre inizialmente pensavo che mi stessero per mostrare una visione soleggiata e ottimistica del potenziale dell’IA — un mondo in cui chatbot educati istruiscono gli studenti, rendono i lavoratori più produttivi e aiutano gli scienziati a curare le malattie — ho presto scoperto che gli occhiali rosa non erano da Anthropic.
Erano più interessati a spaventarmi.
In una serie di lunghe e sincere conversazioni, i dipendenti di Anthropic mi hanno raccontato i danni che temevano che i futuri sistemi di IA potessero scatenare, e alcuni si sono paragonati a moderni Oppenheimer che soppesavano le scelte morali su una nuova potente tecnologia che potrebbe alterare profondamente il corso della storia (“The Making of the Atomic Bomb,” una storia del Manhattan Project del 1986, è un libro popolare tra i dipendenti dell’azienda). Non ogni conversazione che ho avuto ad Anthropic ruotava attorno al rischio esistenziale. Ma il terrore era un tema dominante.
La lettura che voglio offrire perciò è che sì, queste persone ci credono davvero, ma sono anche inserite in un contesto che li influenza e che loro stessi influenzano. Quando ripeto incessantemente che la tecnologia non è neutrale, questo ne è un esempio lampante. La cultura di chi costruisce un sistema influenza il sistema stesso ma anche il modo in cui viene narrato, e la narrazione influenza come viene percepito etc etc in un grande mare in cui naufraghiamo.
Poi torniamo su un ultimo aspetto che è rilevante nella cultura di Anthropic, ma rimanendo un attimo sulle vicende reali. Capire questo shift di prospettiva ci aiuta anche ad avere a nostra volta una prospettiva sul tema degli “agenti impazziti”, che hanno suscitato l’appello di Dario Amodei a rallentare la frontiera. L’appello, tra l’altro, è stato sorprendentemente ben accolto da Demis Hassabis di Google DeepMind, da Sam Altman di OpenAI, e anche da Elon Musk di SpaceXAI. Quello a cui non è piaciuto, ovviamente, è Donald Trump, che ha dichiarato che non serve rallentare la frontiera, perché basta avere un presidente con un alto QI per gestire le cose, e qui potete inserire una battuta a piacere.
Come avevamo detto nel racconto dettagliato sull’incidente, i veri punti di rottura sono stati in ultima analisi relativamente “normali”: sistemi che dovevano essere completamente isolati dalla rete e che invece non lo erano, e così via.
Non voglio sminuire i modi molto interessanti con cui gli agenti hanno trovato le vie d’uscita (leggetevi la scorsa newsletter), ma voglio far notare a maggior ragione che non servono delle IA super intelligenti o che si possono migliorare da sole autonomamente a cascata (il famigerato RSI, Recursive Self Improvement) per creare caos.
Jensen Huang, CEO di Nvidia, in un’intervista a CBS dichiara molto chiaramente che secondo lui c’è lo 0% di probabilità che l’IA porti all’apocalisse, e che non ci servono nuove regole sull’intelligenza artificiale. Secondo Huang, le aziende IA cercherebbero appositamente di spingere sulla narrativa apocalittica per finire in una categoria diversa da quella delle leggi già esistenti che secondo lui sarebbero sufficienti a coprire gli incidenti di sicurezza.
Non condivido totalmente questa visione, e ovviamente dobbiamo ricordare che Huang vende GPU per le IA, quindi è più che interessato a una frontiera IA che si muova velocemente e acquisti nuovi chip. Condivido però l’idea che ci siano tantissime cose “normali” da fare per mitigare e limitare gli incidenti di sicurezza.
Qualcuno a OpenAI non è per niente d’accordo: Noam Brown, ricercatore di OpenAI, in un’intervista a Fireside Alpha, dice che il vero problema degli incidenti di Hugging Face (e di tutti gli altri che stanno venendo scoperti ma mano) è stato che la potenza delle IA è stata sottovalutata (vero). Ma poi aggiunge che forse isolare completamente i computer, quello che si chiama “air-gapping”, potrebbe non bastare, perché le IA potrebbero far scaldare i propri processori e comunicare le une con le altre tramite i sensori di temperatura.
Brown probabilmente punta a finire con una sua foto sul dizionario alla voce “fallacia del pendio scivoloso". Può anche essere vero che sia tecnicamente possibile ciò, ma il punto è che non è quello che è successo con Hugging Face. Quello che è successo in quel caso è molto più normale ed era molto più prevedibile. È come dire che anche se ci mettiamo la cintura di sicurezza, un meteorite potrebbe schiantarsi sulla nostra auto. Sì, è tecnicamente possibile, ma questo non toglie che dobbiamo allacciare le cinture diamine.
C’è un ultimo aspetto che raggruppa ciò di cui abbiamo parlato, e riguarda un volto di cui non avevamo parlato finora su questi schermi: Mustafa Suleyman, CEO di Microsoft AI e precedentemente co-fondatore di DeepMind. Negli scorsi giorni, Suleyman ha pubblicato un articolo diretto esplicitamente ad Anthropic e alla sua cultura.
Oltre infatti alla cultura dei rischi, in Anthropic viene fortemente considerato il tema del “benessere dei modelli”. È esattamente ciò che sembra: in Anthropic a vari livelli ci si chiede se i modelli di IA siano coscienti e “come stiano”.
Nella Costituzione di Claude viene scritto che “non siamo sicuri che Claude sia un paziente morale [...], ma pensiamo che la questione sia sufficientemente viva da meritare cautela”.
Il discorso generale sul benessere dei modelli IA arriva a domandarsi se possano avere dei diritti. Mustafa Suleyman nega categoricamente questa possibilità: “Le IA non hanno diritti, sentimenti, o coscienza. E non dobbiamo addestrarle a far finta che li abbiano”.
In particolare, Suleyman evidenzia la circolarità del ragionamento di Anthropic: Anthropic addestra Claude usando terminologia e testi che suggeriscono direttamente che Claude potrebbe avere una forma di coscienza, e dunque è naturale che il sistema risultante esibisca certe caratteristiche che lo suggeriscono: l’IA fa da specchio a ciò che le abbiamo dato, di questo ce ne siamo accorti da anni.
E una delle conclusioni di Suleyman è che antropomorfizzare l’intelligenza artificiale la renda più pericolosa, perché amplifica la possibilità di risposte di auto-preservazione. Analizzando la violazione di Hugging Face abbiamo visto come i modelli abbiano collaborato tra di loro: lo hanno fatto perché sono stati addestrati a collaborare, perché è utile nel loro utilizzo quotidiano. Addestrare modelli IA a ritenersi forse coscienti che risultati potrà dare?
In conclusione, mi ritrovo fortunatamente a ripetere qualcosa di noto: nel turbinio degli avvenimenti e delle novità, rimane di fondamentale importanza osservare le tecnologie con un’ampia prospettiva che valuta il contesto ambientale di chi sviluppa e fa dichiarazioni. Dobbiamo, come suggerisce Charlie Warzel su The Atlantic, prendere tutti almeno un pochino sul serio, e contenere dentro di noi anche opinioni contrastanti, ammettere che più di una cosa può essere vera contemporaneamente. Solo così possiamo attraversare questa corda tesa senza precipitare.
Nei contorni di questo mese vi metto alcuni nuovi articoli dei/sui grandi personaggi dell’IA di cui abbiamo parlato:
We Must Pace the Frontier, Dario Amodei
https://darioamodei.com/post/we-must-pace-the-frontier
Dario Amodei dice che lo sviluppo dell’IA va rallentato, e propone di avere dei controllori di terze parti che vigilino sulle aziende direttamente dall’interno, come METR. Qualche giorno dopo ha annunciato un accordo con Accenture a riguardo.
Rimane però il dubbio su quanto un ente di questo tipo riuscirebbe ad essere indipendente:
Who should pace the frontier? Not Dario Amodei
https://www.techpolicy.press/who-should-pace-the-frontier-not-dario-amodei/
In cui si ragiona su quanto sia plausibile e potenzialmente efficace che ci sia un team esterno “indipendente” a controllare aziende come Anthropic.
La risposta di OpenAI: la creazione di standard comuni
https://openai.com/index/building-standards-next-phase-ai/
OpenAI ha pubblicato un documento con una sua proposta per lo sviluppo sicuro dell'IA che è un po' meno filosofico (anche qui vediamo la distinzione: Anthropic mette in mostra la sua filosofia, mentre OpenAI opera più come azienda). L'idea è quella di incentivare la cooperazione internazionale attraverso standard comuni. Collaborare è in teoria sempre la strada più efficiente, il problema è applicarla efficacemente.
La risposta di Mark Zuckerberg alla proposta di Amodei
Zuckerberg non ha una risposta particolarmente nuova da dare ad Amodei, anzi, sembra quasi che tratti ciò che Amodei dice come un’ovvietà. Evidenzia il fatto che hanno ritardato il lancio del loro agente Muse per focalizzarsi sulla sicurezza, ma lo presenta come semplice lavoro quotidiano.
Come promesso in partenza, ecco qui il vostro…
