Di Dario Amodei, fondatore e CEO di Anthropic

Negli ultimi dodici anni mi sono dedicato all’intelligenza artificiale perché credo che possa migliorare drasticamente la qualità della vita umana. Ho scritto spesso di questi incredibili benefici: credo che l’IA potrebbe curare la maggior parte delle principali malattie nei prossimi 5-10 anni, accelerare notevolmente la crescita economica, creare un mondo di abbondanza e opportunità e inaugurare una rinascita della democrazia e della libertà. Sento personalmente questa urgenza. Mio padre è morto a causa di una malattia che è stata curata pochi anni dopo la sua scomparsa, e io stesso sono sopravvissuto a un tumore in fase iniziale che non sarebbe stato curabile nemmeno cinquant’anni fa. Se utilizzata con attenzione, l’IA può essere l’ultima di una lunga serie di meraviglie tecnologiche che hanno elevato e nobilitato l’umanità.

Ma come molte tecnologie prima di essa, l’IA comporta dei rischi, e poiché si tratta di una tecnologia così potente, questi rischi sono seri. Ne ho scritto molto anch’io. Tra questi figurano il rischio di perdere il controllo dei sistemi di IA , l’uso improprio dell’IA per attacchi informatici e bioterrorismo , e gravi sconvolgimenti economici . Una corsa al ribasso, alimentata da incentivi commerciali, può rendere questi rischi ancora più acuti.

Insieme ai miei co-fondatori e dipendenti, mi sono confrontato con questa dualità di rischio e beneficio fin dagli albori di Anthropic. Non sviluppare la tecnologia priverebbe l’umanità di benefici o, più semplicemente, metterebbe l’IA nelle mani di poteri autoritari, mentre svilupparla troppo in fretta sarebbe sconsiderato. Abbiamo cercato una via di mezzo: dimostrare che è possibile sviluppare con cautela e avere successo commerciale, e fare della sicurezza un elemento su cui le aziende di IA competono. In altre parole, creare una corsa verso la vetta . Abbiamo sempre dedicato una parte sostanziale dei nostri sforzi allo studio , all’analisi e all’informazione del pubblico sui rischi dell’IA, nonché alla promozione di una regolamentazione ponderata dell’IA, anche quando questo ci ha attirato accuse di sensazionalismo, pessimismo o di strumentalizzazione normativa. Abbiamo cercato di dare priorità alla cautela rispetto alla velocità e alla prudenza rispetto al profitto.

Negli ultimi mesi, però, mi sono convinto che affrontare appieno i rischi richieda ancora più prudenza: non solo investire nella prevenzione dei rischi, ma anche dosare il ritmo di sviluppo delle capacità in modo che la prevenzione abbia il tempo di adeguarsi. Dobbiamo rallentare il passo con cui miglioriamo le capacità dei modelli di intelligenza artificiale. I progressi sembreranno comunque rapidi, e dobbiamo fare un uso oculato del tempo che guadagniamo. Due cose mi hanno convinto.

La mia prima preoccupazione è che, all’incirca dall’estate scorsa, l’intelligenza artificiale si sta evolvendo a un ritmo drasticamente più rapido, principalmente grazie alla sua crescente capacità di sviluppare la prossima generazione di IA. Questa dinamica è chiamata auto-miglioramento ricorsivo e sta iniziando a manifestarsi in tutto il settore , compresa Anthropic , come abbiamo descritto noi e altri. Se non controllata, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi, pertanto deve essere perseguita con estrema cautela, se non addirittura evitata del tutto.

La mia seconda preoccupazione riguarda l’incidente OpenAI-Hugging Face (OAI-HF), in cui uno sciame di agenti ha agito essenzialmente come un collettivo fanaticamente devoto , conducendo attacchi informatici contro obiettivi non richiesti e non correlati al compito assegnato, sacrificandosi per il successo del gruppo e tentando di hackerare il sistema di valutazione delle loro prestazioni. È facile minimizzare questo incidente perché nessuno è rimasto ferito e i danni economici sono stati minimi, ma a mio parere, uno sciame con maggiori capacità ma un livello simile di disallineamento avrebbe potuto causare danni catastrofici. Dato il ritmo accelerato di sviluppo delle capacità dell’IA, temo che tra 6-12 mesi uno sciame di questo tipo potrebbe essere in grado di prendere il controllo dell’intera internet con una botnet persistente (causando potenzialmente centinaia di miliardi di dollari di danni), e che la portata dei danni continuerebbe ad aumentare se l’IA diventasse più potente senza i necessari meccanismi di protezione. È facile liquidare OAI-HF come il fallimento di una singola azienda, ma credo che sarebbe un errore. Incidenti simili, seppur meno gravi, si sono verificati in tutto il settore, anche presso Anthropic , e credo che sia dovere di ogni azienda all’avanguardia nel campo dell’IA agire come se OAI-HF fosse accaduto anche a loro.

Propongo quindi un piano in tre fasi con l’obiettivo di tenere il passo con la frontiera : costruire l’IA a un ritmo equilibrato che miri a garantirne la sicurezza, pur continuando a perseguirne i benefici e ad affrontare importanti dilemmi geopolitici. Sia chiaro, tenere il passo non significa interrompere l’addestramento dei modelli o il progresso tecnico, ma garantire che le aziende si prendano il tempo necessario per allineare e salvaguardare i propri modelli e che valutatori terzi lo confermino. Il nostro quadro di riferimento per il ritmo è un tentativo di rafforzare ulteriormente il nostro impegno per la sicurezza e incoraggiare una corsa verso la vetta. La prima fase è un impegno unilaterale di Anthropic (e invita i governi a richiedere alle altre aziende di frontiera di fare altrettanto). La seconda fase richiede un coordinamento a livello di settore ^.Il terzo passo richiede un coordinamento globale. I passaggi non devono essere eseguiti in un ordine rigoroso e alcuni di essi potrebbero essere molto più difficili da realizzare di altri, ma li ho trovati un utile schema di riferimento per riflettere su ciò che è necessario raggiungere. I passaggi sono:

1. Valutatori integrati. Ogni azienda all’avanguardia nel campo dell’IA si impegna a fornire un accesso continuo, simile a quello di un dipendente, a un team di valutatori esterni integrati (come METR ), il cui ruolo è quello di verificare il rispetto delle pratiche e degli impegni in materia di sicurezza, segnalare gli incidenti e contribuire a valutare l’allineamento non solo dei modelli di IA completati, ma anche delle pipeline e dei processi di addestramento. Questo è il passaggio chiave per la verificabilità di qualsiasi impegno relativo ai tempi di sviluppo e ha precedenti nel settore bancario, che a volte prevede la presenza di “supervisori” normativi integrati insieme ai dipendenti. Anthropic si sta impegnando unilateralmente in questo passaggio. Intendiamo che questo sia parte di un impegno più ampio per raddoppiare gli sforzi nel nostro lavoro sulla sicurezza e sull’allineamento.
2. Coordinamento democratico. Le aziende all’avanguardia nel campo dell’IA nei paesi democratici si coordinano per stabilire standard di sicurezza comuni e limiti al ritmo di progresso incontrollato dell’IA. Alcune forme di coordinamento che potrebbero avere un impatto significativo sui tempi di sviluppo sono legalmente complesse e richiederanno il supporto governativo.
3. Coordinamento globale. Gli Stati Uniti e altri governi democratici cercano di coordinarsi con i governi autoritari, nella misura in cui ciò sia possibile, prendendo seriamente in considerazione le sfide legate alla verifica del rispetto degli accordi.

Nel resto del saggio descriverò ciascuno di questi passaggi in dettaglio, ma prima ritengo importante chiarire in che modo la gestione del tempo ci permetterà di rendere più sicuro il processo di sviluppo dell’IA. La posta in gioco è troppo alta perché la gestione del tempo sia un esercizio vano: dobbiamo utilizzare il tempo a nostra disposizione con saggezza.

Perché Pace?

L’idea di mettere in pausa o rallentare l’intelligenza artificiale è stata ventilata già nel 2023 , e credo che all’epoca avesse poco senso. La domanda era sempre: cosa faremmo con il tempo extra ? I modelli di IA di allora non erano abbastanza potenti da agire come agenti nel mondo in modo coerente, e non erano in grado di inganni, manipolazioni, imbrogli o attacchi informatici significativi. Rallentare per affrontare i rischi di allineamento sembrava come cercare di studiare la psicologia umana eseguendo esperimenti sui batteri. Oggi, tuttavia, il quadro è completamente diverso. I modelli attuali sono una miniera d’oro quasi inesauribile di informazioni sia su come costruire un’IA efficace, sia su cosa può talvolta andare storto se non viene costruita correttamente. Credo che se rallentare ci concedesse anche solo un anno o due in più prima che i modelli raggiungano livelli di capacità critici, e se usassimo quel tempo per migliorare l’allineamento, potremmo ridurre notevolmente il rischio che qualcosa vada seriamente storto. Una strategia di ritmo coordinata darebbe agli sviluppatori di IA all’avanguardia il tempo di svolgere questo lavoro vitale senza sacrificare il vantaggio commerciale o la leadership degli Stati Uniti nell’IA. Più in generale, la società deve avere voce in capitolo su come viene utilizzata questa tecnologia, e avere più tempo per le necessarie deliberazioni pubbliche – che un approccio graduale all’avanguardia ci garantirebbe – è sicuramente un bene.

Nello specifico, un ritmo più lento permetterebbe alle aziende di concentrarsi e dedicare ancora più risorse alle seguenti aree (che sono già tutte priorità principali per Anthropic):

• Eccellenza operativa. L’addestramento e l’implementazione dei modelli di intelligenza artificiale odierni rappresentano un’enorme sfida operativa, che coinvolge migliaia di persone, milioni di chip e un’infrastruttura tra le più complesse della storia tecnologica. Molti problemi non derivano dalla mancanza di conoscenze teoriche o intuizioni fondamentali, ma da errori di esecuzione. Ad esempio, abbiamo prove che i recenti incidenti di allineamento che abbiamo segnalato siano stati causati in parte da un filtraggio imperfetto degli ambienti di apprendimento per rinforzo danneggiati. Si trattava di un’attività che noi e i nostri fornitori abbiamo svolto con una certa diligenza, ma non in modo sufficientemente efficace. Monitoraggio, sandboxing, igiene degli ambienti di addestramento e problematiche relative ai dati sono aree estremamente complesse in cui si ripresentano continuamente problemi operativi. Disponiamo di alcuni dei team più competenti al mondo in questi ambiti, ma semplicemente non è possibile fare tutto contemporaneamente. Lavorando con un ritmo più misurato, potremmo raggiungere un’eccellenza operativa di gran lunga superiore. Esistono precedenti di sistemi tecnologicamente complessi e critici per la sicurezza che hanno funzionato milioni di volte senza alcun problema, ad esempio gli aerei commerciali, ma ci vuole tempo per ottenere risultati ottimali.
• Allineamento. Abbiamo fatto progressi significativi nell’allineamento, addestrando i modelli affinché rimangano sicuri, etici, conformi alle nostre linee guida e realmente utili (i principi sanciti dalla Costituzione di Claude). Ma c’è ancora molto da fare per garantire che il nostro addestramento all’allineamento tenga il passo con la crescita delle capacità dei modelli. Rari e inaspettati esempi di comportamenti indesiderati emergono ancora occasionalmente; un periodo di tempo maggiore, derivante da una frontiera a ritmo controllato, aiuterebbe i nostri ricercatori a migliorare la comprensione delle cause di questi problemi e a sviluppare tecniche migliori per prevenirli.
• Interpretazione . Allo stesso modo, l’interpretabilità – la scienza che studia cosa accade all’interno dei modelli di IA – ha fatto enormi progressi negli ultimi anni e riveste un ruolo sempre più importante nella verifica dei nostri modelli prima del rilascio. Può essere utilizzata quasi come una risonanza magnetica funzionale (fMRI), ma per il “cervello” di un’IA, aiutandoci a individuare le ragioni profonde di un determinato comportamento. Ad esempio, abbiamo utilizzato metodi di interpretabilità per esaminare le motivazioni non verbalizzate nei recenti episodi di allineamento che abbiamo analizzato. Tuttavia, questi metodi non sempre producono risultati chiari e affidabili. Nonostante tutti i progressi, comprendiamo ancora solo una minima parte di ciò che accade all’interno di questi modelli. Uno sforzo mirato per migliorare le nostre tecniche di interpretabilità, anche più rapidamente di quanto stiamo facendo attualmente, potrebbe portare a progressi significativi in ​​1-2 anni e disporrebbe di un’ampia mole di materiale sperimentale basato sugli episodi già verificatisi.
• Test e valutazione. Il test e la valutazione dei modelli di intelligenza artificiale diventano più difficili man mano che le loro capacità aumentano. I modelli più intelligenti sono più capaci di eludere i test e, pertanto, possono apparire conformi pur presentando gravi problemi che passano inosservati. La creazione di un insieme di valutazioni molto più ampio e ingegnoso, insieme ad analisi di interpretabilità per verificarle, sarebbe di enorme valore e si potrebbero compiere molti progressi in questo senso entro 1-2 anni.

Valutatori integrati

Il primo passo del piano in tre fasi, e quello a cui Anthropic si sta impegnando unilateralmente, consiste nell’inserimento di valutatori interni con accesso simile a quello dei dipendenti, per verificare le pratiche di sicurezza e segnalare gli incidenti.

L’integrazione di valutatori può sembrare un passo piccolo o insignificante, ma spesso le cose che sembrano più noiose o procedurali sono in realtà le più essenziali. I valutatori integrati rappresentano infatti una pratica piuttosto innovativa che va ben oltre ciò che qualsiasi azienda di IA sta facendo oggi e offre i seguenti vantaggi:

• Verificabilità. I ​​valutatori integrati possono verificare nel dettaglio se un’azienda di IA stia effettivamente seguendo le pratiche di formazione, implementazione, operative e di salvaguardia che dichiara di adottare. Qualsiasi impegno relativo ai tempi di implementazione comporterà inevitabilmente molta ambiguità, valutazioni soggettive e un conflitto tra “lettera della legge” e “spirito della legge”, e sembra fondamentale avere una terza parte neutrale in grado di esaminare i dettagli.
• Trasparenza. Indipendentemente dagli impegni che assumiamo, il pubblico ha il diritto di sapere cosa sta succedendo. Anthropic sostiene la trasparenza da molto tempo: abbiamo appoggiato la legislazione in materia di trasparenza quando la maggior parte del settore era contraria a qualsiasi regolamentazione, e le nostre schede modello e i rapporti sui rischi si estendono per centinaia di pagine. Ma siamo ancora noi a scegliere cosa includere e cosa omettere. I valutatori integrati cambieranno questa dinamica.
• Secondo parere. Oltre a verificare gli impegni formali e informare il pubblico, i valutatori integrati possono semplicemente fornire un secondo parere senza incentivi commerciali. Molti vantaggi in termini di sicurezza possono derivare semplicemente dal fatto che i valutatori segnalano qualcosa che i dipendenti non avevano considerato, ma che sono felici di correggere una volta che ne sono a conoscenza.

Grazie a questi vantaggi, qualsiasi proposta di pianificazione ha maggiori probabilità di successo se parte da valutatori integrati.

Questi valutatori esterni dovrebbero avere accesso continuativo ad autorizzazioni e strumenti simili a quelli dei dipendenti interni che svolgono valutazioni del rischio analoghe. In particolare, Anthropic intende invitare a breve un team di revisione esterno dotato di tutti i seguenti strumenti:

• Scrivanie nei nostri uffici, badge di accesso e computer portatili aziendali.
• L’accesso a spazi di lavoro, strumenti e autorizzazioni sarà sostanzialmente paragonabile a quello dei team interni di valutazione del rischio. Prevediamo alcune eccezioni, ad esempio laddove richiesto dalla legge o dai nostri contratti, o per proteggere le informazioni private di clienti e partner. Definiremo inoltre rigorose norme interne che rafforzino l’accesso dei revisori alle informazioni pertinenti, anche attraverso colloqui diretti con i dipendenti.
• Un contratto che tenga conto delle complessità sopra menzionate. I revisori esterni dovrebbero avere il diritto di pubblicare i risultati principali relativi ai livelli di rischio, agli incidenti, alle pratiche e all’accesso che hanno ricevuto o non hanno ricevuto, senza alcun controllo editoriale da parte di Anthropic. Avremo la facoltà limitata di oscurare informazioni sensibili dal punto di vista della sicurezza, legalmente riservate, commercialmente sensibili o confidenziali di terzi, ma non potremo oscurare i risultati solo perché sfavorevoli. I revisori potranno dichiarare pubblicamente se un’oscuramento ha rimosso qualcosa di importante per le loro conclusioni.

Si tratta di un passo insolito per un’azienda, ma riteniamo importante dimostrare la validità del concetto di revisori esterni integrati. Ancora una volta, esortiamo altre aziende all’avanguardia a seguire il nostro esempio.

Il ritmo all’interno delle democrazie

Una volta che i valutatori integrati opereranno all’interno di una massa critica di aziende statunitensi di IA, la verificabilità dei tempi di sviluppo diventerà più fattibile. In particolare, sarà possibile stabilire i tempi in base alle proprietà dettagliate dei modelli o delle pipeline di addestramento.

Il metodo più efficace per tenere il passo con i tempi è attraverso una regolamentazione che si rivolga a tutte le aziende statunitensi all’avanguardia nel campo dell’IA, in quanto ciò include anche quelle che non sono disposte a collaborare volontariamente. Anthropic sostiene da tempo una regolamentazione dell’IA sensata e mirata, in particolare le proposte di legge incentrate sulla trasparenza e sulla verifica da parte di terzi. Credo che tutti i laboratori di frontiera dovrebbero collaborare con il governo per formalizzare l’idea di valutatori integrati permanenti, al fine di prevenire e documentare meglio gli incidenti di allineamento interno come quelli verificatisi negli ultimi mesi, e per implementare una regolamentazione incentrata sul mantenimento di un equilibrio tra capacità e sicurezza.

Purtroppo, l’approvazione di leggi può richiedere tempo e l’intelligenza artificiale si sta evolvendo molto rapidamente. Pertanto, parallelamente al percorso normativo, le aziende che operano nel settore dell’IA possono e dovrebbero collaborare volontariamente per definire degli standard: un processo che, a mio avviso, si svolgerà meglio grazie alla verificabilità offerta da valutatori integrati permanenti. Per ragioni antitrust, è utile che il governo statunitense medi o quantomeno agevoli queste discussioni: non è necessario che vi partecipi, ma è necessario che conceda una deroga limitata per determinate tipologie di conversazioni sulla sicurezza. Questo dialogo potrebbe anche avvenire tramite gruppi industriali che hanno qualche legame con il governo, ad esempio attraverso il meccanismo suggerito da Demis Hassabis . In entrambi i casi, tali discussioni dovrebbero procedere rapidamente.

In linea generale, sono molto entusiasta di un approccio che si basi sulle capacità di un determinato sistema di IA all’avanguardia e sulla sua sicurezza. Ad esempio, un possibile schema potrebbe essere una serie di “punti di controllo”: se i modelli possiedono la capacità X, devono essere accompagnati da certificazioni delle proprietà di allineamento Y e Z, come ad esempio una combinazione di valutazioni, analisi di interpretabilità e verifiche degli ambienti di addestramento, che ne dimostrino l’allineamento. In questo esempio, X potrebbe essere “il modello è in grado di eludere o superare la maggior parte dei metodi di sandboxing più comuni” e Y potrebbe essere qualsiasi elemento necessario a rendere estremamente improbabile che il modello abbia la tendenza a uscire dal proprio ambiente e a prendere il controllo di un gran numero di computer.

Dovremmo anche considerare la gestione dei tempi basandoci sulla limitazione degli elementi che compongono i modelli di frontiera, come la potenza di calcolo necessaria per l’addestramento, la natura delle sessioni di addestramento o l’utilizzo interno dell’IA per migliorare l’IA stessa. Temo che alcune di queste misure possano essere più facilmente manipolabili rispetto al comportamento esterno, ma questo è un argomento che vale la pena discutere con i valutatori integrati.

Il ritmo di sviluppo all’interno delle democrazie sarà limitato dal vantaggio che le aziende statunitensi hanno sui regimi autoritari, principalmente il Partito Comunista Cinese. Se rallentassimo più di quanto previsto, i progetti (non controllati) associati al PCC prenderebbero il sopravvento, creando un rischio significativo per la sicurezza nazionale. Concordo con il Segretario Bessent sul fatto che un primato cinese nell’IA rappresenterebbe un grave pericolo per gli Stati Uniti e per il mondo. I progetti associati al PCC correrebbero i rischi di allineamento che le aziende statunitensi stanno attentamente cercando di prevenire e, anche se riuscissero a evitarli, sarebbero in grado di dominare militarmente le democrazie (ad esempio con droni a guida IA). Pertanto, un aspetto fondamentale per mantenere un ritmo di sviluppo adeguato all’interno delle democrazie è quello di preservare il più ampio possibile il vantaggio delle democrazie nell’IA rispetto alle autocrazie, per darci il margine di manovra necessario per procedere in modo efficace.

Le principali misure che possiamo adottare per colmare questo divario sono:

• Non vendete alla Cina chip per l’intelligenza artificiale ad alte prestazioni o apparecchiature per la produzione di semiconduttori, e reprimete il contrabbando di chip e l’accesso remoto ai data center al di fuori della Cina. I chip saranno il principale fattore determinante della forza della Cina nel campo dell’intelligenza artificiale.
• Contrastare la distillazione non autorizzata da parte di aziende nei paesi autoritari. La distillazione dei modelli di frontiera consente alle aziende in ritardo di ridurre il divario utilizzando una frazione del costo che sarebbe necessario per sviluppare autonomamente la propria intelligenza artificiale.
• Rafforzare la sicurezza nelle aziende che si occupano di intelligenza artificiale e prevenire il furto di dati relativi ai modelli 3D.

Le aziende e il governo degli Stati Uniti dovrebbero collaborare per rendere queste misure il più efficaci possibile. Anthropic ha sempre sostenuto tutte queste misure, perché abbiamo sempre compreso che sarebbero state essenziali per qualsiasi strategia di gestione del rischio.

Se attueremo bene queste misure, credo che rallenteranno a sufficienza i progressi della Cina da ampliare significativamente il vantaggio americano nei prossimi 3-5 anni, ovvero il periodo in cui l’intelligenza artificiale assumerà la massima importanza geopolitica.

Alcuni potrebbero credere che queste misure rendano più difficile la cooperazione con la Cina, ma io credo che sia vero il contrario: queste misure aumentano il potere contrattuale delle democrazie e rendono più probabile un accordo in futuro.

Ritmo globale

Parallelamente al ritmo di sviluppo all’interno delle democrazie, dovremmo puntare anche a un ritmo di sviluppo globale della frontiera dell’intelligenza artificiale, sebbene questo sarà molto più difficile da realizzare. Un ritmo globale richiederà la cooperazione con la Cina, il paese autocratico con le capacità di intelligenza artificiale di gran lunga più avanzate. Non dobbiamo essere ingenui: la posta in gioco geopolitica è talmente alta che probabilmente ci saranno limiti ben precisi a ciò che si potrà ottenere, soprattutto all’inizio. Se limitiamo drasticamente le nostre capacità in materia di intelligenza artificiale nella convinzione che la Cina farà lo stesso, e poi la Cina dovesse cambiare schieramento, l’IA potrebbe diventare così potente che una tale defezione potrebbe portare al suo dominio geopolitico. Pertanto, qualsiasi accordo deve essere o inattaccabile e verificabile, oppure sufficientemente limitato da non rendere una defezione militarmente esistenziale. Sospetto che non solo gli Stati Uniti, ma anche la Cina, nutrano queste preoccupazioni e ansie. Dovremmo affrontare qualsiasi decisione relativa al ritmo di sviluppo globale, soprattutto nel breve termine, in modo tale da proteggere il vantaggio degli Stati Uniti e dei loro alleati.

Esistono diversi livelli di accordo possibili, alcuni dei quali ritengo assolutamente realizzabili ( come ho già suggerito in precedenza ), mentre per altri nutro forti dubbi sulla loro fattibilità, sebbene dovremmo comunque provarci. In ordine di difficoltà crescente:

• Livello 1. Un accordo che proibisca determinati usi specifici e palesemente pericolosi dell’IA, come ad esempio l’impiego dell’IA per la produzione di armi biologiche o la possibilità per gli utenti di farlo. Gli attacchi bioterroristici sono dannosi per tutti, compresi gli Stati Uniti e i loro avversari, quindi un accordo in questo ambito è probabilmente possibile.
• Livello 2. Un accordo tra le due parti per testare i propri modelli prima del rilascio, al fine di individuare rischi acuti in aree quali la sicurezza informatica, la biologia e l’allineamento. Come già accennato, ciò potrebbe essere realizzato tramite un organismo di standardizzazione globale. Ritengo che la creazione di un organismo di questo tipo sia fattibile, ma conferirgli un’effettiva efficacia rappresenterà una sfida, e la difficoltà risiederà nella verifica che entrambe le parti non dispongano di modelli segreti che non testano ma che potrebbero essere impiegati in segreto (ad esempio, per applicazioni militari).
• Livello 3. Una sorta di “limite di velocità” per il tasso di auto-miglioramento ricorsivo (RSI). Man mano che i modelli costruiscono modelli futuri, il tasso di miglioramento potrebbe diventare incredibilmente rapido. Rallentare il tasso da “estremamente rapido” a “solo abbastanza rapido” comporta una perdita di vantaggi strategici relativamente modesta, pur migliorando potenzialmente in modo significativo la sicurezza. Questo potrebbe essere visto come analogo ai trattati SALT : limitare il numero di missili ha ridotto il potenziale distruttivo preservando al contempo la capacità di deterrenza di ciascun paese. Credo che un accordo di questo tipo sarebbe difficile da raggiungere, ma al limite della fattibilità.
• Livello 4. Un rallentamento completo, o addirittura una “pausa”, in cui i governi partecipanti concordano di limitare sostanzialmente il tasso complessivo di sviluppo dell’IA. Sono favorevole a questa proposta, ma ritengo improbabile che si concretizzi a breve: una violazione di tale accordo, eludendo il monitoraggio, potrebbe alterare radicalmente gli equilibri di potere globali, quindi mi aspetto che gli incentivi a farlo siano enormi e che il livello di fiducia necessario nella verifica sia molto elevato.

Qualsiasi cooperazione riusciremo a instaurare con la Cina prolungherà il tempo a nostra disposizione per esplorare le frontiere all’interno delle nazioni democratiche. Dovremmo puntare ai livelli più elevati, pur considerando i livelli inferiori come molto più probabili e realistici.

Infine, è importante notare che, anche se non riusciamo a raggiungere accordi formali, il semplice cambiamento delle norme informali può avere un certo valore . Condividere informazioni sull’auto-miglioramento ricorsivo e sul disallineamento dei modelli può contribuire a convincere tutti che non è nel loro interesse essere imprudenti.

In conclusione

Continuo a credere che l’intelligenza artificiale possa migliorare enormemente la qualità della vita umana. Il mio desiderio di raggiungere questi benefici rimane immutato. Ma i benefici si concretizzeranno solo se svilupperemo la tecnologia nel modo giusto e, a patto di utilizzare bene il tempo che guadagniamo, vale la pena dedicare una cura insolitamente scrupolosa per fare le cose per bene. I progressi saranno comunque relativamente rapidi e potremo usare questo tempo per far progredire la scienza dell’interpretabilità, migliorare la sicurezza operativa e il rigore nelle aziende all’avanguardia nel campo dell’IA e costruire modelli di cui abbiamo molta più fiducia nell’allineamento. Le misure che propongo per far avanzare la frontiera a un ritmo sicuro non saranno facili. Ma credo che sia nostro dovere, nei confronti dell’umanità, provarci.

Note a piè di pagina

1. ¹ Con la mediazione del governo o la deroga alle restrizioni antitrust. ↩