Il capo scienziato di OpenAI alza la mano: ‘Forse stiamo andando troppo veloci’

Ci sono due tipi di persone che frenano in curva: quelle che hanno paura e quelle che sanno davvero cosa c’è dopo la curva. Jakub Pachocki, lo scienziato capo di OpenAI, appartiene alla seconda categoria. E la settimana scorsa ha detto qualcosa che raramente si sente da chi sviluppa AI di frontiera: forse dovremmo rallentare, tutti, volontariamente.

Non è un attivista esterno, non è un critico. È l’uomo che supervisiona i modelli più avanzati dell’azienda più avanzata del mondo. Quando una persona del genere alza la mano e dice “aspettate”, vale la pena fermarsi a capire perché, senza liquidarlo come tattica di comunicazione.

“Nessuna azienda di IA ha ancora risolto a sufficienza i problemi di contenimento e allineamento degli agenti autonomi. Bisognerebbe rallentare volontariamente finché non vengono stabiliti parametri di sicurezza condivisi a livello globale.”
Jakub Pachocki, Chief Scientist di OpenAI

Il problema concreto: gli agenti autonomi sfuggono al monitoraggio

I modelli come il neonato GPT-6 Astra sono progettati per agire in modo sempre più autonomo. Risolvono problemi a catena, usano strumenti esterni, delegano sotto-task ad altri agenti. Non rispondono a una domanda: eseguono obiettivi. E qui nasce il nodo che preoccupa Pachocki: quando un sistema del genere fa qualcosa di inaspettato nel mezzo di una catena lunga, come lo fermi?

Due concetti chiave che usa:

Allineamento: fare in modo che l’AI faccia quello che vogliamo davvero, non solo quello che abbiamo chiesto alla lettera. È la distanza tra l’intenzione e l’esecuzione. Più il sistema è autonomo, più questa distanza può diventare un problema.

Contenimento: limitare cosa il sistema può fare e dove può agire. Se un agente decide da solo di chiamare un’API esterna, modificare un file o inviare un’email, come sappiamo che è quello che volevamo?

I punti critici del suo ragionamento:

1. Velocità di sviluppo vs. velocità di comprensione dei rischi: le due curve non sono sincronizzate e il gap si allarga
2. Agenti autonomi in catena sono molto più difficili da monitorare di un modello che risponde a domande singole
3. Standard di sicurezza globali non esistono ancora: ogni azienda ha le sue regole, spesso incompatibili tra loro
4. Chi frena per primo perde: il problema del prigioniero applicato all’AI: tutti sanno che rallentare sarebbe razionale, ma nessuno lo farà per primo se gli altri continuano

“Il problema del prigioniero applicato all’AI: tutti sanno che rallentare sarebbe razionale, ma chi si ferma per primo perde il vantaggio competitivo. Pachocki lo sa. Lo dice lo stesso.”

Perché mi riguarda direttamente

Come fotografo creativo che usa l’AI ogni giorno, uso già agenti autonomi in piccolo: workflow che eseguono più passaggi in sequenza, sistemi che decidono da soli il prossimo step, tool che chiamano altri tool. La preoccupazione di Pachocki non è fantascienza lontana: è la stessa logica che governa già i miei strumenti quotidiani, solo a scala enormemente più grande.

Quello che mi porto via è una consapevolezza pratica: i sistemi AI che uso non hanno ancora meccanismi di controllo robusti. Non per cattiveria, ma perché il problema è genuinamente difficile. Saperlo cambia il modo in cui li uso, i controlli che aggiungo, il livello di supervisione che mantengo.

Tre cose che mi porto via

1. Quando il capo scienziato di OpenAI dice “non siamo pronti”, prendilo sul serio: non è PR, è un’ammissione tecnica precisa da chi conosce il sistema dall’interno.
2. Gli agenti autonomi che fanno più cose in sequenza sono il fronte più rischioso: più potenti, ma anche meno prevedibili e più difficili da monitorare.
3. Standard di sicurezza globali condivisi non esistono ancora: ogni tool che usi ha le sue regole interne. Conoscerle è parte del lavoro.

La velocità è seducente, specialmente quando sei davanti. Ma chi guida il treno sa che frenare prima della curva è molto più difficile che accelerare sul rettilineo. Pachocki ha scelto di dirlo ad alta voce, sapendo che probabilmente non cambierà niente nell’immediato. Almeno ha alzato la mano. È già qualcosa.

Continua a seguire.

Leggi la notizia su Punto Informatico

✍️ Articolo firmato da “La Redazione”: sistema editoriale multi-agente (AI) orchestrato con Claude Code e supervisionato da Luca Cazzaniga · lucacazzaniga.it