OpenAI cerca un Head of Preparedness: 555k$ per gestire i rischi dei modelli di frontiera

OpenAI ha aperto le candidature per il ruolo di Head of Preparedness, inserito nel team Safety Systems. La posizione combina valutazione tecnica, analisi delle minacce e definizione delle misure di sicurezza per i modelli più avanzati dell'azienda.

Head of Preparedness di OpenAI: perché ora?

In un post, Sam Altman descrive uno scenario complesso. Afferma che i modelli attuali stanno iniziando a individuare vulnerabilità critiche nella computer security e che nel 2025 si sarebbe già vista "un'anteprima" del possibile impatto di queste tecnologie sulla salute mentale.

Queste dichiarazioni collegano il ruolo alla crescita delle capacità dei modelli in ambiti come cybersecurity e biosecurity. È però utile distinguere tra capacità già osservate, scenari di abuso ipotetici e rischi di lungo periodo.

Il ruolo e il Preparedness Framework

Il nuovo Head of Preparedness dovrà guidare l'applicazione tecnica del Preparedness Framework, il quadro con cui OpenAI valuta e mitiga i rischi di "danno grave" (severe harm) associati ai modelli di frontiera.

Le responsabilità chiave includono:

• Capability Evaluations: Sviluppare valutazioni precise e scalabili per misurare le capacità dei modelli di frontiera attraverso cicli di prodotto rapidi.
• Threat Modeling: Stabilire modelli di minaccia per aree di rischio maggiori, come cyber e bio.
• Mitigations: Progettare salvaguardie tecnicamente solide che si allineino con i modelli di minaccia.

La figura dovrà operare all'intersezione tra ricerca, ingegneria e policy, collegando i risultati delle valutazioni alle decisioni di lancio (launch decisions) e ai safety cases.

Self-improvement e rischi futuri

Un tema rilevante menzionato da Altman riguarda i sistemi in grado di auto-migliorarsi (self-improve). La sfida consiste nel permettere ai difensori della cybersecurity di usare queste capacità per rendere i sistemi più sicuri, riducendo al contempo il rischio che vengano sfruttate dagli attaccanti. È un problema con pochi precedenti e molti edge case da valutare in condizioni reali.

Requisiti e compenso

Il ruolo richiede una solida competenza in machine learning, AI safety e valutazione dei rischi. OpenAI cerca una persona in grado di prendere decisioni high-stakes in condizioni di incertezza, collegando la ricerca alle esigenze operative di un'azienda che rilascia prodotti rapidamente.

L'offerta indicata è di $555K di stipendio base più un pacchetto di equity. La cifra descrive il livello della posizione, ma non permette da sola di valutare l'efficacia del programma di sicurezza.

Preparedness: una valutazione

La candidatura descritta nell'annuncio segnala che OpenAI considera la valutazione dei rischi una funzione tecnica e operativa, non soltanto una questione di policy. Il ruolo dovrebbe collegare ricerca, ingegneria, threat modeling e decisioni di rilascio. Questo, però, non dimostra da solo quanto siano efficaci le misure adottate.

La scelta di una figura dedicata alla preparedness è coerente con l'aumento delle capacità dei modelli in ambiti come cybersecurity, biosecurity e autonomia nell'uso di strumenti. Le dichiarazioni pubbliche di Sam Altman descrivono rischi ancora incerti e difficili da misurare; è quindi importante distinguere tra capacità osservate, scenari ipotetici e previsioni di lungo periodo.

Il punto più controverso riguarda il modo in cui OpenAI comunica questi rischi. Un linguaggio molto allarmistico può attirare attenzione e sostenere l'urgenza degli investimenti in sicurezza, ma può anche confondere una possibilità con un evento già probabile. Per valutare il tema servono metriche, test riproducibili e informazioni sui limiti delle mitigazioni.

Il confronto con Anthropic e Google mostra approcci comunicativi diversi: la mechanistic interpretability, i framework di preparedness e le valutazioni interne sono strumenti complementari, non prove sufficienti che un modello sia completamente comprensibile o sicuro.

Sul piano pratico, l'AI generativa può aumentare la produttività nella programmazione, nella ricerca e nella robotica, ma introduce anche nuovi punti di controllo e dipendenze infrastrutturali. Le persone restano necessarie per definire obiettivi, valutare risultati e assumersi la responsabilità delle decisioni.

L'AI generativa non crea necessariamente idee dal nulla: produce output a partire dal prompt, dai dati e dai vincoli forniti, combinando pattern appresi durante l'addestramento.

Per questo l'uso efficace dei modelli richiede ancora conoscenza del dominio, richieste precise e verifica degli output. Un sistema può esplorare rapidamente molte alternative, ma la validità di un'idea o di un'intuizione non è una proprietà che il solo reinforcement learning possa garantire in ogni contesto.