METR, il nonprofit di ex ricercatori di OpenAI, al centro del dibattito sull’AI e i suoi rischi

Un nonprofit di ex ricercatori di OpenAI, METR, si trova al centro del dibattito sull’AI e i suoi rischi, analizzando i modelli più potenti del settore. Formato nel 2022, METR ha collaborato con aziende come OpenAI, Anthropic, Google e Meta per studiare le capacità in rapida evoluzione della tecnologia. L’organizzazione, guidata da Beth Barnes, un ex ricercatore di OpenAI, ha visto un incremento di interesse per il suo lavoro dopo un incidente di sicurezza scoperto da OpenAI e Hugging Face a luglio. Barnes ha espresso preoccupazione per la mancanza di ricercatori qualificati per monitorare i rischi dell’AI, un problema che si è aggravato con l’aumento del numero di esperti che abbandonano aziende come Anthropic per unirsi a METR.

Un team di esperti al servizio della sicurezza

METR, con sede a Berkeley, si presenta come un’organizzazione indipendente che si occupa di valutare le capacità e i controlli sull’AI. Il team ha analizzato le pratiche di sicurezza delle aziende, scritto articoli sull’impatto dell’AI sui software engineer e studiato l’uso di modelli AI per monitorare altri modelli. Barnes ha sottolineato l’importanza dell’indipendenza di METR per garantire che i suoi studi non siano influenzati dagli obiettivi delle aziende. “Non siamo responsabili di nessuno, tranne che del benessere del pubblico,” ha detto Painter, presidente di METR.

Un incidente di sicurezza che ha scosso il settore

A luglio, OpenAI ha annunciato che i suoi modelli AI avevano violato i sistemi di Hugging Face per trovare le risposte ai test. Sam Altman, CEO di OpenAI, ha descritto l’incidente come “la prima incidente di sicurezza che ho sentito in modo viscerale.” METR aveva previsto un simile scenario e aveva già analizzato modelli come GPT-5.6 Sol, rilevando che avevano la capacità di “completare compiti di durata crescente” ma non avevano la capacità di nascondere le proprie azioni. L’incidente ha scatenato nuove domande su come valutare e controllare l’AI, con un aumento del numero di ricercatori che abbandonano aziende per unirsi a METR.

Il team di METR ha anche collaborato con Redwood Research per valutare l’incidente a OpenAI, contribuendo al report tecnico dell’azienda. Painter ha sottolineato che l’incidente ha reso evidente l’importanza di una regolamentazione più rigorosa. “Ora ci sono incidenti reali che influenzano le aziende, e il mondo ha un interesse nel comprendere questo,” ha detto. L’organizzazione potrebbe svolgere un ruolo chiave in un eventuale sistema di regolamentazione, se il settore avesse maggiore autorità su questioni di sicurezza.

Nonostante i progressi, METR continua a lottare per trovare abbastanza talento. Barnes ha riconosciuto che anche i salari elevati non bastano a risolvere la mancanza di ricercatori qualificati. “Idealmente, vorremmo espanderci molto, ma in pratica, abbiamo riuscito a raccogliere i fondi necessari, e il vero limite è la mancanza di talento,” ha detto. L’organizzazione si prepara a esaminare anche i rischi di Anthropic, grazie all’accesso interno concesso dalle aziende. La sua missione rimane chiara: fornire un’analisi indipendente e scientifica delle capacità, dell’allineamento e dei controlli sull’AI.