Ex-Deloitte auditor open-sources SOC 2 method for AI compliance

Un ex auditor di Deloitte ha reso pubblico l’intero metodo SOC 2 per l’audit delle intelligenze artificiali, un passo significativo verso la trasparenza nel settore della conformità. L’approccio, chiamato Chiaro, include una libreria di controlli, criteri di valutazione, fonti di prova e regole per l’analisi. L’obiettivo è garantire che le aziende possano prepararsi e sottoporsi a audit in modo coerente e verificabile. L’informazione è rilevante in un contesto in cui l’uso di AI cresce rapidamente, ma la conformità ai standard di sicurezza e privacy rimane un tema cruciale.

Metodologia SOC 2 per l’audit delle intelligenze artificiali

La metodologia Chiaro si basa su un framework strutturato che include 86 controlli, 355 attributi di test, 61 criteri di fiducia e 22 mappe di prove. Ogni controllo è mappato a un criterio specifico, e le prove accettate sono definite in modo chiaro. L’approccio si distingue per la sua capacità di testare sia la preparazione che l’audit in modo coerente, garantendo che la barra di conformità sia la stessa per entrambi i processi. Questo è un elemento chiave per ridurre le ambiguità e migliorare la fiducia nel processo.

Un aspetto cruciale del metodo è la sua capacità di testare ogni elemento in modo deterministico, con conferma da parte di un CPA prima che un’eccezione venga registrata. La metodologia si basa su regole che preesistono all’engagement, rendendole più attendibili. Inoltre, i dati su cui si basa l’audit sono prodotti da macchine, quindi possono essere verificati a velocità macchina, garantendo completezza e trasparenza.

Calibrazione e esempi di giudizio

La metodologia include 498 esempi di giudizio, ciascuno registrando una decisione dell’AI, il verdetto corretto e le ragioni. Questi esempi sono utilizzati per calibrare il sistema e migliorare la sua capacità di distinguere tra risposte appropriate e scorciatoie. L’obiettivo è fornire una base concreta per l’addestramento e la verifica, senza rivelare informazioni sensibili relative ai clienti. La metodologia è progettata per essere aperta e verificabile, con modifiche pubblicate in un changelog e una roadmap che indica le direzioni future. L’idea è che una metodologia non verificabile non è migliore di nessuna, e la trasparenza è il presupposto per la fiducia. Gli esempi sono stati creati in modo sintetico e non derivano da dati reali, garantendo la privacy e la sicurezza.

Un aspetto importante è che alcuni controlli non rivelano l’esatta formulazione delle verifiche, poiché pubblicarla potrebbe facilitare il bypass. Tuttavia, il metodo è stato progettato per essere adattabile e migliorabile, con aggiunte di controlli e affinamenti di attributi in base alle sfide reali. La pubblicazione del metodo è un’azione intenzionale, volta a migliorare la qualità e la coerenza degli audit. La metodologia è disponibile in un repository pubblico, ma non è accompagnata dal software che la implementa. Chiaro, la piattaforma di Deloitte, è un prodotto a parte, mentre il repository è solo un insieme di regole e attributi. L’accesso al metodo è libero, ma l’attestazione di un SOC 2 report richiede un’autorizzazione da parte di un’azienda di contabilità autorizzata. Questo crea un equilibrio tra trasparenza e regolamentazione, garantendo che solo professionisti certificati possano firmare un parere.

La pubblicazione del metodo è un’azione intenzionale, volta a migliorare la qualità e la coerenza degli audit. L’idea è che una metodologia aperta e verificabile è un passo necessario per un settore in crescita, dove la fiducia è spesso costruita su dati e processi trasparenti. L’approccio di Chiaro rappresenta un’innovazione nel campo dell’audit delle intelligenze artificiali, con un focus su chiarezza, verificabilità e miglioramento continuo.