Accreditamento e standard per lo sviluppo dei sistemi di Intelligenza Artificiale

Piercosma Bisconti, ricercatore, approfondisce i temi chiave dell’Osservatorio Accredia sull’Intelligenza Artificiale, descrivendo le prospettive della normazione tecnica e della valutazione della conformità in un settore complesso e in continuo sviluppo.

L’Intelligenza Artificiale è uno dei temi più sfidanti del nostro presente, un motore di crescita con forti implicazioni etiche e sociali, al quale Accredia ha dedicato l’ultimo Osservatorio “Norme tecniche e valutazione della conformità accreditata per lo sviluppo dei sistemi di Intelligenza Artificiale” realizzato insieme al Laboratorio Nazionale di Artificial Intelligence and Intelligence Systems del CINI, il Consorzio Interuniversitario Nazionale per l’Informatica.

Piercosma Bisconti, ricercatore di Intelligenza Artificiale, spiega come è nato il progetto e come si prefigura il ruolo dell’accreditamento per i sistemi ad Alto Rischio, partendo dall’AI Act fino alla Standardization Request della Commissione europea e ai Proof of Concept sulla ISO/IEC TR 24027 e sulla ISO/IEC 42001.

Quali sono le attività del Laboratorio Nazionale di Artificial Intelligence and Intelligent Systems del CINI e come è nato l’Osservatorio Accredia?

Il progetto di ricerca è nato circa un anno e mezzo fa, grazie all’interazione tra il CINI e Accredia proprio sui temi dell’Intelligenza Artificiale. L’AI Act era appena uscito nella sua seconda versione e iniziavano a delinearsi gli aspetti relativi alla normazione tecnica all’interno del cosiddetto New Legislative Framework.

Abbiamo iniziato a studiare gli sviluppi degli standard a livello europeo CEN-CENELEC e quali fossero le metodologie che potevano permettere, in futuro, processi di certificazione e accreditamento.

Nel laboratorio AIIS, il Laboratorio del CINI che si occupa appunto di Intelligenza Artificiale e riunisce più di 55 Università italiane, abbiamo la possibilità di coprire un vastissimo numero di ambiti di ricerca. In collaborazione con Accredia, siamo entrati nei tavoli di normazione CEN-CENELEC, nello specifico all’interno del Joint Technical Committee 21 che si occupa di formulare e poi di pubblicare gli standard sull’Alto Rischio.

Come molti Regolamenti europei, l’AI Act richiama il ruolo delle Autorità di notifica e degli organismi notificati. Come funziona il processo di presunzione della conformità delineato dall’AI Act per i sistemi di Intelligenza Artificiale?

Questo è probabilmente uno degli argomenti più interessanti e di maggiore differenziazione dell’AI Act rispetto ad altri Regolamenti simili, come il GDPR.

All’interno dell’AI Act, come sappiamo, sono indicati differenti tipi di rischio e livelli di rischio. Nel caso dell’Alto Rischio, che è probabilmente la casistica che più preoccupa le aziende e le organizzazioni, vi sono due modi per essere compliant con il Regolamento: la valutazione della conformità di parte terza e la presunzione della conformità grazie agli standard armonizzati. Questa è una novità del New Legislative Framework, che come precedente vede solo il Regolamento sui dispositivi medici.

L’organizzazione, che sia un deployer o un provider di sistemi di Intelligenza Artificiale (questi ultimi i più colpiti dalle sanzioni sull’Alto Rischio) ha dunque due opzioni.

La prima è rivolgersi a un organismo di terza parte che procede alla valutazione della conformità. Questo meccanismo non ha una validità legale in senso stretto, poiché non assicura il fatto che poi l’Autorità (che saranno AgID e ACN sembrerebbe) debba certificare la conformità di quel sistema, e porta con sé un margine di incertezza regolatoria, sulla possibilità o meno di incorrere in sanzioni, come è accaduto con il GDPR.

L’idea degli standard armonizzati è invece fornire una guida normativa certa, chiara e pratica, che permetta alle aziende di implementare dei processi e dei controlli estremamente oggettivi, in modo da ottenere la presunzione della conformità. Nel momento in cui l’azienda ottiene la certificazione secondo lo standard armonizzato, può quindi dichiarare la presunzione della conformità per gli articoli dell’Alto Rischio dell’AI Act, sostanzialmente quelli da dal 9 al 15, più altri articoli sul Conformity Assessment e Quality Management. Inoltre, in questo meccanismo, l’onere della prova ricade sull’Autorità di vigilanza.

L’AI Act solleva quindi l’esigenza di sviluppare norme tecniche settoriali sull’Intelligenza Artificiale e garantirne l’armonizzazione nell’Unione europea. Cos’è la Standardization Request rivolta dalla Commissione al CEN-CENELEC?

La Richiesta di Standardizzazione è un documento con il quale la Commissione europea incarica alcuni Enti di normazione europea, in questo caso il CEN-CENELEC, di formulare degli standard tecnici per una specifico provvedimento legislativo, sia una Direttiva o un Regolamento.

La Richiesta contiene dieci item, alcuni tecnici come la robustezza, l’accuratezza e la cybersicurezza, alcuni relativi a caratteristiche di interazione tra l’umano e il sistema, per esempio la supervisione umana, altri abilitanti ad alcuni tipi di supervisione, come l’audit e il logging e altri ancora di processo, ovvero il Quality Management, il Risk Management e il Conformity Assessment.

Alla prima Richiesta di maggio 2023 seguirà una versione aggiornata, probabilmente entro la fine di novembre, che conterrà alcuni elementi relativi alla General Purpose AI, ChatGPT tra tutti.

Le sfide della normazione nel settore dipendono soprattutto dal fatto che l’Intelligenza Artificiale è complessa da normare in maniera orizzontale, ovvero è complesso trovare dei requisiti orizzontali che si adattino a qualunque sistema di Intelligenza Artificiale e in ogni settore.

Una parte centrale dell’Osservatorio Accredia riguarda tre Proof of Concept, realizzati in ambito medico e nel settore della Pubblica Amministrazione. Come si sono svolti i test e quali potenzialità hanno mostrato per il ruolo dell’accreditamento?

Abbiamo testato soprattutto due norme. La prima è la ISO/IEC TR 24027 per la gestione dei bias all’interno del contesto dell’Automated Decision Making, fondamentalmente per sistemi di supporto alla decisione medica. E’ precisamente un Technical Report, che non include elementi normativi in senso stretto, ma fornisce una guida allo sviluppatore di sistemi di Intelligenza Artificiale, per assicurare che non ci siano unwanted bias all’interno del proprio dataset o che non vengano poi perpetrati dal modello.

La norma è stata testata in due contesti simili in ambito medicale: uno per la detection del melanoma tramite un’applicazione sul telefono, con un prodotto B2C utilizzato da utenti non esperti, e l’altro per la stratificazione di alcune malattie cerebrali, tramite un prodotto B2B utilizzato dai professionisti medici. Si è visto che la norma può essere molto efficace nel guidare gli sviluppatori nella mitigazione del bias e nel fornire dei controlli tecnici e oggettivi, molto chiari anche in caso di valutazione della conformità.

Il secondo Proof of Concept riguarda invece la norma ISO 42001 sul Quality Management all’interno delle organizzazioni, che siano provider o deployer di sistemi di Intelligenza Artificiale. L’applicazione è stata simulata in collaborazione con INAIL, quindi all’interno di una grande organizzazione pubblica, complessa e stratificata, che implementa alcuni sistemi di Intelligenza Artificiale.

In conclusione, abbiamo rilevato come dei controlli oggettivi siano estremamente importanti per verificare che la norma tecnica sia applicata in maniera corretta, con le relative implicazioni per l’accreditamento e la certificazione. In alcuni casi questi controlli oggettivi esistono, mentre in altri non sono così precisi per poter essere verificati con certezza.

Infine, ritorniamo al problema precedente che è quello della verticalità dei sistemi di Intelligenza Artificiale e della specificità settoriale che alcuni requisiti pretenderebbero. In alcuni contesti e settori, infatti, l’applicazione di alcuni requisiti o diviene impossibile o entra in contraddizione con altre best practice relative al settore di appartenenza. Questa è certamente una complessità che dovrà essere sciolta, e risolta, grazie agli standard armonizzati.