PIC/S ha pubblicato “Draft guidelines: New annex 22 - Artificial intelligence” nella sezione PIC/S GMP Guide delle proprie pubblicazioni. Il proposto Annex 22: Artificial Intelligence è un nuovo Annex, non la revisione di uno esistente. Rappresenta pertanto un importante sviluppo regolatorio per le organizzazioni che utilizzano, acquistano o valutano sistemi computerizzati abilitati da AI/ML nelle operazioni GMP.
Il documento rimane una bozza. Non deve essere considerato un requisito GMP definitivo e autonomamente vincolante, né prova di una tempistica di implementazione confermata. La sua rilevanza pratica risiede nel livello di specificità apportato alla gestione dei modelli AI impiegati in applicazioni GMP critiche, in particolare quando gli output possono incidere direttamente sulla sicurezza del paziente, sulla qualità del prodotto o sull’integrità dei dati.
La bozza è esplicitamente presentata come guida aggiuntiva all’Annex 11 per i sistemi computerizzati nei quali sono integrati modelli AI. Per i responsabili senior di qualità, convalida, IT e produzione, il messaggio centrale è chiaro: la garanzia relativa all’AI viene proposta come qualcosa di più della CSV convenzionale applicata a un nuovo algoritmo. Richiede un controllo dimostrabile di intended use, dati, prestazioni del modello, ruoli umani e cambiamenti operativi lungo l’intero ciclo di vita del modello.
Cosa copre la bozza PIC/S
L’ambito proposto copre sistemi computerizzati utilizzati nella produzione di medicinali e sostanze attive nei quali modelli AI sono usati in applicazioni critiche con impatto diretto su sicurezza del paziente, qualità del prodotto o integrità dei dati. Gli esempi indicati includono la previsione o la classificazione di dati.
L’attenzione è rivolta a modelli di machine learning la cui funzionalità è ottenuta mediante addestramento con dati, anziché tramite programmazione esplicita. Un modello può comprendere più modelli individuali che automatizzano specifiche fasi di processo GMP. La bozza può quindi essere rilevante per un’ampia gamma di casi d’uso, inclusi ispezione visiva automatizzata, classificazione di dati di produzione o di laboratorio e strumenti predittivi integrati nei processi decisionali GMP.
Tuttavia, l’ambito è volutamente limitato. La bozza si applica a modelli statici, che durante l’uso non adattano le proprie prestazioni incorporando nuovi dati, e a modelli con output deterministico. I modelli dinamici che apprendono continuamente e automaticamente durante l’uso, e i modelli probabilistici che possono fornire output diversi a fronte di input identici, non sono coperti e sono dichiarati non idonei per applicazioni GMP critiche.
Il documento dichiara inoltre che non si applica all’AI generativa e ai Large Language Models (LLM), e che tali modelli non dovrebbero essere usati in applicazioni GMP critiche. Qualora siano utilizzati in applicazioni GMP non critiche senza impatto diretto su sicurezza del paziente, qualità del prodotto o integrità dei dati, personale adeguatamente qualificato e formato dovrebbe rimanere responsabile di decidere se gli output sono idonei all’intended use. Si tratta di un’aspettativa human-in-the-loop (HITL), non di un’approvazione generalizzata dell’AI generativa nel lavoro GMP.
Il modello di controllo proposto: intended use prima della tecnologia
Annex 22 parte dal principio GMP secondo cui l’intended use deve essere compreso e definito. La guida proposta richiede una descrizione dettagliata del compito che il modello supporta o automatizza, basata su una conoscenza approfondita del processo nel quale è integrato. Richiede inoltre una caratterizzazione completa dei dati di input, incluse variazioni comuni e rare, limitazioni e input potenzialmente errati o distorti.
Un esperto di processo (SME) dovrebbe essere responsabile dell’adeguatezza di tale descrizione, che dovrebbe essere documentata e approvata prima dell’inizio dei test di accettazione. Ove pertinente, lo spazio campionario degli input dovrebbe essere suddiviso in sottogruppi. Questi possono riflettere l’esito della decisione, la baseline del sito o dell’apparecchiatura, le caratteristiche del materiale o del prodotto, oppure caratteristiche specifiche del compito, quali tipo e gravità del difetto.
Ciò è significativo perché sposta la discussione oltre affermazioni generiche secondo cui un algoritmo è “accurato”. L’approccio proposto richiede alle organizzazioni di definire per quale processo, popolazione, condizioni e casi limite il modello sia accettabile. Un indicatore complessivo di accuratezza favorevole può essere inadeguato se le prestazioni sono scarse in sottogruppi critici.
Evidenze di convalida: metriche, criteri di accettazione e dati di test indipendenti
La bozza propone metriche dipendenti dal caso e allineate all’intended use. Per un modello di classificazione, gli esempi includono matrice di confusione, sensibilità, specificità, accuratezza, precisione e punteggio F1. I criteri di accettazione dovrebbero essere stabiliti e approvati prima dei test, assegnandone la responsabilità a uno SME di processo. I criteri possono differire tra i sottogruppi pertinenti.
Un principio proposto particolarmente importante è che i criteri di accettazione del modello dovrebbero essere almeno pari alle prestazioni del processo che esso sostituisce. Questo rende indispensabile una solida baseline: un’organizzazione dovrebbe comprendere le prestazioni del processo manuale o automatizzato esistente prima di affermare che un modello AI costituisce una sostituzione accettabile.
I requisiti proposti per i dati di test sono dettagliati. I dati di test dovrebbero rappresentare, e ampliare, l’intero spazio campionario dell’intended use; essere stratificati; includere sottogruppi pertinenti; e riflettere limitazioni, complessità e variazioni comuni e rare. La dimensione del dataset dovrebbe consentire il calcolo delle metriche di test con adeguata confidenza statistica. L’etichettatura dovrebbe essere verificata mediante un processo che assicuri un grado molto elevato di correttezza, potenzialmente utilizzando esperti indipendenti, apparecchiature convalidate o test di laboratorio.
Anche l’indipendenza dei dati di test costituisce un controllo rilevante. La bozza propone misure tecniche e/o procedurali per assicurare che i dati utilizzati per il test finale non siano stati usati durante sviluppo, addestramento o convalida del modello. Quando un set di test è separato prima dell’addestramento, il personale coinvolto nello sviluppo e nell’addestramento non dovrebbe avervi accesso. I dati di test dovrebbero essere protetti mediante controllo degli accessi e funzionalità di audit trail, senza copie al di fuori del repository controllato. La guida tratta inoltre l’indipendenza del personale e identifica il principio dei quattro occhi come possibile misura di mitigazione quando non sia possibile mantenere una separazione completa.
Spiegabilità, confidenza e funzionamento
Per i modelli utilizzati in applicazioni GMP critiche, la bozza propone l’acquisizione e la registrazione delle caratteristiche che hanno contribuito a una classificazione o decisione durante i test. Ove applicabile, tecniche di attribuzione delle caratteristiche quali valori SHAP o LIME, e strumenti visivi quali heat map, dovrebbero evidenziare i fattori chiave che contribuiscono a un esito. Il riesame di tali caratteristiche dovrebbe far parte dell’approvazione dei risultati dei test, in base al rischio.
La proposta affronta anche i punteggi e le soglie di confidenza. Ove applicabile, i modelli di previsione o classificazione dovrebbero registrare i punteggi di confidenza. Un modello dovrebbe essere configurato affinché produca un esito solo quando la confidenza sia adeguata; in caso di confidenza molto bassa, un esito “non deciso” può essere più appropriato di una previsione o classificazione inaffidabile.
Dopo la messa in esercizio, il modello, il sistema computerizzato e il processo supportato o automatizzato dovrebbero essere soggetti a controllo delle modifiche/change control. Le modifiche al modello, al sistema, al processo o agli oggetti fisici di input pertinenti dovrebbero essere valutate ai fini di un nuovo test. La bozza propone inoltre controllo della configurazione, rilevamento delle modifiche non autorizzate, monitoraggio regolare delle prestazioni e monitoraggio volto a verificare che i dati di input rimangano entro lo spazio campionario e l’intended use definiti. Quest’ultimo punto è direttamente rilevante per il data drift e per cambiamenti ambientali o di processo, quali condizioni di illuminazione modificate in un’applicazione di ispezione.
Raccomandazione GuideGxP: prepararsi ora, senza sopravvalutare la bozza
Le organizzazioni non devono attendere un Annex 22 definitivo per stabilire una base difendibile di governance dell’AI. L’azione appropriata non consiste nel classificare retrospettivamente ogni strumento analitico avanzato come AI, né nell’introdurre una “policy AI” non strutturata. Occorre invece eseguire una valutazione mirata e basata sul rischio dei sistemi che utilizzano modelli addestrati e che possono influenzare decisioni GMP o dati critici.
| Area di preparazione | Raccomandazione pratica GuideGxP |
|---|---|
| Inventario dei casi d’uso | Identificare i modelli AI/ML nei processi GMP, incluse funzionalità fornite da fornitori, e classificare se i relativi output hanno un impatto diretto su sicurezza del paziente, qualità del prodotto o integrità dei dati. |
| Intended use | Stabilire dichiarazioni di intended use approvate, limiti decisionali, spazio campionario degli input, limitazioni note, modalità di guasto e SME di processo responsabili. |
| Governance dei dati | Mappare i dataset di addestramento, convalida e test; preservare provenienza, razionale dell’etichettatura, controllo degli accessi, audit trail, indipendenza e conservazione. |
| Strategia di convalida | Definire metriche appropriate al rischio e criteri di accettazione per sottogruppo prima del test finale; documentare la baseline delle prestazioni per ogni processo sostituito. |
| Controllo operativo | Assoggettare a controllo delle modifiche/change control il modello, la relativa configurazione, le interfacce e il processo associato; definire il monitoraggio di prestazioni, drift e confini degli input. |
| Supervisione umana | Specificare la responsabilità decisionale dell’operatore e le evidenze di formazione e prestazione coerente ovunque sia utilizzato HITL. |
QA dovrebbe assicurare che la responsabilità non sia frammentata tra data science, IT/CSV, produzione e fornitori. La bozza richiede una stretta cooperazione tra le parti pertinenti durante selezione dell’algoritmo, addestramento, convalida, test e funzionamento, insieme a qualifiche appropriate, responsabilità definite e accessi idonei. L’utilizzatore regolamentato dovrebbe disporre della documentazione pertinente e riesaminarla anche quando addestramento, convalida o test siano eseguiti da un fornitore o prestatore di servizi.
Messaggio chiave: il proposto Annex 22 è un quadro mirato per dimostrare che un modello AI/ML critico è idoneo al proprio uso GMP definito, testato in modo indipendente, spiegabile in misura appropriata, controllato durante il funzionamento e monitorato rispetto al drift.
Cosa monitorare
La pagina delle pubblicazioni PIC/S presenta attualmente “Draft guidelines: New annex 22 - Artificial intelligence” come documento in bozza nella PIC/S GMP Guide. Le organizzazioni dovrebbero monitorare le comunicazioni PIC/S per consultazione, revisione, finalizzazione ed eventuali informazioni di implementazione correlate. Fino ad allora, le attività interne di preparazione dovrebbero essere gestite attraverso i quadri esistenti di PQS, QRM, gestione dei fornitori, CSV, integrità dei dati e controllo delle modifiche, distinguendo chiaramente gli obblighi GMP attuali dalle misure adottate in previsione della bozza.
