Come potrebbe configurarsi una strategia di convalida per l’AI probabilistica in GMP? Dovrebbe dimostrare, in proporzione al rischio per paziente e prodotto, che l’uso previsto è definito, le modalità di guasto del sistema sono comprese, le salvaguardie sono dimostrabilmente efficaci, la supervisione umana responsabile è praticabile e le prestazioni restano sotto controllo durante aggiornamenti, riaddestramento e deriva. Non si tratta ancora di un requisito definitivo di Annex 22: il workshop EMA di giugno-luglio 2026 era concepito per raccogliere evidenze di esperti a supporto dello sviluppo della linea guida. Le domande pubblicate offrono tuttavia un’indicazione pratica delle questioni che i produttori dovrebbero essere pronti ad affrontare.
Per responsabili QA, Convalida, Data Integrity, IT/OT e produzione, la risposta più utile non è attendere un testo finale. È separare la sperimentazione a basso rischio dall’uso GMP, istituire un modello di governance dell’AI fondato sulle evidenze e verificare se i controlli proposti reggerebbero quando il modello è errato, incerto, modificato o al di fuori del controllo diretto del produttore.
Cosa ha dichiarato EMA su Annex 22
EMA descrive Annex 22 come una linea guida UE sull’uso dell’intelligenza artificiale nella produzione di medicinali. Il workshop multistakeholder di due giorni si è svolto il 30 giugno e il 1° luglio 2026. La prima giornata è stata una sessione aperta per opinioni ed evidenze di esperti; la seconda una sessione chiusa nella quale il gruppo EMA che redige Annex 22 ha esaminato i contributi. EMA ha dichiarato di prevedere un rapporto con gli apporti degli esperti.
Secondo EMA, una consultazione degli stakeholder del 2025 sulla bozza di Annex 22 aveva indicato sostegno a tecnologie potenzialmente abilitanti, quali AI generativa e large language models (LLM), nella produzione di medicinali. La bozza indicava che modelli dinamici, adattivi e probabilistici, inclusi GenAI e LLM, non dovrebbero essere utilizzati in applicazioni GMP critiche. EMA ha affermato che stava ancora valutando le implicazioni della consultazione e richiedeva contributi esperti su possibili controlli e mitigazioni del rischio, incluse le guardrail, nell’ambito di un approccio proposto basato sul rischio.
Fatto regolatorio: la pagina pubblicata per il workshop pone domande; non stabilisce di per sé che una determinata guardrail, metodologia di convalida o modello di riesame umano sia accettabile. Interpretazione GuideGxP: le domande rendono chiaro che un pacchetto generico di convalida software o una sola dichiarazione di garanzia del fornitore difficilmente costituiranno una giustificazione sufficiente per impiegare AI probabilistica in un flusso di lavoro GMP ad alto rischio.
Perché l’AI probabilistica cambia il confronto sulla convalida
La convalida tradizionale dei sistemi computerizzati GMP si concentra generalmente sulla dimostrazione che un sistema specificato operi in modo coerente per l’uso previsto. L’AI probabilistica aggiunge una diversa sfida operativa: lo stesso prompt o contesto di input non produce necessariamente sempre output identici e un modello può generare contenuti plausibili ma errati. Nei sistemi adattivi, il comportamento può inoltre cambiare dopo riaddestramento, aggiornamenti del modello o deriva dei dati.
Questo non rende inutilizzabile tutta l’AI. Significa che l’affermazione di convalida deve essere precisa. Un produttore non dovrebbe tentare di convalidare un modello AI come universalmente «accurato» o «sicuro». Dovrebbe invece convalidare un caso d’uso controllato, i confini degli input, l’output consentito, i diritti decisionali mantenuti dalle persone e i controlli tecnici e procedurali che prevengono o rilevano esiti inaccettabili.
Le domande EMA collegano direttamente questi aspetti alle conseguenze GMP: allucinazioni, raccomandazioni errate, dati inventati, escalation degli incidenti, Data Integrity, controllo di processo, verificabilità ispettiva, tracciabilità, cybersecurity, infrastruttura esternalizzata e limiti di fattibilità delle mitigazioni. È un problema dell’intero sistema, non soltanto delle prestazioni del modello.
Una strategia pratica di convalida per l’AI utilizzata in GMP
1. Definire l’uso previsto e l’uso vietato
Iniziare con una dichiarazione di uso previsto formulata in modo circoscritto. Dovrebbe identificare processo GMP, popolazione di utenti, input, output, interfacce, decisione supportata e massimo grado di automazione. È altrettanto importante specificare ciò che l’AI non deve fare.
Per esempio, uno strumento AI che redige una sintesi di indagine di deviazione per riesame QA non equivale a uno strumento che determina la causa radice, approva una decisione sulla disposition del lotto o modifica un parametro di controllo di processo. Gli ultimi casi possono avere un impatto sostanzialmente maggiore, minore rilevabilità delle carenze e una tolleranza molto inferiore all’incertezza residua.
2. Eseguire la valutazione del rischio sull’intero ciclo di vita
EMA chiede esplicitamente come la gestione del rischio per la qualità (QRM) debba applicarsi durante tutto il ciclo di vita dei modelli AI nelle aree GMP ad alto rischio, comprese situazioni con elevato impatto sul paziente e bassa rilevabilità delle carenze. La valutazione del rischio deve quindi andare oltre una valutazione una tantum dell’implementazione.
| Fase del ciclo di vita | Domande a cui rispondere | Evidenze da conservare |
|---|---|---|
| Progettazione e selezione | Quale attività è supportata? Perché serve l’AI? Quali errori sono prevedibili? | Uso previsto, valutazione del rischio, valutazione del fornitore, descrizione dell’architettura |
| Implementazione | Gli input sono controllati? Gli output sono vincolati? Il sistema può accedere a registrazioni GMP o eseguire azioni? | Specifica di configurazione, test delle interfacce, evidenze dei controlli di accesso |
| Convalida | Il sistema e le salvaguardie possono rilevare o prevenire output inaccettabili nell’uso previsto? | Protocollo di test, challenge set, stress test, analisi dei guasti, razionale di accettazione |
| Esercizio | Chi riesamina gli output? Come vengono gestite in escalation incertezza, eccezioni e incidenti? | SOP, registrazioni formative, audit trail, registrazioni di riesame, gestione delle deviazioni |
| Modifica e monitoraggio | Come sono valutati e controllati aggiornamenti, riaddestramento, deriva e modifiche del fornitore? | Change control, trend di monitoraggio, riesame periodico, razionale di riconvalida |
3. Considerare le guardrail come controlli che richiedono evidenze
EMA chiede in quale misura le guardrail possano prevenire, rilevare o contenere allucinazioni, raccomandazioni errate e dati inventati, e quali evidenze giustificherebbero farvi affidamento. Una guardrail non è convalidata semplicemente perché compare in una dimostrazione del prodotto o nella documentazione del fornitore.
Testarla in condizioni di guasto realistiche: materiale sorgente ambiguo, registrazioni incomplete, informazioni conflittuali, richieste vietate, input avversari, volume inatteso, dipendenze indisponibili e debolezze note del modello. Stabilire cosa fa quando non può fornire una risposta affidabile. Un esito sicuro può essere il rifiuto, l’instradamento a un riesaminatore qualificato o l’arresto di un’azione automatizzata a valle.
I criteri di accettazione devono essere collegati al rischio GMP. Se un output errato può influenzare una decisione critica, il sistema non deve dipendere dal fatto che un utente noti ogni errore. Il disegno dei controlli deve rendere il guasto rilevabile e contenibile prima che produca impatto GMP.
4. Rendere la supervisione umana specifica e responsabile
«Human in the loop» non è di per sé una strategia di controllo. EMA chiede quale livello e forma di supervisione restino necessari dopo l’implementazione delle guardrail e se tale supervisione assicuri accuratezza, tracciabilità e accountability.
Un disegno difendibile identifica il ruolo nominato responsabile del riesame, le informazioni necessarie perché il riesame sia significativo, il tempo di risposta consentito, le circostanze che richiedono escalation e la registrazione prodotta dalla decisione. I riesaminatori devono accedere ai dati sorgente pertinenti e poter distinguere il contenuto generato dall’AI dalle evidenze verificate. Devono inoltre ricevere formazione sui limiti dello strumento, non solo sulle fasi operative.
5. Costruire il change control attorno all’evoluzione del modello e alle catene di fornitura
Le domande del workshop EMA sollevano specificamente aggiornamenti, riaddestramento e deriva, nonché catene di fornitura AI basate su cloud in cui l’infrastruttura delle guardrail è al di fuori del controllo diretto del produttore. Non sono questioni IT periferiche: determinano se lo stato convalidato possa essere mantenuto.
I produttori dovrebbero definire quali modifiche richiedono valutazione prima dell’implementazione: variazioni della versione del modello di base, del prompt o dell’orchestrazione, delle fonti di retrieval, delle guardrail, dell’infrastruttura, dei permessi di accesso e delle interfacce nuove o modificate. Se un fornitore non può garantire notifica adeguata, visibilità sul change control o capacità di audit, tale limite deve influenzare l’uso previsto e la decisione sul rischio.
Checklist operativa per i team GMP
- Classificare ogni caso d’uso AI proposto per impatto GMP, rilevabilità dell’errore e grado di autonomia.
- Redigere una dichiarazione di uso previsto e confini espliciti di uso vietato prima della configurazione o dei test.
- Mappare i flussi di dati, incluse fonti, prompt, output, audit trail, conservazione e permessi di accesso.
- Identificare le modalità di guasto, incluse allucinazione, dati inventati, raccomandazione errata, deriva e modifica non autorizzata.
- Definire le guardrail e testarne l’efficacia in scenari normali, di confine e di guasto.
- Documentare cosa accade quando il sistema è incerto, indisponibile o fuori dalle condizioni operative convalidate.
- Attribuire ruoli responsabili per il riesame umano, diritti decisionali e percorsi di escalation.
- Sottoporre a change control formale modifiche di modello, configurazione, fonte di conoscenza e fornitore.
- Stabilire monitoraggio continuo, riesame periodico e criteri per sospensione o ritiro.
- Assicurare che la qualifica del fornitore tratti sicurezza, protezione dalla manomissione, verificabilità ispettiva e limiti del controllo esternalizzato.
Cosa non concludere ancora
Sarebbe prematuro affermare che EMA abbia autorizzato GenAI o LLM per applicazioni GMP critiche, oppure che Annex 22 li consentirà sicuramente se si usano guardrail. La pagina ufficiale del workshop afferma che EMA valuta le implicazioni della consultazione e raccoglie contributi esperti su possibili salvaguardie e mitigazioni del rischio. Aspettative, ambito e formulazione finali non devono essere dedotti dalle sole domande della consultazione e del workshop.
L’assunzione prudente di pianificazione è più ristretta: se un produttore propone AI adattiva, dinamica o probabilistica per uno scopo rilevante ai fini GMP, dovrebbe attendersi scrutinio delle evidenze di convalida, della gestione del ciclo di vita, della responsabilità umana, della Data Integrity, della tracciabilità, del controllo del fornitore e del punto in cui il rischio residuo rende il caso d’uso inidoneo.
FAQ
Annex 22 è una linea guida GMP definitiva?
La pagina dell’evento EMA descrive lo sviluppo della linea guida e un workshop di esperti. Non presenta un testo finale di Annex 22 né requisiti finalizzati.
GenAI può essere utilizzata oggi in GMP?
La pagina del workshop non fornisce una risposta generale sì/no. Le sue domande si concentrano su se, e con quali controlli, modelli dinamici, adattivi e probabilistici potrebbero essere accolti nelle applicazioni GMP.
Le guardrail sono sufficienti per un caso d’uso GMP critico?
EMA chiede esplicitamente se le guardrail affrontino sufficientemente i problemi ad alto rischio e se alcune decisioni critiche restino inidonee nonostante guardrail e supervisione. Il produttore deve quindi dimostrare l’efficacia per il proprio caso d’uso specifico, anziché presumere che le guardrail siano sufficienti.
Fonte primaria
Per analisi GMP pratiche nella tua casella di posta, iscriviti a The Pragmatic GMP.
