L’intelligence artificielle dans la fabrication GMP passe d’une discussion technologique à une question de système qualité. Les travaux de l’EMA sur la proposition d’Annexe 22 sont particulièrement importants, car ils abordent directement la catégorie difficile : les modèles dynamiques, adaptatifs et probabilistes, y compris l’IA générative et les grands modèles de langage (LLM), utilisés dans des applications GMP.
La position actuelle essentielle est simple : l’Annexe 22 est toujours en cours d’élaboration. Elle ne doit pas être considérée comme une ligne directrice GMP de l’UE définitive ni comme un nouvel ensemble d’exigences contraignantes. L’EMA a organisé un atelier multipartite de deux jours les 30 juin et 1er juillet 2026 afin de recueillir l’avis et les preuves d’experts pour les orientations, et a indiqué attendre de cet atelier un rapport intégrant les contributions d’experts. La tâche pratique des fabricants consiste donc à se préparer aux questions actuellement examinées, sans prétendre que la future Annexe impose des contrôles qui n’ont pas encore été publiés.
Ce que l’EMA a mis sur la table
L’EMA rapporte que sa consultation des parties prenantes de 2025 sur le projet d’Annexe 22 a montré un soutien à l’habilitation potentielle de technologies telles que la GenAI et les LLM dans la fabrication de médicaments. Le projet antérieur indiquait que les modèles dynamiques, adaptatifs et probabilistes ne devraient pas être utilisés dans des applications GMP critiques. L’EMA examine désormais les implications des retours de consultation et a sollicité des contributions d’experts sur les mesures de contrôle et d’atténuation fondées sur le risque, y compris les garde-fous.
Il s’agit d’une évolution réglementaire importante. Cela ne signifie pas que ces modèles sont désormais acceptés pour un usage GMP critique. Cela signifie que l’EMA étudie si, et dans le cadre de quelle stratégie de contrôle, certaines de ces technologies pourraient être prises en compte. Cette distinction importe pour les décisions d’investissement, la planification de la validation et la communication interne.
Les questions de l’atelier de l’EMA portent sur six domaines liés :
- les voies réglementaires pour l’IA adaptative et probabiliste en GMP ;
- la fiabilité technique, y compris les hallucinations, recommandations incorrectes et données fabriquées ;
- la supervision humaine et la responsabilité ;
- la validation et la gestion du cycle de vie, y compris les mises à jour, le réentraînement et la dérive ;
- les limites stratégiques de risque et de conformité pour les utilisations GMP à haut risque ; et
- la cybersécurité et les activités externalisées, y compris les chaînes d’approvisionnement d’IA fondées sur le cloud.
Pour les responsables AQ, validation, intégrité des données et IT/OT, le message n’est pas d’attendre un titre de document. Il est de rendre visibles l’usage prévu, les modes de défaillance, les preuves et les droits décisionnels avant qu’un outil d’IA n’entre dans un workflow GMP.
Le défi central : valider lorsque la sortie est probabiliste
La validation traditionnelle des systèmes informatisés repose souvent sur des entrées prévisibles, un traitement prédéfini et des sorties attendues. L’IA probabiliste modifie la nature du dossier d’assurance. Le même prompt ou contexte opérationnel peut ne pas générer de façon fiable la même sortie ; un modèle peut évoluer à la suite de mises à jour du fournisseur, de réentraînement ou de son interaction avec des données changeantes ; et une sortie apparemment plausible peut néanmoins être erronée.
L’EMA demande précisément quel paradigme de validation devrait s’appliquer aux modèles adaptatifs et ce qu’une approche de gestion des risques qualité devrait prendre en compte sur l’ensemble du cycle de vie, particulièrement dans les domaines GMP à haut risque où les défaillances peuvent être difficilement détectables mais avoir un impact élevé sur le patient. Elle demande également quelles données de validation, quels résultats de tests de résistance et quelles analyses de défaillances justifieraient de s’appuyer sur des garde-fous comme mesure d’atténuation.
Fait réglementaire : ce sont des questions soumises à l’examen d’experts, et non des exigences de validation finales prescrites.
Recommandation GuideGxP : envisager la validation comme un dossier d’assurance fondé sur les preuves plutôt que comme un protocole de test ponctuel. Ce dossier doit démontrer que l’usage prévu du système est maîtrisé, que ses limites sont comprises, que les sorties inacceptables sont empêchées ou détectées avant tout impact GMP, et que le système reste dans ses conditions de fonctionnement approuvées au fil du temps.
Une stratégie pratique de validation
Une stratégie proportionnée peut être organisée selon la séquence suivante :
- Définir la frontière de décision GMP. Indiquer précisément si l’IA rédige des informations, recommande une action, priorise le travail de revue, détecte une anomalie, contrôle un procédé ou prend une décision. Identifier qui peut accepter, rejeter ou outrepasser la sortie.
- Classer l’impact et la détectabilité. Évaluer les conséquences potentielles d’une défaillance pour le patient, la qualité du produit, l’intégrité des données et la conformité. Accorder une attention particulière aux erreurs difficiles à identifier par un relecteur.
- Spécifier les conditions d’utilisation approuvées. Définir les entrées autorisées, données sources, utilisateurs, lieux, interfaces, formats de sortie, cas d’utilisation interdits et déclencheurs d’escalade. Un système ne peut être validé de manière pertinente si les limites de son utilisation sont vagues.
- Créer un jeu de tests représentatif. Tester les cas normaux, cas limites, enregistrements incomplets, preuves contradictoires, entrées malveillantes ou anormales, instructions ambiguës et schémas de défaillance connus. Conserver la justification de la couverture et les critères d’acceptation.
- Tester la stratégie de contrôle, pas seulement le modèle. Évaluer les garde-fous, restrictions de workflow, interfaces de revue, pistes d’audit, alarmes, contrôles d’accès et mécanismes d’arrêt/d’escalade en tant que système intégré.
- Établir les preuves sur le cycle de vie. Définir comment seront évalués la performance, les incidents, les changements du modèle, les indicateurs de dérive et les changements de fournisseur. Prédéfinir les situations nécessitant une revalidation, une réévaluation ou un retrait d’utilisation.
Les garde-fous sont des contrôles, pas un substitut à la responsabilité
L’EMA demande si les garde-fous disponibles peuvent prévenir, détecter ou contenir de manière fiable les hallucinations, recommandations incorrectes et données fabriquées dans les workflows GMP. Elle demande également ce qui se produit lorsque les garde-fous échouent ou détectent une incertitude, et quelle supervision humaine dans la boucle reste nécessaire une fois ces contrôles mis en œuvre.
C’est l’accent approprié. Un garde-fou peut réduire un risque défini, par exemple en limitant un modèle à un contenu source approuvé ou en bloquant certains types de sortie. Il ne démontre pas automatiquement qu’une sortie est exacte, complète, attribuable ou adaptée à une prise de décision GMP. Il ne dispense pas non plus d’attribuer la responsabilité de la décision et du maintien de l’état de maîtrise du système d’IA.
Recommandation GuideGxP : chaque garde-fou doit avoir un responsable, un objectif documenté, un comportement défini en cas de défaillance et des critères d’acceptation vérifiables. Le système qualité doit répondre à quatre questions pratiques :
- Quel risque ce garde-fou atténue-t-il ?
- Quelles preuves montrent son efficacité dans des conditions attendues et défavorables ?
- Comment sa dégradation ou sa défaillance sera-t-elle détectée ?
- Qui agit, dans quel délai et avec quelle autorité lorsqu’il échoue ou que la sortie est incertaine ?
Pour les cas d’utilisation à risque plus élevé, la supervision humaine doit être conçue, et non présumée. Un relecteur nominal qui n’a pas accès aux sources, ne dispose pas d’un temps suffisant, de l’expertise pertinente ou de l’autorité nécessaire pour rejeter la sortie n’est pas un contrôle efficace. La revue doit être réelle, traçable et proportionnée au risque d’erreur non détectée.
L’intégrité des données et la traçabilité doivent être conçues dans le workflow
L’EMA identifie la gouvernance des données, l’évaluation des modèles, la transparence, la responsabilité et la supervision humaine comme principes clés de la discussion sur l’Annexe 22. Elle demande aussi si les approches de garde-fous traitent suffisamment l’intégrité des données, la maîtrise des procédés, l’auditabilité et la traçabilité lorsque l’IA générative peut influencer ou automatiser la prise de décision.
En pratique, la gouvernance de l’IA doit préserver la chaîne de preuves autour d’une sortie pertinente pour les GMP. L’organisation doit pouvoir reconstituer ce qui a été soumis au système, quelle configuration approuvée et quelle version de modèle ont été utilisées, quelles informations étaient disponibles pour le modèle, quelle sortie a été générée, quels contrôles ont été appliqués, qui l’a revue et quelle action finale a été prise.
Recommandation GuideGxP : ne pas considérer une interface d’IA comme un outil de productivité isolé. La cartographier comme une partie du procédé GMP et du flux de données. Cela révèle où les enregistrements sont créés, transformés, conservés, transférés, revus et approuvés, ainsi que les points où la piste d’audit ou la chaîne de responsabilité peut se rompre.
La gestion des changements doit couvrir la chaîne d’approvisionnement du modèle
Les questions de l’EMA incluent explicitement l’évolution du modèle par mises à jour, réentraînement et dérive, ainsi que les risques lorsque l’infrastructure de garde-fous se situe hors du contrôle direct du fabricant. L’Agence demande comment préserver la qualification du fournisseur, la visibilité sur la gestion des changements et la capacité d’audit indépendant dans les chaînes d’approvisionnement d’IA basées sur le cloud.
Cette attention est déterminante pour les modèles hébergés par des tiers. Une mise à jour courante du modèle par un fournisseur peut modifier la qualité des sorties, le comportement, les caractéristiques de sécurité ou l’efficacité d’un garde-fou précédemment validé. Pour un usage GMP, la question pertinente n’est pas seulement de savoir si un fournisseur est réputé. Elle est de savoir si le fabricant dispose de connaissances suffisantes, d’un levier contractuel, de contrôles techniques et de preuves lui permettant de maintenir l’usage prévu dans un état validé.
| Domaine de contrôle | Question pratique GuideGxP |
|---|---|
| Supervision du fournisseur | L’organisation peut-elle comprendre et évaluer les modifications pertinentes du modèle, de l’infrastructure et des garde-fous avant qu’elles n’affectent l’usage GMP ? |
| Maîtrise de la configuration | Peut-elle prouver quel modèle, quelle version, quels paramètres, quelles sources de connaissances et quelles règles de workflow ont généré une sortie donnée ? |
| Gestion des changements | Les changements font-ils l’objet d’un triage selon leur impact GMP, avec vérification ou revalidation définie avant mise en production ? |
| Surveillance opérationnelle | Les signaux de performance, incidents, événements d’incertitude et contournements par les utilisateurs sont-ils revus pour détecter une perte de maîtrise émergente ? |
| Réversibilité et continuité | Les enregistrements GMP, les preuves et les capacités critiques de workflow peuvent-ils être conservés ou transférés si le service change ou devient indisponible ? |
Ce que la direction générale doit décider dès maintenant
La direction générale doit éviter deux extrêmes peu utiles : interdire toute IA sans examiner le cas d’utilisation, ou autoriser une expérimentation étendue qui devient discrètement une dépendance opérationnelle. Une approche par portefeuille est plus défendable.
Commencez par inventorier l’IA déjà utilisée ou proposée dans la fabrication, les laboratoires, les opérations qualité, l’ingénierie, la chaîne d’approvisionnement et les fonctions de l’entreprise qui soutiennent les activités GMP. Distinguez l’assistance de rédaction ou administrative à faible impact des systèmes qui influencent les enregistrements GMP, les investigations, les décisions de libération, la maîtrise des procédés ou les conclusions relatives à la qualité du produit. Exigez ensuite une évaluation des risques dont le responsable est clairement désigné et une voie d’approbation avant qu’un cas d’utilisation n’entre dans une activité pertinente pour les GMP.
La discussion de l’EMA sur l’Annexe 22 pourrait à terme clarifier ce à quoi pourrait ressembler une prise en compte fondée sur le risque des modèles adaptatifs, probabilistes et génératifs. Jusqu’à la disponibilité d’orientations définitives, les organisations capables de démontrer une définition rigoureuse de l’usage prévu, des preuves transparentes, une supervision efficace et une gestion maîtrisée du cycle de vie seront les mieux placées pour les évaluer et les adopter de manière responsable.
