À quoi ressemblerait une stratégie de validation de l’IA probabiliste en GMP ? Elle devrait démontrer, proportionnellement au risque pour le patient et le produit, que l’usage prévu est défini, que les modes de défaillance sont compris, que les garde-fous sont efficaces, qu’une supervision humaine responsable est opérationnelle et que les performances restent maîtrisées lors des mises à jour, du réentraînement et de la dérive. Il ne s’agit pas encore d’une exigence finale d’Annex 22 : l’atelier EMA de juin-juillet 2026 visait à recueillir des éléments d’expertise pour élaborer la ligne directrice. Ses questions publiées donnent néanmoins une indication pratique des sujets auxquels les fabricants doivent se préparer.
Pour les responsables AQ, Validation, Data Integrity, IT/OT et production, la réponse utile n’est pas d’attendre un texte final. Elle consiste à séparer l’expérimentation à faible risque de l’utilisation GMP, à établir une gouvernance de l’IA fondée sur les preuves et à vérifier si les contrôles proposés résisteraient lorsque le modèle est erroné, incertain, modifié ou hors du contrôle direct du fabricant.
Ce que l’EMA a indiqué sur Annex 22
L’EMA décrit Annex 22 comme une ligne directrice de l’UE sur l’utilisation de l’intelligence artificielle dans la fabrication des médicaments. Son atelier multipartite de deux jours s’est tenu les 30 juin et 1er juillet 2026. La première journée était une session ouverte consacrée aux avis et preuves d’experts ; la seconde, une session fermée durant laquelle le groupe de rédaction EMA d’Annex 22 a examiné les contributions. L’EMA a indiqué prévoir un rapport reprenant les contributions des experts.
Selon l’EMA, une consultation des parties prenantes de 2025 sur le projet d’Annex 22 a fait apparaître un soutien aux technologies potentiellement habilitantes, telles que l’IA générative et les large language models (LLM), dans la fabrication des médicaments. Le projet indiquait que les modèles dynamiques, adaptatifs et probabilistes, y compris GenAI et LLM, ne devraient pas être utilisés dans des applications GMP critiques. L’EMA examinait encore les implications de la consultation et sollicitait l’avis d’experts sur d’éventuels contrôles et mesures de réduction des risques, y compris des garde-fous, dans une approche fondée sur le risque.
Fait réglementaire : la page publiée de l’atelier pose des questions ; elle n’établit pas elle-même qu’un garde-fou, une méthode de validation ou un modèle de revue humaine particulier est acceptable. Interprétation GuideGxP : ces questions suggèrent qu’un dossier générique de validation de logiciel ou une simple déclaration d’assurance du fournisseur ne suffira probablement pas à justifier l’emploi d’une IA probabiliste dans un processus GMP à haut risque.
Pourquoi l’IA probabiliste modifie la validation
La validation traditionnelle des systèmes informatisés GMP vise généralement à démontrer qu’un système spécifié fonctionne de manière cohérente pour son usage prévu. L’IA probabiliste introduit une difficulté différente : un même prompt ou contexte d’entrée peut ne pas produire systématiquement les mêmes sorties, et un modèle peut générer un contenu plausible mais incorrect. Pour les systèmes adaptatifs, le comportement peut aussi évoluer après réentraînement, mise à jour du modèle ou dérive des données.
Cela ne rend pas toute IA inutilisable. Cela impose une allégation de validation précise. Un fabricant ne devrait pas chercher à valider un modèle comme universellement « exact » ou « sûr ». Il devrait plutôt valider un cas d’usage maîtrisé, ses limites d’entrée, ses sorties autorisées, les droits de décision conservés par les personnes et les contrôles techniques et procéduraux qui préviennent ou détectent les résultats inacceptables.
Les questions de l’EMA relient directement ce point aux conséquences GMP : hallucinations, recommandations incorrectes, données fabriquées, escalade des incidents, Data Integrity, maîtrise des procédés, auditabilité, traçabilité, cybersécurité, infrastructure externalisée et limites de faisabilité des mesures de réduction du risque. Il s’agit d’un problème de système global, et non seulement de performance du modèle.
Une stratégie pratique de validation de l’IA utilisée en GMP
1. Définir l’usage prévu et l’usage interdit
Commencez par une déclaration d’usage prévu rédigée de manière restreinte. Elle doit identifier le procédé GMP, les utilisateurs, les entrées, sorties, interfaces, la décision soutenue et le degré maximal d’automatisation. Il est tout aussi important de préciser ce que l’IA ne doit pas faire.
Un outil qui prépare une synthèse d’enquête de déviation pour revue AQ n’est pas le même cas d’usage qu’un outil qui détermine la cause racine, approuve une décision de disposition de lot ou modifie un paramètre de maîtrise du procédé. Ces derniers cas peuvent avoir un impact plus élevé, une détectabilité moindre des défauts et une tolérance beaucoup plus faible à l’incertitude résiduelle.
2. Évaluer les risques sur tout le cycle de vie
L’EMA demande explicitement comment la gestion des risques qualité (QRM) doit s’appliquer tout au long du cycle de vie des modèles d’IA dans les domaines GMP à haut risque, notamment lorsque l’impact sur le patient est élevé et la détectabilité des défauts faible. L’évaluation des risques doit donc aller au-delà d’une analyse ponctuelle de mise en œuvre.
| Étape du cycle de vie | Questions à traiter | Éléments à conserver |
|---|---|---|
| Conception et sélection | Quelle tâche est soutenue ? Quelles erreurs sont prévisibles ? | Usage prévu, évaluation des risques, évaluation du fournisseur, architecture |
| Mise en œuvre | Les entrées et sorties sont-elles maîtrisées ? Le système accède-t-il à des enregistrements GMP ou exécute-t-il des actions ? | Spécification de configuration, tests d’interface, contrôle des accès |
| Validation | Le système et ses garde-fous peuvent-ils prévenir ou détecter des sorties inacceptables ? | Protocoles, jeu de test de sollicitation, tests de stress, analyse des défaillances |
| Exploitation | Qui revoit les sorties et escalade les exceptions ? | SOP, formation, pistes d’audit, enregistrements de revue, déviations |
| Changement et surveillance | Comment maîtriser mises à jour, réentraînement, dérive et changements fournisseur ? | Contrôle des changements, tendances, revue périodique, justification de revalidation |
3. Considérer les garde-fous comme des contrôles exigeant des preuves
L’EMA demande dans quelle mesure les garde-fous peuvent prévenir, détecter ou contenir les hallucinations, recommandations incorrectes et données fabriquées, et quelles preuves justifieraient de s’y fier. Un garde-fou n’est pas validé du seul fait qu’il existe dans une démonstration produit ou une documentation fournisseur.
Testez-le dans des conditions de défaillance réalistes : documents sources ambigus, dossiers incomplets, informations contradictoires, demandes interdites, entrées adversariales, volume inattendu, dépendances indisponibles et faiblesses connues du modèle. Déterminez le comportement attendu lorsqu’une réponse fiable n’est pas possible. Une issue sûre peut être le refus, l’orientation vers un relecteur qualifié ou l’arrêt d’une action automatisée en aval.
Les critères d’acceptation doivent être reliés au risque GMP. Lorsqu’une sortie incorrecte peut influencer une décision critique, le système ne doit pas dépendre de la détection de chaque erreur par l’utilisateur. La conception des contrôles doit rendre la défaillance détectable et contenable avant tout impact GMP.
4. Rendre la supervision humaine précise et responsable
La formule « human in the loop » ne constitue pas, à elle seule, une stratégie de contrôle. L’EMA demande quel niveau et quelle forme de supervision restent nécessaires après mise en place des garde-fous, et si cette supervision garantit exactitude, traçabilité et responsabilité.
Une conception défendable identifie le rôle responsable de la revue, les informations nécessaires pour la rendre pertinente, le délai de réponse admissible, les circonstances imposant une escalade et l’enregistrement créé par la décision. Les relecteurs doivent avoir accès aux données sources pertinentes et pouvoir distinguer le contenu généré par l’IA des preuves vérifiées. Leur formation doit couvrir les limites de l’outil, et non seulement ses étapes d’utilisation.
5. Maîtriser l’évolution du modèle et la chaîne d’approvisionnement
Les questions de l’atelier EMA mentionnent explicitement les mises à jour, le réentraînement et la dérive, ainsi que les chaînes d’approvisionnement d’IA dans le cloud où l’infrastructure des garde-fous est hors du contrôle direct du fabricant. Ce ne sont pas des sujets IT périphériques : ils déterminent si l’état validé peut être maintenu.
Les fabricants doivent définir les changements nécessitant une évaluation avant mise en œuvre : version du modèle de base, prompt ou orchestration, source de retrieval, garde-fou, infrastructure, permissions d’accès et interfaces nouvelles ou modifiées. Lorsqu’un fournisseur ne peut assurer une notification suffisante, une visibilité du contrôle des changements ou une capacité d’audit, cette limite doit influencer l’usage prévu et la décision de risque.
Checklist opérationnelle pour les équipes GMP
- Classer chaque cas d’usage d’IA selon l’impact GMP, la détectabilité de l’erreur et le degré d’autonomie.
- Rédiger l’usage prévu et les limites explicites d’usage interdit avant configuration ou test.
- Cartographier les flux de données : sources, prompts, sorties, pistes d’audit, conservation et permissions d’accès.
- Identifier les modes de défaillance : hallucination, données fabriquées, recommandation incorrecte, dérive et changement non autorisé.
- Définir les garde-fous et tester leur efficacité dans des scénarios normaux, limites et de défaillance.
- Documenter le comportement du système lorsqu’il est incertain, indisponible ou hors de ses conditions d’exploitation validées.
- Attribuer les rôles de revue humaine, les droits de décision et les voies d’escalade.
- Placer les modifications de modèle, configuration, source de connaissances et fournisseur sous contrôle formel des changements.
- Établir une surveillance continue, une revue périodique et des critères de suspension ou de retrait.
Ce qu’il ne faut pas encore conclure
Il serait prématuré d’affirmer que l’EMA a autorisé GenAI ou les LLM pour les applications GMP critiques, ou qu’Annex 22 les permettra assurément si des garde-fous sont utilisés. La page officielle de l’atelier indique que l’EMA examine les implications de la consultation et recueille des contributions d’experts sur des sauvegardes et réductions possibles des risques. Les attentes, le périmètre et le libellé finaux ne doivent pas être déduits des seules questions de consultation et d’atelier.
L’hypothèse prudente est plus limitée : lorsqu’un fabricant propose une IA adaptative, dynamique ou probabiliste pour une finalité pertinente en GMP, il doit s’attendre à un examen des preuves de validation, de la gestion du cycle de vie, de la responsabilité humaine, de la Data Integrity, de la traçabilité, de la maîtrise du fournisseur et du point à partir duquel le risque résiduel rend le cas d’usage inadapté.
FAQ
Annex 22 est-il une ligne directrice GMP finale ?
La page de l’événement EMA décrit l’élaboration de la ligne directrice et un atelier d’experts. Elle ne présente ni texte final d’Annex 22 ni exigences finalisées.
GenAI peut-elle être utilisée aujourd’hui en GMP ?
La page de l’atelier ne donne pas de réponse générale par oui ou par non. Ses questions portent sur la possibilité d’intégrer des modèles dynamiques, adaptatifs et probabilistes dans des applications GMP, et sur les contrôles nécessaires.
Les garde-fous suffisent-ils pour un cas d’usage GMP critique ?
L’EMA demande explicitement si les garde-fous traitent suffisamment les problèmes à haut risque et si certaines décisions critiques restent inadaptées malgré les garde-fous et la supervision. Le fabricant doit donc démontrer l’efficacité pour son cas d’usage particulier.
Sources
- European Medicines Agency: Good manufacturing practice: Multistakeholder workshop on expert contributions to artificial intelligence guidance development (Annex 22)
- Commission européenne : EudraLex Volume 4 — EU Guidelines for Good Manufacturing Practice
Pour recevoir une analyse GMP pratique, inscrivez-vous à The Pragmatic GMP.
