PIC/S a publié « Draft guidelines: New annex 22 - Artificial intelligence » dans la section PIC/S GMP Guide de ses publications. Le Annex 22: Artificial Intelligence proposé est un nouvel Annex, et non la révision d’un Annex existant. Il constitue donc une évolution réglementaire importante pour les organisations qui utilisent, acquièrent ou évaluent des systèmes informatisés dotés d’AI/ML dans les opérations GMP.
Le document reste un projet. Il ne doit pas être considéré comme une exigence GMP définitive et indépendamment contraignante, ni comme la preuve d’un calendrier de mise en œuvre confirmé. Son importance pratique réside dans le degré de précision qu’il apporte à la gestion des modèles AI utilisés dans des applications GMP critiques, en particulier lorsque les résultats peuvent avoir une incidence directe sur la sécurité des patients, la qualité des produits ou l’intégrité des données.
Le projet est explicitement présenté comme une orientation complémentaire à l’Annex 11 pour les systèmes informatisés dans lesquels des modèles AI sont intégrés. Pour les responsables dirigeants de la qualité, de la validation, de l’IT et de la fabrication, le message central est clair : l’assurance relative à l’AI est proposée comme allant au-delà de la CSV conventionnelle appliquée à un algorithme nouveau. Elle exige une maîtrise démontrable de l’usage prévu, des données, des performances du modèle, des rôles humains et des changements opérationnels tout au long du cycle de vie du modèle.
Ce que couvre le projet PIC/S
Le champ proposé couvre les systèmes informatisés utilisés dans la fabrication de médicaments et de substances actives, lorsque des modèles AI sont employés dans des applications critiques ayant un impact direct sur la sécurité des patients, la qualité des produits ou l’intégrité des données. Les exemples cités comprennent la prédiction ou la classification de données.
Il se concentre sur les modèles de machine learning dont la fonctionnalité est obtenue par entraînement sur des données plutôt que par programmation explicite. Un modèle peut comprendre plusieurs modèles individuels automatisant des étapes spécifiques d’un procédé GMP. Le projet peut donc concerner un large éventail de cas d’utilisation, notamment l’inspection visuelle automatisée, la classification de données de fabrication ou de laboratoire et les outils prédictifs intégrés aux processus de décision GMP.
Toutefois, le champ est délibérément limité. Le projet s’applique aux modèles statiques qui n’adaptent pas leurs performances pendant l’utilisation par incorporation de nouvelles données, ainsi qu’aux modèles à résultats déterministes. Les modèles dynamiques qui apprennent continuellement et automatiquement pendant l’utilisation, et les modèles probabilistes susceptibles de fournir des résultats différents pour des entrées identiques, ne sont pas couverts et sont déclarés impropres aux applications GMP critiques.
Le document indique également qu’il ne s’applique pas à l’AI générative ni aux Large Language Models (LLM), et que ces modèles ne devraient pas être utilisés dans des applications GMP critiques. Lorsqu’ils sont utilisés dans des applications GMP non critiques sans impact direct sur la sécurité des patients, la qualité des produits ou l’intégrité des données, un personnel adéquatement qualifié et formé doit rester responsable de déterminer si les résultats sont appropriés pour l’usage prévu. Il s’agit d’une attente human-in-the-loop (HITL), et non d’une approbation générale de l’AI générative dans les activités GMP.
Le modèle de maîtrise proposé : l’usage prévu avant la technologie
Annex 22 part du principe GMP selon lequel l’usage prévu doit être compris et défini. L’orientation proposée attend une description détaillée de la tâche que le modèle assiste ou automatise, fondée sur une connaissance approfondie du procédé dans lequel il est intégré. Elle attend aussi une caractérisation complète des données d’entrée, y compris les variations courantes et rares, les limites ainsi que les entrées potentiellement erronées ou biaisées.
Un expert métier du procédé (SME) devrait être responsable de l’adéquation de cette description, qui devrait être documentée et approuvée avant le début des essais d’acceptation. Lorsque cela est pertinent, l’espace d’échantillonnage des entrées devrait être divisé en sous-groupes. Ceux-ci peuvent refléter l’issue de la décision, la référence du site ou de l’équipement, les caractéristiques du matériau ou du produit, ou des caractéristiques propres à la tâche telles que le type et la gravité du défaut.
Cela est important, car la discussion dépasse les affirmations génériques selon lesquelles un algorithme est « précis ». L’approche proposée exige des organisations qu’elles définissent pour quel procédé, quelle population, quelles conditions et quels cas limites le modèle est acceptable. Une métrique globale de précision favorable peut être insuffisante si les performances sont médiocres dans des sous-groupes critiques.
Éléments de preuve de validation : métriques, critères d’acceptation et données d’essai indépendantes
Le projet propose des métriques dépendantes du cas et alignées sur l’usage prévu. Pour un modèle de classification, les exemples incluent une matrice de confusion, la sensibilité, la spécificité, l’exactitude, la précision et le score F1. Les critères d’acceptation devraient être établis et approuvés avant les essais, avec une responsabilité attribuée à un SME du procédé. Les critères peuvent différer entre les sous-groupes pertinents.
Un principe proposé particulièrement important est que les critères d’acceptation du modèle devraient être au moins aussi élevés que les performances du procédé qu’il remplace. Cela rend indispensable une référence robuste : une organisation devrait comprendre les performances du procédé manuel ou automatisé existant avant d’affirmer qu’un modèle AI constitue un remplacement acceptable.
Les exigences proposées pour les données d’essai sont détaillées. Les données d’essai devraient représenter et élargir l’espace d’échantillonnage complet de l’usage prévu ; être stratifiées ; inclure les sous-groupes pertinents ; et refléter les limites, la complexité ainsi que les variations courantes et rares. La taille du jeu de données devrait permettre le calcul des métriques d’essai avec une confiance statistique adéquate. L’étiquetage devrait être vérifié par un processus assurant un très haut degré d’exactitude, potentiellement au moyen d’experts indépendants, d’équipements validés ou d’essais de laboratoire.
L’indépendance des données d’essai constitue également une maîtrise importante. Le projet propose des mesures techniques et/ou procédurales afin de garantir que les données utilisées pour l’essai final n’ont pas été utilisées pendant le développement, l’entraînement ou la validation du modèle. Lorsqu’un jeu d’essai est séparé avant l’entraînement, le personnel impliqué dans le développement et l’entraînement ne devrait pas y avoir accès. Les données d’essai devraient être protégées par un contrôle des accès et des fonctionnalités d’audit trail, sans copie hors du référentiel contrôlé. L’orientation traite aussi de l’indépendance du personnel et cite le principe des quatre yeux comme mesure d’atténuation possible lorsqu’une séparation complète ne peut être maintenue.
Explicabilité, confiance et exploitation
Pour les modèles utilisés dans des applications GMP critiques, le projet propose de capturer et d’enregistrer les caractéristiques ayant contribué à une classification ou à une décision pendant les essais. Lorsque cela est applicable, les techniques d’attribution de caractéristiques telles que les valeurs SHAP ou LIME, ainsi que les outils visuels tels que les cartes thermiques, devraient mettre en évidence les facteurs clés ayant contribué à un résultat. L’examen de ces caractéristiques devrait faire partie de l’approbation des résultats d’essai, selon une approche fondée sur le risque.
La proposition traite également des scores et seuils de confiance. Lorsque cela est applicable, les modèles de prédiction ou de classification devraient enregistrer les scores de confiance. Un modèle devrait être configuré de manière à ne produire un résultat que lorsque la confiance est appropriée ; en cas de confiance très faible, un résultat « indécis » peut être plus approprié qu’une prédiction ou une classification non fiable.
Une fois déployés, le modèle, le système informatisé et le procédé assisté ou automatisé devraient être soumis à une maîtrise des changements. Les changements apportés au modèle, au système, au procédé ou aux objets physiques d’entrée pertinents devraient être évalués afin de déterminer la nécessité de nouveaux essais. Le projet propose aussi une maîtrise de la configuration, la détection des changements non autorisés, une surveillance régulière des performances et la surveillance du maintien des données d’entrée dans l’espace d’échantillonnage et l’usage prévu définis. Ce dernier point est directement pertinent pour la dérive des données et les changements environnementaux ou de procédé, tels que des conditions d’éclairage modifiées dans une application d’inspection.
Recommandation GuideGxP : se préparer maintenant, sans surestimer le projet
Les organisations n’ont pas besoin d’attendre un Annex 22 final pour établir une base défendable de gouvernance de l’AI. L’action appropriée ne consiste pas à qualifier rétrospectivement tout outil analytique avancé d’AI, ni à introduire une « politique AI » non structurée. Il convient plutôt de réaliser une évaluation ciblée et fondée sur le risque des systèmes utilisant des modèles entraînés et susceptibles d’influencer des décisions GMP ou des données critiques.
| Domaine de préparation | Recommandation pratique GuideGxP |
|---|---|
| Inventaire des cas d’utilisation | Identifier les modèles AI/ML dans les procédés GMP, y compris les fonctionnalités fournies par des fournisseurs, et déterminer si leurs résultats ont un impact direct sur la sécurité des patients, la qualité des produits ou l’intégrité des données. |
| Usage prévu | Établir des déclarations d’usage prévu approuvées, des limites de décision, l’espace d’échantillonnage des entrées, les limites connues, les modes de défaillance et les SME du procédé responsables. |
| Gouvernance des données | Cartographier les jeux de données d’entraînement, de validation et d’essai ; préserver la provenance, la justification de l’étiquetage, le contrôle des accès, les audit trails, l’indépendance et la conservation. |
| Stratégie de validation | Définir des métriques appropriées au risque et des critères d’acceptation par sous-groupe avant l’essai final ; documenter la référence de performance de tout procédé remplacé. |
| Maîtrise opérationnelle | Soumettre le modèle, sa configuration, ses interfaces et le procédé associé à la maîtrise des changements ; définir la surveillance des performances, de la dérive et des limites d’entrée. |
| Supervision humaine | Préciser la responsabilité décisionnelle de l’opérateur ainsi que les preuves de formation et de performance cohérente partout où HITL est utilisé. |
QA devrait s’assurer que la responsabilité n’est pas fragmentée entre data science, IT/CSV, fabrication et fournisseurs. Le projet attend une coopération étroite entre les parties concernées lors de la sélection de l’algorithme, de l’entraînement, de la validation, des essais et de l’exploitation, avec des qualifications appropriées, des responsabilités définies et des accès adaptés. L’utilisateur réglementé est censé détenir et examiner la documentation pertinente, même lorsque l’entraînement, la validation ou les essais sont réalisés par un fournisseur ou un prestataire de services.
Point clé : le projet d’Annex 22 est un cadre ciblé permettant de démontrer qu’un modèle AI/ML critique est adapté à son utilisation GMP définie, testé de manière indépendante, explicable à un degré approprié, maîtrisé en exploitation et surveillé vis-à-vis de la dérive.
Points à suivre
La page des publications PIC/S présente actuellement « Draft guidelines: New annex 22 - Artificial intelligence » comme un projet de document dans le PIC/S GMP Guide. Les organisations devraient suivre les communications PIC/S concernant la consultation, la révision, la finalisation et toute information de mise en œuvre associée. D’ici là, les travaux internes de préparation devraient être gérés via les cadres existants de PQS, QRM, gestion des fournisseurs, CSV, intégrité des données et maîtrise des changements, en distinguant clairement les obligations GMP actuelles des mesures prises en anticipation du projet.
