PIC/S hat „Draft guidelines: New annex 22 - Artificial intelligence“ im Bereich PIC/S GMP Guide seiner Publikationen veröffentlicht. Der vorgeschlagene Annex 22: Artificial Intelligence ist ein neuer Annex und keine Überarbeitung eines bestehenden. Er ist daher eine wichtige regulatorische Entwicklung für Organisationen, die AI/ML-gestützte computergestützte Systeme in GMP-Abläufen einsetzen, beschaffen oder bewerten.
Das Dokument bleibt ein Entwurf. Es sollte nicht als endgültige, eigenständig verbindliche GMP-Anforderung oder als Nachweis eines bestätigten Umsetzungszeitplans behandelt werden. Seine praktische Bedeutung liegt in der Spezifität, die es für das Management von AI-Modellen in kritischen GMP-Anwendungen schafft, insbesondere wenn die Ergebnisse die Patientensicherheit, die Produktqualität oder die Datenintegrität unmittelbar beeinflussen können.
Der Entwurf ist ausdrücklich als zusätzliche Leitlinie zu Annex 11 für computergestützte Systeme positioniert, in die AI-Modelle eingebettet sind. Für leitende Verantwortliche aus Qualität, Validierung, IT und Herstellung ist die zentrale Botschaft klar: Die Absicherung von AI wird als mehr vorgeschlagen als konventionelle CSV, die auf einen neuartigen Algorithmus angewendet wird. Sie erfordert eine nachweisbare Kontrolle des vorgesehenen Verwendungszwecks, der Daten, der Modellleistung, der menschlichen Rollen und der betrieblichen Änderungen über den gesamten Modelllebenszyklus hinweg.
Was der PIC/S-Entwurf abdeckt
Der vorgeschlagene Anwendungsbereich umfasst computergestützte Systeme, die bei der Herstellung von Arzneimitteln und Wirkstoffen eingesetzt werden und bei denen AI-Modelle in kritischen Anwendungen mit direktem Einfluss auf Patientensicherheit, Produktqualität oder Datenintegrität verwendet werden. Genannte Beispiele sind die Vorhersage oder Klassifizierung von Daten.
Im Fokus stehen Machine-Learning-Modelle, deren Funktionalität durch Training mit Daten und nicht durch explizite Programmierung erreicht wird. Ein Modell kann aus mehreren einzelnen Modellen bestehen, die bestimmte GMP-Prozessschritte automatisieren. Der Entwurf kann daher für ein breites Spektrum von Anwendungsfällen relevant sein, einschließlich automatisierter visueller Inspektion, Klassifizierung von Herstellungs- oder Labordaten und prädiktiver Werkzeuge, die in GMP-Entscheidungsprozesse eingebettet sind.
Der Anwendungsbereich ist jedoch bewusst eingeschränkt. Der Entwurf gilt für statische Modelle, die ihre Leistung während der Nutzung nicht durch Einbeziehung neuer Daten anpassen, sowie für Modelle mit deterministischem Output. Dynamische Modelle, die während der Nutzung kontinuierlich und automatisch lernen, und probabilistische Modelle, die bei identischen Eingaben unterschiedliche Outputs liefern können, werden nicht abgedeckt und ausdrücklich als für kritische GMP-Anwendungen ungeeignet bezeichnet.
Das Dokument stellt außerdem fest, dass es nicht für generative AI und Large Language Models (LLM) gilt und dass solche Modelle nicht in kritischen GMP-Anwendungen verwendet werden sollten. Werden sie in nicht kritischen GMP-Anwendungen ohne direkten Einfluss auf Patientensicherheit, Produktqualität oder Datenintegrität verwendet, sollten angemessen qualifizierte und geschulte Mitarbeitende weiterhin dafür verantwortlich sein, zu entscheiden, ob Outputs für den vorgesehenen Verwendungszweck geeignet sind. Dies ist eine Human-in-the-loop-(HITL)-Erwartung und keine pauschale Genehmigung generativer AI für GMP-Arbeiten.
Das vorgeschlagene Kontrollmodell: vorgesehener Verwendungszweck vor Technologie
Annex 22 geht von dem GMP-Grundsatz aus, dass der vorgesehene Verwendungszweck verstanden und definiert sein muss. Die vorgeschlagene Leitlinie erwartet eine detaillierte Beschreibung der Aufgabe, die das Modell unterstützt oder automatisiert, auf Grundlage fundierter Kenntnisse des Prozesses, in den es integriert ist. Sie erwartet außerdem eine umfassende Charakterisierung der Eingabedaten, einschließlich häufiger und seltener Variationen, Einschränkungen sowie potenziell fehlerhafter oder verzerrter Eingaben.
Ein Prozessexperte (SME) sollte für die Angemessenheit dieser Beschreibung verantwortlich sein. Diese sollte dokumentiert und vor Beginn der Abnahmetests genehmigt werden. Soweit relevant, sollte der Eingabestichprobenraum in Untergruppen aufgeteilt werden. Diese können das Entscheidungsergebnis, die Baseline des Standorts oder der Ausrüstung, Material- oder Produktmerkmale oder aufgabenspezifische Merkmale wie Fehlerart und Fehlerschwere widerspiegeln.
Dies ist bedeutsam, weil die Diskussion damit über allgemeine Aussagen hinausgeht, ein Algorithmus sei „genau“. Der vorgeschlagene Ansatz verlangt von Organisationen, zu definieren, für welchen Prozess, welche Population, welche Bedingungen und welche Grenzfälle das Modell akzeptabel ist. Eine günstige Gesamtgenauigkeitsmetrik kann unzureichend sein, wenn kritische Untergruppen eine schlechte Leistung aufweisen.
Validierungsnachweise: Metriken, Akzeptanzkriterien und unabhängige Testdaten
Der Entwurf schlägt fallabhängige, am vorgesehenen Verwendungszweck ausgerichtete Metriken vor. Für ein Klassifizierungsmodell werden beispielsweise Konfusionsmatrix, Sensitivität, Spezifität, Genauigkeit, Präzision und F1-Score genannt. Akzeptanzkriterien sollten vor den Tests festgelegt und genehmigt werden; die Verantwortung sollte einem Prozessexperten (SME) zugewiesen werden. Die Kriterien können sich zwischen relevanten Untergruppen unterscheiden.
Ein besonders wichtiger vorgeschlagener Grundsatz ist, dass die Akzeptanzkriterien des Modells mindestens so hoch sein sollten wie die Leistung des Prozesses, den es ersetzt. Damit ist eine belastbare Baseline unverzichtbar: Eine Organisation sollte die Leistung des bestehenden manuellen oder automatisierten Prozesses verstehen, bevor sie geltend macht, dass ein AI-Modell einen akzeptablen Ersatz darstellt.
Die vorgeschlagenen Anforderungen an Testdaten sind detailliert. Testdaten sollten den vollständigen Stichprobenraum des vorgesehenen Verwendungszwecks abbilden und erweitern, stratifiziert sein, relevante Untergruppen einschließen und Einschränkungen, Komplexität sowie häufige und seltene Variationen berücksichtigen. Die Größe des Datensatzes sollte die Berechnung der Testmetriken mit angemessenem statistischem Konfidenzniveau ermöglichen. Die Kennzeichnung sollte durch einen Prozess verifiziert werden, der einen sehr hohen Grad an Korrektheit liefert, gegebenenfalls unter Einsatz unabhängiger Experten, validierter Geräte oder Laborprüfungen.
Die Unabhängigkeit der Testdaten ist ebenfalls eine hervorgehobene Kontrolle. Der Entwurf schlägt technische und/oder verfahrenstechnische Maßnahmen vor, um sicherzustellen, dass für die abschließende Prüfung verwendete Daten nicht während Modellentwicklung, Training oder Validierung eingesetzt wurden. Wird ein Testdatensatz vor dem Training abgetrennt, sollte das an Entwicklung und Training beteiligte Personal keinen Zugriff darauf haben. Die Testdaten sollten durch Zugriffskontrolle und Audit-Trail-Funktionalität geschützt werden; Kopien außerhalb des kontrollierten Repositoriums sollten nicht vorhanden sein. Die Leitlinie behandelt auch die personelle Unabhängigkeit und nennt das Vier-Augen-Prinzip als mögliche Minderungsmaßnahme, wenn eine vollständige Trennung nicht aufrechterhalten werden kann.
Erklärbarkeit, Konfidenz und Betrieb
Für Modelle in kritischen GMP-Anwendungen schlägt der Entwurf vor, Merkmale zu erfassen und aufzuzeichnen, die während der Tests zu einer Klassifizierung oder Entscheidung beigetragen haben. Soweit anwendbar, sollten Merkmalsattributionstechniken wie SHAP-Werte oder LIME sowie visuelle Werkzeuge wie Heatmaps die wesentlichen Faktoren hervorheben, die zu einem Ergebnis beitragen. Die Überprüfung dieser Merkmale sollte risikobasiert Teil der Genehmigung der Testergebnisse sein.
Der Vorschlag behandelt auch Konfidenzwerte und -schwellen. Soweit anwendbar, sollten Vorhersage- oder Klassifizierungsmodelle Konfidenzwerte protokollieren. Ein Modell sollte so konfiguriert sein, dass es nur dann ein Ergebnis liefert, wenn die Konfidenz angemessen ist; bei sehr niedriger Konfidenz kann ein „unentschiedenes“ Ergebnis angemessener sein als eine unzuverlässige Vorhersage oder Klassifizierung.
Nach der Implementierung sollten das Modell, das computergestützte System und der unterstützte oder automatisierte Prozess der Änderungskontrolle unterliegen. Änderungen am Modell, System, Prozess oder an relevanten physischen Eingabeobjekten sollten hinsichtlich der Notwendigkeit erneuter Tests bewertet werden. Der Entwurf schlägt außerdem Konfigurationskontrolle, Erkennung nicht autorisierter Änderungen, regelmäßige Leistungsüberwachung sowie die Überwachung vor, dass Eingabedaten innerhalb des definierten Stichprobenraums und vorgesehenen Verwendungszwecks bleiben. Dieser letzte Punkt ist unmittelbar relevant für Daten-Drift sowie Umwelt- oder Prozessänderungen, beispielsweise veränderte Beleuchtungsbedingungen in einer Inspektionsanwendung.
GuideGxP-Empfehlung: jetzt vorbereiten, ohne den Entwurf zu überbewerten
Organisationen müssen nicht auf einen endgültigen Annex 22 warten, um eine belastbare Grundlage für AI-Governance zu schaffen. Die angemessene Maßnahme besteht nicht darin, jedes fortschrittliche Analysewerkzeug rückwirkend als AI zu kennzeichnen, oder eine unstrukturierte „AI-Richtlinie“ einzuführen. Stattdessen sollte eine gezielte, risikobasierte Bewertung von Systemen durchgeführt werden, die trainierte Modelle verwenden und GMP-Entscheidungen oder kritische Daten beeinflussen können.
| Bereitschaftsbereich | Praktische GuideGxP-Empfehlung |
|---|---|
| Inventar der Anwendungsfälle | AI/ML-Modelle in GMP-Prozessen einschließlich von Lieferanten bereitgestellter Funktionalitäten identifizieren und klassifizieren, ob ihre Outputs Patientensicherheit, Produktqualität oder Datenintegrität unmittelbar beeinflussen. |
| Vorgesehener Verwendungszweck | Genehmigte Aussagen zum vorgesehenen Verwendungszweck, Entscheidungsgrenzen, Eingabestichprobenraum, bekannte Einschränkungen, Fehlermodi und verantwortliche Prozess-SMEs festlegen. |
| Data Governance | Trainings-, Validierungs- und Testdatensätze abbilden; Herkunft, Begründung der Kennzeichnung, Zugriffskontrolle, Audit Trails, Unabhängigkeit und Aufbewahrung sichern. |
| Validierungsstrategie | Risikoadäquate Metriken und Akzeptanzkriterien für Untergruppen vor den abschließenden Tests definieren; die Leistungs-Baseline für jeden zu ersetzenden Prozess dokumentieren. |
| Betriebliche Kontrolle | Modell, Konfiguration, Schnittstellen und zugehörigen Prozess der Änderungskontrolle unterstellen; Überwachung von Leistung, Drift und Eingabegrenzen definieren. |
| Menschliche Aufsicht | Die Entscheidungsverantwortung des Bedieners sowie Nachweise von Schulung und konsistenter Leistung überall festlegen, wo HITL eingesetzt wird. |
QA sollte sicherstellen, dass Verantwortlichkeit nicht zwischen Data Science, IT/CSV, Herstellung und Lieferanten fragmentiert wird. Der Entwurf erwartet eine enge Zusammenarbeit der relevanten Parteien bei Algorithmenauswahl, Training, Validierung, Tests und Betrieb sowie angemessene Qualifikationen, definierte Verantwortlichkeiten und geeignete Zugriffsrechte. Der regulierte Anwender soll über die relevante Dokumentation verfügen und diese prüfen, auch wenn Training, Validierung oder Tests durch einen Lieferanten oder Dienstleister durchgeführt werden.
Kernaussage: Der vorgeschlagene Annex 22 ist ein fokussierter Rahmen, um nachzuweisen, dass ein kritisches AI/ML-Modell für seinen definierten GMP-Verwendungszweck geeignet, unabhängig getestet, in angemessenem Maß erklärbar, im Betrieb kontrolliert und hinsichtlich Drift überwacht ist.
Was als Nächstes zu beobachten ist
Die PIC/S-Publikationsseite führt „Draft guidelines: New annex 22 - Artificial intelligence“ derzeit als Entwurfsdokument im PIC/S GMP Guide. Organisationen sollten die PIC/S-Kommunikationen zu Konsultation, Überarbeitung, Finalisierung und begleitenden Umsetzungsinformationen verfolgen. Bis dahin sollten interne Bereitschaftsmaßnahmen über die bestehenden Rahmen für PQS, QRM, Lieferantenmanagement, CSV, Datenintegrität und Änderungskontrolle gesteuert werden, wobei aktuelle GMP-Verpflichtungen klar von Maßnahmen zur Vorbereitung auf den Entwurf abzugrenzen sind.
