Wie könnte eine Validierungsstrategie für probabilistische KI unter GMP aussehen? Sie müsste, dem Patienten- und Produktrisiko angemessen, nachweisen, dass der Verwendungszweck definiert ist, die Fehlermodi des Systems verstanden sind, Schutzmechanismen nachweislich wirksam sind, verantwortliche menschliche Aufsicht praktikabel ist und die Leistung über Aktualisierungen, Retraining und Drift hinweg beherrscht bleibt. Dies ist noch keine endgültige Anforderung von Annex 22: Der EMA-Workshop im Juni und Juli 2026 sollte Expertenevidenz für die Entwicklung von Leitlinien sammeln. Seine veröffentlichten Fragen geben jedoch einen praktischen Hinweis auf die Themen, auf die sich Hersteller vorbereiten sollten.
Für Führungskräfte aus QA, Validierung, Data Integrity, IT/OT und Herstellung besteht die sinnvollste Reaktion nicht darin, auf einen endgültigen Text zu warten. Sie besteht darin, risikoarme Erprobung von GMP-Nutzung zu trennen, ein evidenzbasiertes KI-Governance-Modell einzurichten und zu prüfen, ob die vorgesehenen Kontrollen standhalten, wenn das Modell falsch liegt, unsicher ist, geändert wird oder sich der direkten Kontrolle des Herstellers entzieht.
Was die EMA zu Annex 22 gesagt hat
Die EMA beschreibt Annex 22 als EU-Leitlinie zur Nutzung künstlicher Intelligenz in der Arzneimittelherstellung. Ihr zweitägiger Multistakeholder-Workshop fand am 30. Juni und 1. Juli 2026 statt. Der erste Tag war eine offene Sitzung für Expertenmeinungen und Evidenz; der zweite eine geschlossene Sitzung, in der die EMA-Redaktionsgruppe für Annex 22 die Beiträge prüfte. Die EMA erklärte, sie erwarte vom Workshop einen Bericht mit Expertenbeiträgen.
Laut EMA zeigte eine Stakeholder-Konsultation von 2025 zum Entwurf von Annex 22 Unterstützung für potenziell ermöglichende Technologien wie generative KI und Large Language Models (LLM) in der Arzneimittelherstellung. Der Entwurf hatte angegeben, dass dynamische, adaptive und probabilistische Modelle, einschließlich GenAI und LLM, nicht in kritischen GMP-Anwendungen eingesetzt werden sollten. Die EMA erklärte, sie prüfe weiterhin die Auswirkungen der Konsultation und hole Expertenbeiträge zu möglichen Risikokontrollen und Minderungsmaßnahmen, einschließlich Guardrails, im Rahmen eines vorgeschlagenen risikobasierten Ansatzes ein.
Regulatorische Tatsache: Die veröffentlichte Workshop-Seite stellt Fragen; sie legt nicht selbst fest, dass eine bestimmte Guardrail, Validierungsmethode oder ein Modell der menschlichen Prüfung akzeptabel ist. GuideGxP-Interpretation: Die Fragen machen deutlich, dass ein generisches Softwarevalidierungspaket oder eine Zusicherung des Lieferanten allein wahrscheinlich keine ausreichende Begründung für den Einsatz probabilistischer KI in einem GMP-Workflow mit hohem Risiko darstellt.
Warum probabilistische KI die Validierung verändert
Bei der traditionellen Validierung computergestützter GMP-Systeme geht es im Allgemeinen darum nachzuweisen, dass ein spezifiziertes System für seinen Verwendungszweck konsistent funktioniert. Probabilistische KI bringt eine andere operative Herausforderung mit sich: Derselbe Prompt oder Eingabekontext kann nicht immer identische Ausgaben liefern, und ein Modell kann plausible, aber falsche Inhalte erzeugen. Bei adaptiven Systemen kann sich das Verhalten außerdem nach Retraining, Modellaktualisierungen oder Datendrift ändern.
Das macht nicht jede KI unbrauchbar. Es bedeutet, dass die Validierungsaussage präzise sein muss. Ein Hersteller sollte nicht versuchen, ein KI-Modell als universell „genau“ oder „sicher“ zu validieren. Stattdessen sollte er einen beherrschten Anwendungsfall, dessen Eingabegrenzen, die zulässige Ausgabe, die bei Menschen verbleibenden Entscheidungsrechte sowie die technischen und prozeduralen Kontrollen validieren, die unakzeptable Ergebnisse verhindern oder erkennen.
Die Fragen der EMA verknüpfen dies unmittelbar mit GMP-Folgen: Halluzinationen, falsche Empfehlungen, erfundene Daten, Eskalation von Vorfällen, Data Integrity, Prozesskontrolle, Auditierbarkeit, Rückverfolgbarkeit, Cybersicherheit, ausgelagerte Infrastruktur und praktische Grenzen der Risikominderung. Es handelt sich um ein Gesamtsystemproblem, nicht allein um ein Problem der Modellleistung.
Eine praktische Validierungsstrategie für KI im GMP-Einsatz
1. Verwendungszweck und verbotene Nutzung definieren
Beginnen Sie mit einer eng gefassten Verwendungszweckbeschreibung. Sie sollte GMP-Prozess, Nutzergruppe, Eingaben, Ausgaben, Schnittstellen, die unterstützte Entscheidung und den maximalen Automatisierungsgrad benennen. Ebenso wichtig ist die Festlegung dessen, was die KI nicht tun darf.
Ein KI-Werkzeug, das eine Zusammenfassung einer Abweichungsuntersuchung zur QA-Prüfung erstellt, ist beispielsweise nicht derselbe Anwendungsfall wie ein Werkzeug, das die Grundursache bestimmt, eine Chargendispositionsentscheidung genehmigt oder einen Prozesskontrollparameter ändert. Letztere Fälle können wesentlich höhere Auswirkungen, eine geringere Erkennbarkeit von Mängeln und deutlich weniger Toleranz für Restunsicherheit aufweisen.
2. Risikobewertung über den gesamten Lebenszyklus durchführen
Die EMA fragt ausdrücklich, wie Qualitätsrisikomanagement (QRM) während des gesamten Lebenszyklus von KI-Modellen in GMP-Hochrisikobereichen anzuwenden ist, einschließlich Situationen mit hohen Auswirkungen auf Patienten und geringer Erkennbarkeit von Mängeln. Die Risikobewertung sollte daher über eine einmalige Implementierungsbewertung hinausgehen.
| Lebenszyklusphase | Zu beantwortende Fragen | Aufzubewahrende Evidenz |
|---|---|---|
| Entwurf und Auswahl | Welche Aufgabe wird unterstützt? Warum ist KI erforderlich? Welche Fehler sind vorhersehbar? | Verwendungszweck, Risikobewertung, Lieferantenbewertung, Architekturbeschreibung |
| Implementierung | Sind Eingaben beherrscht? Sind Ausgaben begrenzt? Kann das System auf GMP-Aufzeichnungen zugreifen oder Aktionen ausführen? | Konfigurationsspezifikation, Schnittstellentests, Nachweise der Zugriffskontrolle |
| Validierung | Können System und Schutzmechanismen unakzeptable Ausgaben innerhalb des Verwendungszwecks erkennen oder verhindern? | Testprotokoll, Challenge Set, Stresstests, Fehleranalyse, Akzeptanzbegründung |
| Betrieb | Wer prüft Ausgaben? Wie werden Unsicherheit, Ausnahmen und Vorfälle eskaliert? | SOP, Schulungsnachweise, Audit Trails, Prüfaufzeichnungen, Abweichungsmanagement |
| Änderung und Überwachung | Wie werden Aktualisierungen, Retraining, Drift und Lieferantenänderungen bewertet und beherrscht? | Änderungskontrolle, Überwachungstrends, regelmäßige Überprüfung, Revalidierungsbegründung |
3. Guardrails als Kontrollen behandeln, die Evidenz erfordern
Die EMA fragt, inwieweit Guardrails Halluzinationen, falsche Empfehlungen und erfundene Daten verhindern, erkennen oder eindämmen können und welche Evidenz eine Abstützung auf sie rechtfertigen würde. Eine Guardrail ist nicht bereits deshalb validiert, weil sie in einer Produktdemonstration oder Lieferantendokumentation vorhanden ist.
Testen Sie sie unter realistischen Fehlerbedingungen: mehrdeutiges Quellenmaterial, unvollständige Aufzeichnungen, widersprüchliche Informationen, verbotene Anfragen, adversariale Eingaben, unerwartetes Volumen, nicht verfügbare Abhängigkeiten und bekannte Modellschwächen. Legen Sie fest, was sie tut, wenn sie keine verlässliche Antwort geben kann. Ein sicheres Ergebnis kann Ablehnung, Weiterleitung an einen qualifizierten Prüfer oder das Stoppen einer nachgelagerten automatisierten Aktion sein.
Akzeptanzkriterien sollten mit dem GMP-Risiko verknüpft sein. Wenn eine falsche Ausgabe eine kritische Entscheidung beeinflussen könnte, darf das System nicht darauf angewiesen sein, dass ein Nutzer jeden Fehler bemerkt. Das Kontrolldesign muss Fehler erkennbar und eindämmbar machen, bevor GMP-Auswirkungen entstehen.
4. Menschliche Aufsicht konkret und verantwortlich gestalten
„Human in the loop“ ist für sich genommen keine Kontrollstrategie. Die EMA fragt, welches Niveau und welche Form von Aufsicht nach Einführung von Guardrails weiterhin erforderlich sind und ob diese Aufsicht Genauigkeit, Rückverfolgbarkeit und Verantwortlichkeit sicherstellt.
Ein belastbares Design benennt die für die Prüfung verantwortliche Rolle, die für eine aussagekräftige Prüfung benötigten Informationen, die zulässige Reaktionszeit, die Umstände für eine Eskalation und die durch die Entscheidung erzeugte Aufzeichnung. Prüfer benötigen Zugang zu relevanten Quelldaten und eine Möglichkeit, KI-generierte Inhalte von verifizierter Evidenz zu unterscheiden. Sie benötigen zudem Schulung zu den Grenzen des Werkzeugs, nicht nur zu seinen Bedienschritten.
5. Änderungskontrolle um Modellentwicklung und Lieferketten aufbauen
Die Workshop-Fragen der EMA thematisieren ausdrücklich Aktualisierungen, Retraining und Drift sowie cloudbasierte KI-Lieferketten, bei denen die Guardrail-Infrastruktur außerhalb der direkten Kontrolle des Herstellers liegt. Das sind keine nachrangigen IT-Themen: Sie entscheiden darüber, ob der validierte Zustand aufrechterhalten werden kann.
Hersteller sollten festlegen, welche Änderungen vor der Implementierung bewertet werden müssen: Änderungen der Basis-Modellversion, des Prompts oder der Orchestrierung, der Retrieval-Quelle, der Guardrails, der Infrastruktur, der Zugriffsberechtigungen sowie neue oder geänderte Schnittstellen. Kann ein Lieferant keine angemessene Benachrichtigung, Transparenz der Änderungskontrolle oder Auditierbarkeit bieten, sollte diese Einschränkung den Verwendungszweck und die Risikobewertung beeinflussen.
Operative Checkliste für GMP-Teams
- Jeden vorgesehenen KI-Anwendungsfall nach GMP-Auswirkung, Fehlererkennbarkeit und Autonomiegrad klassifizieren.
- Vor Konfiguration oder Tests eine Verwendungszweckbeschreibung und explizite Grenzen der verbotenen Nutzung formulieren.
- Datenflüsse einschließlich Quellen, Prompts, Ausgaben, Audit Trails, Aufbewahrung und Zugriffsberechtigungen abbilden.
- Fehlermodi identifizieren, einschließlich Halluzination, erfundener Daten, falscher Empfehlung, Drift und unbefugter Änderung.
- Guardrails definieren und ihre Wirksamkeit in Normal-, Grenz- und Fehlerszenarien testen.
- Dokumentieren, was geschieht, wenn das System unsicher oder nicht verfügbar ist oder außerhalb validierter Betriebsbedingungen liegt.
- Verantwortliche Rollen für menschliche Prüfung, Entscheidungsrechte und Eskalationswege zuweisen.
- Änderungen an Modell, Konfiguration, Wissensquelle und Lieferant einer formalen Änderungskontrolle unterstellen.
- Laufende Überwachung, regelmäßige Überprüfung sowie Kriterien für Aussetzung oder Stilllegung einrichten.
- Sicherstellen, dass die Lieferantenqualifizierung Sicherheit, Manipulationsschutz, Auditierbarkeit und Grenzen ausgelagerter Kontrollen umfasst.
Was noch nicht daraus zu folgern ist
Es wäre verfrüht zu behaupten, die EMA habe GenAI oder LLM für kritische GMP-Anwendungen autorisiert, oder Annex 22 werde sie bei Einsatz von Guardrails definitiv zulassen. Die offizielle Workshop-Seite besagt, dass die EMA die Auswirkungen der Konsultation prüft und Expertenbeiträge zu möglichen Schutzmaßnahmen und Risikominderungen sammelt. Endgültige Erwartungen, Umfang und Wortlaut sollten nicht allein aus Konsultations- und Workshop-Fragen abgeleitet werden.
Die sinnvolle Planungsannahme ist enger: Schlägt ein Hersteller adaptive, dynamische oder probabilistische KI für einen GMP-relevanten Zweck vor, sollte er mit einer Prüfung der Validierungsevidenz, des Lebenszyklusmanagements, der menschlichen Verantwortlichkeit, der Data Integrity, der Rückverfolgbarkeit, der Lieferantenkontrolle und des Punkts rechnen, an dem das Restrisiko den Anwendungsfall ungeeignet macht.
FAQ
Ist Annex 22 eine endgültige GMP-Leitlinie?
Die EMA-Veranstaltungsseite beschreibt die Entwicklung einer Leitlinie und einen Expertenworkshop. Sie enthält weder einen endgültigen Text von Annex 22 noch finalisierte Anforderungen.
Kann GenAI heute in GMP eingesetzt werden?
Die Workshop-Seite gibt keine pauschale Ja-oder-Nein-Antwort. Ihre Fragen konzentrieren sich darauf, ob und unter welchen Kontrollen dynamische, adaptive und probabilistische Modelle in GMP-Anwendungen berücksichtigt werden könnten.
Sind Guardrails für einen kritischen GMP-Anwendungsfall ausreichend?
Die EMA fragt ausdrücklich, ob Guardrails Hochrisikothemen ausreichend behandeln und ob manche kritischen Entscheidungen trotz Guardrails und Aufsicht ungeeignet bleiben. Hersteller sollten die Wirksamkeit daher für ihren spezifischen Anwendungsfall nachweisen.
Primärquelle
Für praxisnahe GMP-Analysen in Ihrem Posteingang abonnieren Sie The Pragmatic GMP.
