Künstliche Intelligenz in der GMP-Herstellung entwickelt sich von einer Technologiediskussion zu einer Frage des Qualitätssystems. Die Arbeiten der EMA am vorgeschlagenen Anhang 22 sind besonders wichtig, weil sie unmittelbar die schwierige Kategorie behandeln: dynamische, adaptive und probabilistische Modelle, einschließlich generativer KI und Large Language Models (LLMs), die in GMP-Anwendungen eingesetzt werden.
Die wesentliche aktuelle Position ist eindeutig: Anhang 22 befindet sich noch in der Entwicklung. Er darf weder als endgültige EU-GMP-Leitlinie noch als neuer verbindlicher Anforderungskatalog behandelt werden. Die EMA veranstaltete am 30. Juni und 1. Juli 2026 einen zweitägigen Multi-Stakeholder-Workshop, um Expertenmeinungen und Evidenz für die Leitlinie einzuholen, und erklärte, sie erwarte vom Workshop einen Bericht mit Expertenbeiträgen. Die praktische Aufgabe der Hersteller besteht daher darin, sich auf die derzeit geprüften Fragen vorzubereiten, ohne zu behaupten, dass der spätere Anhang Kontrollen verlangt, die noch nicht veröffentlicht wurden.
Was die EMA zur Diskussion gestellt hat
Die EMA berichtet, dass ihre Stakeholder-Konsultation 2025 zum Entwurf von Anhang 22 Unterstützung dafür zeigte, Technologien wie GenAI und LLMs potenziell in der Arzneimittelherstellung zu ermöglichen. Der frühere Entwurf hatte angezeigt, dass dynamische, adaptive und probabilistische Modelle nicht in kritischen GMP-Anwendungen eingesetzt werden sollten. Die EMA prüft nun die Auswirkungen der Rückmeldungen aus der Konsultation und hat Expertenbeiträge zu risikobasierten Kontroll- und Minderungsmaßnahmen, einschließlich Guardrails, eingeholt.
Dies ist eine bedeutende regulatorische Entwicklung. Es bedeutet nicht, dass solche Modelle nun für kritische GMP-Anwendungen akzeptiert sind. Es bedeutet, dass die EMA untersucht, ob und unter welcher Kontrollstrategie einige dieser Technologien berücksichtigt werden könnten. Diese Unterscheidung ist für Investitionsentscheidungen, die Validierungsplanung und die interne Kommunikation relevant.
Die Fragen des EMA-Workshops konzentrieren sich auf sechs zusammenhängende Bereiche:
- regulatorische Wege für adaptive und probabilistische KI im GMP-Umfeld;
- technische Zuverlässigkeit, einschließlich Halluzinationen, falscher Empfehlungen und fabrizierter Daten;
- menschliche Aufsicht und Verantwortlichkeit;
- Validierung und Lebenszyklusmanagement, einschließlich Updates, Retraining und Drift;
- strategische Risiko- und Compliance-Grenzen für GMP-Anwendungen mit hohem Risiko; sowie
- Cybersicherheit und ausgelagerte Tätigkeiten, einschließlich cloudbasierter KI-Lieferketten.
Für Führungskräfte in QA, Validierung, Datenintegrität und IT/OT lautet die Botschaft nicht, auf einen Dokumenttitel zu warten. Sie lautet, vorgesehenen Verwendungszweck, Fehlermodi, Evidenz und Entscheidungsbefugnisse sichtbar zu machen, bevor ein KI-Werkzeug in einen GMP-Workflow gelangt.
Die zentrale Herausforderung: Validierung bei probabilistischem Output
Die traditionelle Validierung computergestützter Systeme beruht häufig auf vorhersehbaren Eingaben, vordefinierter Verarbeitung und erwarteten Ausgaben. Probabilistische KI verändert die Art des Assurance Case. Derselbe Prompt oder Betriebskontext erzeugt möglicherweise nicht zuverlässig dieselbe Ausgabe; ein Modell kann sich durch Lieferantenupdates, Retraining oder die Interaktion mit sich verändernden Daten ändern; und ein scheinbar plausibler Output kann dennoch falsch sein.
Die EMA fragt ausdrücklich, welches Validierungsparadigma auf adaptive Modelle anzuwenden ist und was ein Ansatz zum Qualitätsrisikomanagement über den gesamten Lebenszyklus berücksichtigen sollte, insbesondere in GMP-Hochrisikobereichen, in denen Mängel schwer erkennbar sein, aber hohe Auswirkungen auf Patienten haben können. Sie fragt außerdem, welche Validierungsdaten, Ergebnisse von Stresstests und Fehleranalysen die Abstützung auf Guardrails als Minderungsmaßnahme rechtfertigen würden.
Regulatorische Tatsache: Dies sind Fragen zur fachlichen Prüfung durch Experten, keine vorgeschriebenen endgültigen Validierungsanforderungen.
GuideGxP-Empfehlung: Validierung sollte als evidenzbasierter Assurance Case und nicht als einmaliges Testprotokoll verstanden werden. Der Assurance Case sollte belegen, dass der vorgesehene Verwendungszweck des Systems beherrscht ist, seine Grenzen verstanden werden, unzulässige Outputs vor GMP-Auswirkungen verhindert oder erkannt werden und das System im Zeitverlauf innerhalb seiner genehmigten Betriebsbedingungen bleibt.
Eine praktische Validierungsstrategie
Eine angemessene Strategie kann anhand der folgenden Abfolge organisiert werden:
- Die GMP-Entscheidungsgrenze definieren. Genau angeben, ob die KI Informationen entwirft, eine Maßnahme empfiehlt, Prüfaufgaben priorisiert, eine Anomalie erkennt, einen Prozess steuert oder eine Entscheidung trifft. Festlegen, wer den Output akzeptieren, ablehnen oder übersteuern kann.
- Auswirkung und Erkennbarkeit klassifizieren. Mögliche Folgen eines Fehlers für Patient, Produktqualität, Datenintegrität und Compliance bewerten. Fehlern, die von einem Prüfer schwer zu erkennen sind, besonderes Gewicht beimessen.
- Genehmigte Nutzungsbedingungen festlegen. Zulässige Eingaben, Quelldaten, Nutzer, Standorte, Schnittstellen, Ausgabeformate, verbotene Anwendungsfälle und Eskalationsauslöser definieren. Ein System kann nicht sinnvoll validiert werden, wenn seine Nutzungsgrenze vage ist.
- Einen repräsentativen Challenge-Satz erstellen. Normale Fälle, Grenzfälle, unvollständige Aufzeichnungen, widersprüchliche Evidenz, bösartige oder anomale Eingaben, mehrdeutige Anweisungen und bekannte Fehlermuster testen. Die Begründung für Abdeckung und Akzeptanzkriterien aufbewahren.
- Die Kontrollstrategie testen, nicht nur das Modell. Guardrails, Workflow-Beschränkungen, Prüferoberflächen, Audit Trails, Alarme, Zugriffskontrollen und Stopp-/Eskalationsmechanismen als integriertes System bewerten.
- Lebenszyklus-Evidenz etablieren. Festlegen, wie Performance, Vorfälle, Modelländerungen, Driftindikatoren und Lieferantenänderungen bewertet werden. Vorab definieren, wann Revalidierung, Neubewertung oder die Außerbetriebnahme erforderlich sind.
Guardrails sind Kontrollen, kein Ersatz für Verantwortlichkeit
Die EMA fragt, ob verfügbare Guardrails Halluzinationen, falsche Empfehlungen und fabrizierte Daten in GMP-Workflows zuverlässig verhindern, erkennen oder eindämmen können. Sie fragt außerdem, was geschieht, wenn Guardrails versagen oder Unsicherheit erkennen, und welche Human-in-the-Loop-Aufsicht nach Umsetzung dieser Kontrollen weiterhin erforderlich ist.
Dies ist der richtige Schwerpunkt. Ein Guardrail kann ein definiertes Risiko reduzieren, etwa indem ein Modell auf genehmigte Quellinhalte beschränkt oder bestimmte Output-Arten blockiert werden. Er belegt nicht automatisch, dass ein Output korrekt, vollständig, zuordenbar oder für GMP-Entscheidungen geeignet ist. Ebenso wenig entfällt dadurch die Notwendigkeit, Verantwortung für die Entscheidung und für den fortlaufenden beherrschten Zustand des KI-Systems zuzuweisen.
GuideGxP-Empfehlung: Jeder Guardrail sollte einen Verantwortlichen, einen dokumentierten Zweck, ein definiertes Verhalten bei Versagen und prüfbare Akzeptanzkriterien haben. Das Qualitätssystem sollte vier praktische Fragen beantworten:
- Welches Risiko mindert dieser Guardrail?
- Welche Evidenz zeigt seine Wirksamkeit unter erwarteten und nachteiligen Bedingungen?
- Wie werden seine Verschlechterung oder sein Versagen erkannt?
- Wer handelt wie schnell und mit welcher Befugnis, wenn er versagt oder der Output unsicher ist?
Bei Anwendungsfällen mit höherem Risiko sollte menschliche Aufsicht gestaltet und nicht vorausgesetzt werden. Ein nomineller Prüfer ohne Zugang zu Quellen, ausreichende Zeit, relevante Fachkenntnis oder Befugnis zur Ablehnung des Outputs ist keine wirksame Kontrolle. Die Prüfung muss substanziell, nachvollziehbar und dem Risiko eines unerkannten Fehlers angemessen sein.
Datenintegrität und Rückverfolgbarkeit müssen in den Workflow integriert werden
Die EMA nennt Data Governance, Modellbewertung, Transparenz, Verantwortlichkeit und menschliche Aufsicht als zentrale Prinzipien der Diskussion zu Anhang 22. Sie fragt auch, ob Guardrail-Ansätze Datenintegrität, Prozesskontrolle, Auditierbarkeit und Rückverfolgbarkeit ausreichend abdecken, wenn generative KI Entscheidungen beeinflussen oder automatisieren kann.
In der Praxis muss KI-Governance die Beweiskette um einen GMP-relevanten Output bewahren. Die Organisation sollte rekonstruieren können, was an das System übermittelt wurde, welche genehmigte Konfiguration und Modellversion verwendet wurden, welche Informationen dem Modell zur Verfügung standen, welcher Output erzeugt wurde, welche Kontrollen angewandt wurden, wer ihn geprüft hat und welche abschließende Maßnahme ergriffen wurde.
GuideGxP-Empfehlung: Eine KI-Schnittstelle nicht als isoliertes Produktivitätswerkzeug behandeln. Sie als Teil des GMP-Prozesses und Datenflusses abbilden. Dadurch wird sichtbar, wo Aufzeichnungen erstellt, umgewandelt, aufbewahrt, übertragen, geprüft und genehmigt werden und wo die Audit-Trail- oder Verantwortlichkeitskette brechen könnte.
Das Änderungsmanagement muss die Modelllieferkette einbeziehen
Die Fragen der EMA umfassen ausdrücklich die Modellentwicklung durch Updates, Retraining und Drift sowie Risiken, wenn sich die Guardrail-Infrastruktur außerhalb der direkten Kontrolle des Herstellers befindet. Die Agentur fragt, wie Lieferantenqualifizierung, Transparenz beim Änderungsmanagement und unabhängige Auditfähigkeit in cloudbasierten KI-Lieferketten erhalten werden können.
Dieser Fokus ist für extern gehostete Modelle entscheidend. Ein routinemäßiges Modellupdate eines Lieferanten kann Output-Qualität, Verhalten, Sicherheitsmerkmale oder die Wirksamkeit eines zuvor validierten Guardrails verändern. Für die GMP-Nutzung ist nicht allein relevant, ob ein Lieferant reputabel ist. Relevant ist, ob der Hersteller über ausreichende Kenntnisse, vertraglichen Einfluss, technische Kontrollen und Evidenz verfügt, um den vorgesehenen Verwendungszweck in einem validierten Zustand zu halten.
| Kontrollbereich | Praktische GuideGxP-Frage |
|---|---|
| Lieferantenaufsicht | Kann die Organisation relevante Änderungen an Modell, Infrastruktur und Guardrails verstehen und bewerten, bevor sie die GMP-Nutzung beeinflussen? |
| Konfigurationskontrolle | Kann sie nachweisen, welches Modell, welche Version, Parameter, Wissensquellen und Workflow-Regeln einen bestimmten Output erzeugt haben? |
| Änderungsmanagement | Werden Änderungen nach GMP-Auswirkung triagiert, mit definierter Verifizierung oder Revalidierung vor Freigabe? |
| Betriebliche Überwachung | Werden Leistungssignale, Vorfälle, Unsicherheitsereignisse und Nutzerübersteuerungen auf einen sich abzeichnenden Verlust der Beherrschung überprüft? |
| Ausstieg und Kontinuität | Können GMP-Aufzeichnungen, Evidenz und kritische Workflow-Fähigkeiten erhalten oder übertragen werden, wenn sich der Service ändert oder nicht mehr verfügbar ist? |
Was die Unternehmensleitung jetzt entscheiden sollte
Die Unternehmensleitung sollte zwei wenig hilfreiche Extreme vermeiden: jede KI zu verbieten, ohne den Anwendungsfall zu prüfen, oder breit angelegte Experimente zuzulassen, die stillschweigend zu operativer Abhängigkeit werden. Ein Portfolioansatz ist besser vertretbar.
Beginnen Sie mit einem Inventar der KI, die bereits eingesetzt wird oder in Herstellung, Laboren, Qualitätsabläufen, Engineering, Lieferkette und Unternehmensfunktionen vorgeschlagen ist, welche GMP-Arbeit unterstützen. Trennen Sie Unterstützung beim Verfassen oder administrative Hilfe mit geringer Auswirkung von Systemen, die GMP-Aufzeichnungen, Untersuchungen, Freigabeentscheidungen, Prozesskontrolle oder Schlussfolgerungen zur Produktqualität beeinflussen. Verlangen Sie anschließend eine Risikobewertung mit klarer Verantwortlichkeit und einen Genehmigungsweg, bevor ein Anwendungsfall in GMP-relevante Tätigkeiten übergeht.
Die Diskussion der EMA zu Anhang 22 könnte letztlich klären, wie eine risikobasierte Berücksichtigung adaptiver, probabilistischer und generativer Modelle aussehen könnte. Bis endgültige Leitlinien verfügbar sind, werden Organisationen, die eine disziplinierte Definition des vorgesehenen Verwendungszwecks, transparente Evidenz, wirksame Aufsicht und ein beherrschtes Lebenszyklusmanagement nachweisen können, am besten aufgestellt sein, diese verantwortungsvoll zu bewerten und einzuführen.
