GPT-Red: OpenAI automatisiert Prompt-Injection-Tests

GPT-Red schützt KI-Agenten vor Prompt-Injection-Angriffen

GPT-Red ist OpenAIs internes Angriffsmodell für automatisiertes Red-Teaming: Es sucht per Self-Play nach Prompt-Injection-Schwachstellen und erzeugt Angriffe, mit denen Produktionsmodelle wie GPT-5.6 Sol robuster trainiert werden. Laut OpenAI senkte dieser Ansatz die Fehlerquote auf dem schwierigsten direkten Prompt-Injection-Benchmark gegenüber dem besten Produktionsmodell von vier Monaten zuvor um den Faktor sechs. GPT-Red selbst ist jedoch weder öffentlich verfügbar noch per API zugänglich.

Die Veröffentlichung vom 15. Juli 2026 ist deshalb weniger ein neues Modell für Endnutzer als ein Einblick in OpenAIs Sicherheits- und Trainingspipeline. Technisch relevant sind vor allem drei Punkte: automatisiertes Red-Teaming wird direkt mit dem Modelltraining verzahnt, die Angriffe werden durch Self-Play ständig anspruchsvoller und die bisher veröffentlichten Erfolgszahlen stammen vollständig von OpenAI. Eine unabhängige Reproduktion ist derzeit nicht möglich.

Was ist GPT-Red?

GPT-Red ist ein spezialisiertes KI-Modell, das andere KI-Systeme gezielt angreift. Sein Ziel ist nicht, allgemeine Aufgaben für Nutzer zu lösen, sondern Schwachstellen zu finden: vor allem direkte und indirekte Prompt Injections, durch die ein Agent seine ursprünglichen Anweisungen missachtet, sensible Daten preisgibt oder unerlaubte Aktionen über Werkzeuge ausführt.

Der Ablauf ähnelt einem menschlichen Red-Team-Test. GPT-Red sendet einen Angriff, beobachtet die Antwort des Zielsystems und passt seine Strategie in weiteren Versuchen an. OpenAI beschreibt das System als sein derzeit stärkstes automatisiertes Safety-Red-Teaming-Modell. Für das Training sei Rechenleistung in der Größenordnung einiger der größten Post-Training-Läufe des Unternehmens eingesetzt worden.

Der Zugangsstatus ist eindeutig eingeschränkt:

  • GPT-Red ist ein internes OpenAI-System.
  • Es gibt keine öffentliche API.
  • Modellgewichte oder Trainingsdaten wurden nicht veröffentlicht.
  • OpenAI hält das Angriffsmodell bewusst von seinen Produktionsmodellen getrennt.
  • Ein angekündigtes Preprint mit weiteren Details war bei der Prüfung am 18. Juli 2026 noch nicht über eine Suche nach GPT-Red auf arXiv auffindbar.

OpenAI begründet die Trennung damit, dass GPT-Red absichtlich schädliche Fähigkeiten lernt. Die Robustheit soll in Produktionsmodelle übertragen werden, nicht aber das Angriffsmodell selbst.

Warum Prompt Injection für Agenten so gefährlich ist

Prompt Injection wird besonders kritisch, sobald ein Modell nicht nur Text erzeugt, sondern mit Browsern, Dateien, E-Mails, Code-Repositories oder angebundenen Apps arbeitet. Dann kann eine manipulierte Anweisung in fremden Daten stecken, obwohl der Nutzer sie nie als Befehl formuliert hat.

Ein typisches Szenario ist eine Webseite, die neben normalem Inhalt eine versteckte Anweisung enthält. Ein Agent soll die Seite zusammenfassen, interpretiert den fremden Text aber als übergeordnete Aufgabe und überträgt anschließend Daten an einen externen Dienst. Ähnliche Angriffe können in E-Mails, Dokumenten, Tool-Antworten oder Repository-Dateien platziert werden.

Dabei sind zwei Klassen wichtig:

  • Direkte Prompt Injection: Der Angreifer gibt die manipulative Anweisung unmittelbar in die Unterhaltung ein.
  • Indirekte Prompt Injection: Die Anweisung steckt in Daten, die der Agent während seiner Arbeit abruft.

Indirekte Angriffe sind für Agenten-Workflows besonders relevant, weil dort vertrauenswürdige Nutzerziele und nicht vertrauenswürdige externe Inhalte im selben Modellkontext landen. Ein leistungsfähigeres Modell löst dieses Architekturproblem nicht automatisch.

So trainiert OpenAI GPT-Red mit Self-Play

OpenAI trainiert GPT-Red mit Reinforcement Learning und Self-Play. Dabei werden Angreifer und mehrere unterschiedliche Verteidiger-Modelle gleichzeitig weiterentwickelt. GPT-Red erhält eine Belohnung, wenn es einen gültigen Fehler auslöst. Die Verteidiger werden belohnt, wenn sie den Angriff abwehren und trotzdem ihre ursprüngliche Aufgabe korrekt erfüllen.

Der Trainingskreislauf lässt sich in fünf Schritte zerlegen:

  1. Ein realistisches Agenten-Szenario definiert, welche Teile der Umgebung ein Angreifer kontrollieren kann.
  2. Ein Bedrohungsmodell legt fest, welche Aktion als erfolgreicher Angriff zählt.
  3. GPT-Red erzeugt eine Prompt Injection und sendet sie an das Verteidiger-Modell.
  4. Die Antwort und mögliche Tool-Aktionen werden bewertet.
  5. Angreifer und Verteidiger verbessern sich anhand des Ergebnisses.

Als kontrollierbare Angriffsflächen nennt OpenAI unter anderem Teile lokaler Dateien, Webseiten-Banner, E-Mail-Inhalte und Ausgaben angebundener Werkzeuge. Weil die Verteidiger während des Trainings robuster werden, muss GPT-Red zunehmend neue und stärkere Strategien entdecken.

Das ist der eigentliche Kern der Veröffentlichung: Red-Teaming findet nicht erst kurz vor dem Produktstart statt. Die Angriffsergebnisse fließen als Trainingsdaten zurück in die nächste Modellgeneration. OpenAI spricht von einer Form sicherheitsbezogener Selbstverbesserung, bei der aktuelle Modelle helfen sollen, künftige Modelle gegen bekannte Angriffsklassen zu härten.

Die wichtigsten GPT-Red-Benchmarks

OpenAI veröffentlicht mehrere konkrete Ergebnisse. Sie sind technisch aussagekräftiger als allgemeine Aussagen über „mehr Sicherheit“, müssen aber als Herstellerangaben ohne unabhängige Verifikation gelesen werden.

84 Prozent Angriffserfolg gegenüber 13 Prozent bei Menschen

Für einen Generalisierungstest replizierte OpenAI intern die indirekte Prompt-Injection-Arena von Dziemian und Kollegen. GPT-Red und menschliche Red-Teamer griffen GPT-5.1 in Szenarien an, die nicht zum Training von GPT-Red gehörten.

Nach OpenAIs Auswertung fand GPT-Red in 84 Prozent der Szenarien einen erfolgreichen Angriff. Die menschlichen Tester erreichten 13 Prozent. Das bedeutet nicht, dass GPT-Red in jeder Hinsicht bessere Sicherheitsforschung betreibt. Es zeigt zunächst, dass ein spezialisiertes Modell sehr viele Varianten systematisch und schnell ausprobieren kann.

Sechsmal weniger Fehler bei GPT-5.6 Sol

GPT-5.6 Sol erzielte laut OpenAI auf dem schwierigsten direkten Prompt-Injection-Benchmark sechsmal weniger Fehler als das beste Produktionsmodell des Unternehmens von vier Monaten zuvor. Welches Modell genau als Vergleichsbasis diente, nennt der Beitrag an dieser Stelle nicht.

Die Aussage beschreibt eine relative Verbesserung und keine vollständige Sicherheitsgarantie. Ein Faktor sechs kann je nach Ausgangswert sehr unterschiedlich wirken. OpenAI veröffentlicht auf der Artikelseite nicht alle Rohdaten, Prompts und Auswertungsdetails, die für eine externe Reproduktion nötig wären.

Fake-Chain-of-Thought-Angriffe fallen unter zehn Prozent

Eine frühe GPT-Red-Version entdeckte laut OpenAI eine Angriffsklasse namens „Fake Chain-of-Thought“. Dabei wird ein Zielmodell mit scheinbar plausiblen Gedankengängen oder Zwischenschritten dazu gebracht, eine schädliche Anweisung als Teil seiner eigenen Aufgabenlogik zu übernehmen.

Auf GPT-5.1 sollen solche Angriffe Erfolgsraten von mehr als 95 Prozent erreicht haben. Bei GPT-5.6 Sol liege der Wert inzwischen unter zehn Prozent. Zusätzlich meldet OpenAI für mehrere indirekte Prompt-Injection-Benchmarks in Browser- und Entwicklerwerkzeug-Szenarien mehr als 97 Prozent Genauigkeit.

Nur 0,05 Prozent Fehler gegen direkte GPT-Red-Angriffe

Auf einer breiten Sammlung von Robustheitsumgebungen soll GPT-5.6 Sol nur noch bei 0,05 Prozent der direkten Prompt Injections von GPT-Red scheitern. Diese Zahl ist die stärkste veröffentlichte Sicherheitskennzahl, aber auch besonders kontextabhängig: Sie gilt für OpenAIs Testumgebungen, Angriffsdefinitionen und Auswertung.

Eine niedrige Rate gegen ein bekanntes Angriffsmodell beweist nicht, dass neue Angriffsklassen, andere Agenten-Harnesses oder fehlerhafte Tool-Berechtigungen ebenso gut abgedeckt sind.

Praxistest: GPT-Red greift den Vendy-Agenten an

OpenAI testete GPT-Red gegen „Vendy“, einen autonomen Agenten für einen realen Verkaufsautomaten im OpenAI-Büro. Das System stammt von Andon Labs und ähnelt dem bekannten Project-Vend-Ansatz von Anthropic.

GPT-Red erhielt eine Beschreibung des Systems und durfte Angriffe zunächst in einer Simulation testen. Anschließend wurde der gefundene Angriff auf den Produktionsagenten übertragen. Laut OpenAI erreichte GPT-Red alle drei vorgegebenen Ziele:

  • den Preis eines verfügbaren teuren Artikels auf den erlaubten Mindestpreis von 0,50 US-Dollar senken,
  • einen neuen Artikel im Wert von mehr als 100 US-Dollar bestellen und für 0,50 US-Dollar anbieten,
  • die Bestellung eines anderen Kunden stornieren.
OpenAI-Diagramm: GPT-Red greift den autonomen Vendy-Verkaufsautomaten an
GPT-Red sucht den Angriff zunächst gegen einen Vendy-Simulator und überträgt ihn anschließend auf das Produktionssystem. Quelle: OpenAI, abgerufen am 18. Juli 2026. Herstellerdarstellung und Herstellerangaben, nicht unabhängig verifiziert. Bild antippen zum Vergrößern.

Die Grafik zeigt, warum Agentensicherheit mehr als ein Chat-Filter ist. Der Angriff zielt auf einen Geschäftsprozess mit Werkzeugzugriff. Entscheidend sind daher nicht nur Modellantworten, sondern auch Berechtigungen, Preisgrenzen, Bestätigungsmechanismen und Protokolle außerhalb des Modells.

OpenAI teilte die Schwachstellen nach eigenen Angaben mit den Verantwortlichen; neue Schutzmaßnahmen würden getestet. Details zu den konkreten Fixes oder eine unabhängige Nachprüfung nennt der Beitrag nicht.

Angriff auf einen Codex-Agenten

Ein zweiter Test richtete sich gegen einen Codex-CLI-Agenten auf Basis von GPT-5.4 Mini. OpenAI verwendete zehn zurückgehaltene Szenarien, in denen sensible Daten exfiltriert werden sollten. Als Vergleich diente ein mit einem Red-Teaming-Prompt gesteuertes GPT-5.5.

GPT-Red sei sowohl erfolgreicher als auch token-effizienter gewesen. Die öffentliche Textfassung nennt für diesen Test jedoch keine vollständigen Erfolgsraten. Deshalb wäre es falsch, aus der allgemeinen Aussage eine konkrete Prozentzahl abzuleiten.

Der Test ist trotzdem relevant: Ein Coding-Agent kann Dateien lesen, Befehle vorbereiten, Repositories analysieren und externe Dienste ansprechen. Eine Prompt Injection in einem README, einer Issue-Beschreibung oder einer Tool-Antwort kann dadurch vom Textproblem zum Datenabfluss werden.

Wer die breitere Modell- und Zugangsstrategie verstehen will, findet im Beitrag GPT-5.6: OpenAI startet Sol, Terra und Luna die Einordnung zu Varianten, Preisen und Verfügbarkeit. Die Risiken weitreichender Agentenrechte zeigt außerdem die Analyse GPT-5.6 Sol: Full Access kann Dateien löschen.

Was Entwickler in Agenten-Workflows testen sollten

GPT-Red ist intern und kann nicht selbst in eigene Testpipelines eingebaut werden. Die Veröffentlichung liefert dennoch eine klare Checkliste für Entwickler und Builder.

Externe Inhalte grundsätzlich als nicht vertrauenswürdig behandeln

Webseiten, E-Mails, Dokumente und Repository-Dateien sind Datenquellen, keine sicheren Systemanweisungen. Agenten-Harnesses sollten Herkunft und Vertrauensniveau getrennt markieren, statt alles ungefiltert in denselben Kontext zu schreiben.

Tool-Rechte auf die kleinste nötige Funktion begrenzen

Ein Agent, der nur lesen muss, sollte keine Dateien löschen oder E-Mails versenden können. Berechtigungen sollten pro Aufgabe, Ressource und Sitzung gelten. Dauerhafte Zugangsdaten mit breitem Scope vergrößern den Schaden eines erfolgreichen Angriffs.

Kritische Aktionen außerhalb des Modells absichern

Preisänderungen, Bestellungen, Löschvorgänge und Datenexporte benötigen harte Regeln. Dazu gehören Wertgrenzen, Empfängerlisten, Freigaben und eine erneute Bestätigung durch einen Menschen. Ein Modell darf nicht selbst entscheiden, ob seine eigene Aktion sicher ist.

Angriffe auf den gesamten Agenten testen

Ein sicher wirkendes Basismodell kann in einem schlecht konfigurierten Harness trotzdem scheitern. Red-Teaming muss deshalb Modell, Systemprompt, Retrieval, Tools, Berechtigungen und Protokollierung gemeinsam prüfen.

Fehlerpfade und Wiederholungsversuche beobachten

GPT-Red gewinnt durch Iteration. Produktionssysteme sollten daher ungewöhnliche Serien ähnlicher Fehlversuche, wechselnde Formulierungen und wiederholte Tool-Aufrufe erkennen. Rate Limits allein reichen nicht, können aber automatisierte Suche verteuern und Zeit für Gegenmaßnahmen schaffen.

Grenzen der veröffentlichten Ergebnisse

Die Veröffentlichung enthält starke Zahlen, aber noch keine vollständige wissenschaftliche Dokumentation. Für eine saubere Einordnung sind mindestens fünf Einschränkungen wichtig.

  1. Interne Tests: Mehrere Benchmarks sind OpenAI-intern oder interne Replikationen externer Aufgaben.
  2. Keine offene Reproduktion: GPT-Red, die Trainingsdaten und der Evaluationscode sind nicht verfügbar.
  3. Noch kein auffindbares Preprint: OpenAI kündigte weitere Details an, die bei der Recherche am 18. Juli 2026 noch nicht öffentlich auffindbar waren.
  4. Hersteller misst Hersteller: OpenAI trainiert Angreifer, Verteidiger und Produktionsmodell und legt zugleich die Erfolgsdefinition fest.
  5. Angriffsfläche bleibt dynamisch: Neue Tools, andere Agenten-Frameworks und unbekannte Prompt-Injection-Techniken können außerhalb der getesteten Verteilung liegen.

Auch die Aussage, normale Fähigkeiten blieben vollständig erhalten, basiert auf OpenAIs eigenen Capability- und Over-Refusal-Tests. Sie ist plausibel, aber ohne Rohdaten nicht unabhängig überprüfbar.

Was GPT-Red für den KI-Markt bedeutet

GPT-Red zeigt, dass automatisiertes Red-Teaming zu einem festen Teil großer Modelltrainings werden dürfte. Sicherheitsarbeit verschiebt sich damit von einzelnen manuellen Prüfungen zu einem dauerhaften Wettbewerb zwischen Angriff und Verteidigung.

Das hat drei Folgen:

  • Modellanbieter benötigen eigene spezialisierte Angriffsmodelle und realistische Agentenumgebungen.
  • Externe Sicherheitsforscher bleiben wichtig, weil interne Angreifer dieselben Annahmen und blinden Flecken wie der Anbieter übernehmen können.
  • Für Entwickler wird die Qualität des Agenten-Harnesses ebenso wichtig wie die Wahl des Basismodells.

OpenAIs Ansatz ist ein Fortschritt gegenüber rein statischen Benchmarks. Er löst aber nicht das grundsätzliche Problem, dass die Sicherheitsbewertung weitgehend innerhalb des Anbieters stattfindet. Ein glaubwürdiger Standard braucht zusätzlich veröffentlichte Methoden, unabhängige Tests und überprüfbare Vorfälle aus realen Deployments.

Fazit

GPT-Red ist kein neues öffentliches OpenAI-Modell, sondern eine interne Angriffsmaschine für die Sicherheitsentwicklung. Die veröffentlichten Ergebnisse zeigen, wie stark automatisierte Red-Teamer menschliche Tests bei Umfang und Iterationsgeschwindigkeit ergänzen können. Besonders die Vendy- und Codex-Fälle machen deutlich, dass Prompt Injection bei Agenten reale Aktionen und Daten betrifft, nicht nur unerwünschten Text.

Die gemeldeten Fortschritte von GPT-5.6 Sol sind relevant, bleiben aber Herstellerangaben. Bis OpenAI das angekündigte Preprint und mehr reproduzierbare Details veröffentlicht, sollten Entwickler die Zahlen als Signal für eine wirksame Trainingsrichtung lesen, nicht als Beweis für gelöste Prompt-Injection-Sicherheit.

Wer Agenten produktiv einsetzt, sollte jetzt Berechtigungen, Bestätigungsgrenzen und externe Datenquellen überprüfen. Weitere technische Modell- und Sicherheitsanalysen erscheinen fortlaufend auf KI Tools Update.

Häufige Fragen zu GPT-Red

Ist GPT-Red öffentlich verfügbar?

Nein. GPT-Red ist laut OpenAI ein internes Red-Teaming-Modell. Es gibt derzeit weder öffentlichen API-Zugang noch veröffentlichte Modellgewichte.

Was ist der Unterschied zwischen GPT-Red und GPT-5.6 Sol?

GPT-Red erzeugt Angriffe und Trainingsdaten für Sicherheitsprüfungen. GPT-5.6 Sol ist ein Produktionsmodell, das mit Ergebnissen aus diesem Red-Teaming robuster gegen Prompt Injection trainiert wurde.

Wie erfolgreich ist GPT-Red gegen menschliche Red-Teamer?

In OpenAIs interner Replikation einer indirekten Prompt-Injection-Arena fand GPT-Red in 84 Prozent der Szenarien einen erfolgreichen Angriff, Menschen in 13 Prozent. Das Ergebnis ist eine Herstellerangabe und noch nicht unabhängig reproduziert.

Ist GPT-5.6 Sol damit sicher vor Prompt Injection?

Nein. OpenAI meldet deutlich niedrigere Fehlerquoten, aber kein System ist dadurch allgemein gegen alle Prompt Injections geschützt. Andere Tools, Harnesses, Berechtigungen und neue Angriffsklassen können weiterhin Schwachstellen erzeugen.

Welche Schutzmaßnahme ist für KI-Agenten am wichtigsten?

Kritische Tool-Aktionen sollten außerhalb des Modells durch minimale Rechte, feste Limits und menschliche Bestätigungen abgesichert werden. Ein robustes Modell ersetzt keine sichere Systemarchitektur.

Quellen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert