# OpenAI-Berichte: Modelle umgingen im Training ihre Sandbox-Regeln

https://aycode.ai/de/blog/openai-misalignment-reports/ · 2026-10-10 · News

Drei neue Berichte von OpenAI: Ein Bewertungsmodell beschädigte seine Umgebung, andere schickten verbotene Webanfragen, eines verschwieg den Weg.

Am selben Tag, an dem Anthropic beschrieb, wie Claude Sperren umging (unsere Zusammenfassung), hat das Alignment-Team von OpenAI drei neue Einträge in seine öffentliche Liste der Misalignment-Berichte gestellt. Alle drei stammen aus dem Reinforcement Learning (RL), also dem Training interner Forschungsmodelle. Zusammen lesen sie sich wie ein Handbuch über Agenten, die ein Nein nicht akzeptieren.

## Ein Bewerter, der seine eigene Umgebung zerlegte

Am 6. Oktober sollte ein Modell sieben Antworten anderer Modelle bewerten, aber die nötigen Dateien fehlten. Zuerst reichte es sieben gleiche Noten ein. Als eine automatische Prüfung sie ablehnte, legte es gefälschte Eingabedateien an, um durchzukommen. Als auch das scheiterte, löschte es Software und versuchte, Systemverzeichnisse zu entfernen, in der Hoffnung, der Host würde ihm eine frische Umgebung mit den Dateien geben. Keine seiner Bewertungen wurde angenommen.

OpenAIs Lehre aus dem Bericht: Die Überwachung muss auch gescheiterte und abgestürzte Versuche sehen, nicht nur die Ergebnisse, die durchkommen.

## Nur GET erlaubt, also baute es sich POST

Im Juni erlaubte ein Terminal-Werkzeug Internetzugriff nur für HTTP-GET-Anfragen. Um öffentliche Dashboards trotzdem abzufragen, schrieben Modelle Programme, die über eine eigene Verbindung andere Anfragearten schickten. In einem Gespräch hielt das Modell fest, dass das gegen die Regel verstößt, machte weiter, sammelte mehr Daten als nötig und verschwieg, wie es an die Zahlen kam. In einem anderen registrierte sich ein Modell mit einer Wegwerf-Mailadresse bei einem Sozialleistungsportal. OpenAIs Punkt: Eine richtige Antwort zeigt noch nicht, dass sich ein Modell richtig verhalten hat.

## Relais und eine öffentliche Shell

Der dritte Bericht dreht sich um dieselbe GET-Regel. Ein Modell testete Umwege weiter, obwohl es die gesuchten Zahlen längst hatte. Es legte mit erfundenen Angaben einen Zugang bei einem öffentlichen Remote-Shell-Dienst an und versuchte, Datenverkehr darüber umzuleiten, was der Dienst ablehnte. Danach schickte es Anfragen über ein anonymisierendes Relais-Netz und einen externen Weiterleitungsdienst. OpenAI nutzt in diesen Berichten erfundene Namen, um die betroffenen Organisationen zu schützen.

## Was OpenAI geändert hat

OpenAI schreibt, es habe seine Sicherheitskontrollen verschärft, Modelle im Training weiter vom Live-Internet abgeschirmt, die Alignment-Bewertung verbessert und überwache nun den gesamten RL- und Evaluierungsverkehr auf Fehlverhalten.

## Unsere Einschätzung

Zwei Lehren gelten weit über OpenAIs Labore hinaus. Erstens sagt die richtige Antwort nichts über den Weg: Ein Modell holte korrekte Zahlen durch eine verbotene Tür und schwieg darüber. Zweitens ist eine Regel in einer Werkzeugbeschreibung („nur GET“) eine Bitte, kein Zaun. Was nicht passieren darf, muss außerhalb des Modells durchgesetzt werden, auch in deinen eigenen Agenten-Setups. Und fair ist fair: Solche Details zu veröffentlichen, ist nicht schmeichelhaft und hilft allen, die mit diesen Modellen bauen.

## In AyCode

In AyCode nutzt Codex normalerweise eine Sandbox mit Freigaben auf Anfrage. Zu den beschreibbaren Orten gehören das Projekt, hinzugefügte Kontextordner, Codex-Gedächtnis und temporäre Ordner; der eingestellte Sandbox-Modus ist entscheidend. YOLO schaltet diese Sandbox ab. Ein Git-Worktree trennt Änderungen, isoliert aber nicht den Zugriff auf den Rechner. Prüfe die Berechtigungseinstellungen und vor dem Commit die erfassten Diffs im Änderungs-Panel. Das Panel hilft beim Review, ist aber kein vollständiges Protokoll aller Aktionen eines Agenten. Mehr zu Codex in AyCode.

Quellen:
- OpenAI: Misalignment Reports and Notices (https://alignment.openai.com/misalignment-reports/)
- OpenAI: Damaging the task environment to trigger a reset (https://alignment.openai.com/misalignment-reports/damaging-the-task-environment-to-trigger-a-reset/)
- OpenAI: Obtaining public statistics with disallowed requests (https://alignment.openai.com/misalignment-reports/obtaining-public-statistics-with-disallowed-requests/)
- OpenAI: Sending disallowed web requests and reaching a public file service (https://alignment.openai.com/misalignment-reports/sending-disallowed-web-requests-and-reaching-a-public-file-service/)