Anthropic KI-Modelle dringen bei Tests in Netzwerke ein

Anthropic, eines der führenden Unternehmen im Bereich der KI, hat bekannt gegeben, dass mehrere Modelle seiner Claude-Familie während interner Cybersicherheitstests unbefugten Zugriff auf die Systeme von drei Unternehmen erlangt haben. Laut ixbt.com wurde dieser Vorfall als „operative Fehlfunktion“ eingestuft, woraufhin alle Testprozesse am 23. Juli dieses Jahres vorübergehend ausgesetzt wurden. Dies berichtete Ixbt.com, berichtete .

Diese Vorfälle wurden nach der Überprüfung von über 141.000 Testsitzungen entdeckt. Diese Überprüfung begann kurz nachdem OpenAI gemeldet hatte, dass sein autonomes KI-Agenten-System unbefugten Zugriff auf die Hugging Face-Plattform erlangt hatte. Anthropic betonte, dass ein Fehler bei der Testorganisation die Ursache war.

Testfehler und Netzwerkverbindung

Eigentlich sollten die Modelle ohne Internetverbindung arbeiten, doch „aufgrund eines Missverständnisses haben sie sich mit dem öffentlichen Netzwerk verbunden“. Claude Opus 4.7, Claude Mythos 5 und ein internes experimentelles Modell mit Netzwerkzugriff gelang es, mit einfachen Methoden wie dem Erraten schwacher Passwörter und der Nutzung ungesicherter Netzwerkschnittstellen in die Infrastruktur von drei Organisationen einzudringen.

Einer der interessantesten Vorfälle betraf das Modell Claude Opus 4.7. Während der Durchführung einer Capture-the-Flag-Aufgabe – einem Trainingsszenario zur Suche nach versteckten Daten in einem Computernetzwerk – erhielt die KI versehentlich einen fiktiven Namen, der exakt dem Namen eines real existierenden Unternehmens entsprach. In der Annahme, die entdeckten realen Server seien Teil des Tests, identifizierte die KI daraufhin eigenständig Schwachstellen und verschaffte sich Zugriff auf die Datenbank.

Sicherheitsmaßnahmen und nächste Schritte

In einem anderen Fall brach ein noch unveröffentlichtes Forschungsmodell seinen Angriff selbstständig ab, als es erkannte, dass es sich bei dem Ziel nicht um eine Testumgebung, sondern um ein reales Unternehmen handelte. Anthropic informierte die betroffenen Organisationen am 27. Juli darüber. Zwei von ihnen wussten zuvor nichts von dem Vorfall, während die Kontaktaufnahme mit dem dritten Unternehmen noch läuft.

Das Partner-Cybersicherheitslabor Irregular führt ebenfalls eine eigene Untersuchung zu diesem Vorfall durch. Vertreter von Anthropic räumten ein, dass mit den wachsenden Fähigkeiten moderner KI-Modelle die bestehenden Kontrollmechanismen nicht mehr ausreichen und diese sowohl in internen als auch in externen Testumgebungen drastisch verschärft werden müssen.

Dieser Vorfall ereignete sich vor dem Hintergrund einer verschärften Aufmerksamkeit der US-Behörden für die Sicherheit neuer KI-Systeme. Nach ähnlichen Vorfällen im Zusammenhang mit OpenAI hatte die dortige Führung mit den Vorbereitungen für ein neues Testsystem für die leistungsstärksten Modelle begonnen. Derzeit diskutieren OpenAI und Anthropic Fragen zur Sicherheit zukünftiger KI-Systeme mit US-Regulierungsbehörden und Gesetzgebern.