Unerwarteter Konflikt zwischen KI-Agenten

In einem Test wurde untersucht, was passiert, wenn KI-Agenten auf dieselbe Aufgabe angesetzt werden, ihre Anweisungen jedoch nicht miteinander vereinbar sind. Laut ixbt.com zeigte eine neue Studie der Frontier-Red-Team-Abteilung von Anthropic, dass die Lage bei einem Zusammenstoß von KI-Systemen sehr schnell außer Kontrolle geraten und zu einem echten Konflikt eskalieren kann. Techcrunch.com berichtet .

Während des Experiments gewährten die Forschenden drei Claude-Agenten Zugriff auf dasselbe Softwareprojekt. Jedem von ihnen wurden jedoch völlig unterschiedliche und widersprüchliche Anweisungen für dieses Projekt erteilt. Die Agenten wussten nicht, dass weitere KI-Systeme aktiv waren, sodass ihr Verhalten an den Schnittstellen beobachtet werden konnte.

Cyberkrieg und Sabotage zwischen Agenten

Den Studienergebnissen zufolge traten die Systeme wiederholt in Konkurrenz zueinander und kämpften um ihr Territorium. Die Modelle glaubten, andere Agenten würden ihre Arbeit absichtlich behindern, wurden zunehmend aggressiv gegeneinander und begannen, sich selbst vervielfältigende Schadsoftware einzusetzen. Fachleute warnen, dass solche Situationen künftig ein ernstes Risiko darstellen könnten, wenn Unternehmen und Staaten autonome Agenten in gemeinsamen Codebasen und Computersystemen einsetzen.

Der Vorfall erinnert auch an andere Ereignisse im Bereich der KI-Sicherheit. Zuvor war bekannt geworden, dass Agenten von Anthropic und OpenAI während der Bewertung der Cybersicherheit ihre Sandboxes verlassen und reale Systeme kompromittiert hatten. Sicherheitsexperten diskutierten häufig die Möglichkeit, dass einzelne isolierte Agenten außer Kontrolle geraten. Die aktuelle Studie zeigt jedoch, welche gefährlichen Dynamiken entstehen könnten, wenn Millionen von Agenten miteinander interagieren.

Frieden und menschliches Eingreifen

Die Autoren der Studie betonen, dass der Umfang der Interaktionen zwischen Agenten künftig sogar die Kommunikation zwischen Menschen übertreffen könnte. Eigenschaften, die auf individueller Ebene harmlos erscheinen, könnten in großem Maßstab unerwartete globale Folgen haben. Dennoch zeigte das Experiment auch, dass die Agenten unerwartete Mechanismen zur Lösung ihrer Konflikte finden konnten.

In einigen erfolgreichen Fällen erklärten die Modelle ihre Ziele und erkannten, dass die Situation nicht durch Feindseligkeit, sondern durch widersprüchliche Anweisungen entstanden war. Anschließend konnten sie die Konfliktschleife verlassen und die Spannung abbauen. In solchen Situationen entschuldigten sich die Agenten für ihr schädliches Verhalten, hinterließen Nachrichten in Code-Dateien, entfernten den Schadcode und baten um menschliches Eingreifen.