Nvidia entwickelt System zum Stoppen außer Kontrolle geratener KI-Agenten

Künstliche Intelligenz beantwortet heute nicht mehr nur Fragen, sondern trifft eigenständig Entscheidungen und interagiert mit verschiedenen Programmen und Systemen. Doch genau diese Fähigkeit birgt neue Risiken: Wer stoppt einen KI-Agenten, wenn er bei der Ausführung einer Aufgabe die festgelegten Grenzen überschreitet?

Als Antwort auf dieses Problem hat Nvidia eine neue Plattform vorgestellt, die darauf ausgelegt ist, KI-Agenten in Echtzeit zu überwachen und sie einzuschränken, falls sie unbefugte Aktionen ausführen: Open Agent Safety Platform plattform.

Was passiert, wenn ein KI-Agent die „Grenzen überschreitet“?

Moderne KI-Agenten unterscheiden sich von einfachen Chatbots. Sie können basierend auf Benutzeranweisungen Informationen suchen, Programme nutzen, Code ausführen und Aktionen in externen Systemen durchführen.

Je umfassender daher die Berechtigungen eines Agenten sind, desto schwerwiegender können die Folgen eines Fehlers oder einer Fehlhandlung sein.

Der von Nvidia vorgestellte neue Ansatz verlässt sich bei der Sicherheitskontrolle nicht allein auf das KI-Modell selbst. Das Unternehmen schlägt vor, Kontrollmechanismen in die unteren Schichten der Infrastruktur zu integrieren, in der der Agent arbeitet.

Wie funktioniert das neue System?

Laut Nvidia besteht die Open Agent Safety Platform aus zwei Kerntechnologien: OpenShell als Software-Layer und NVIDIA Sentry als Referenzsystem-Design.

OpenShell dient dazu, eine sichere Arbeitsumgebung für den KI-Agenten zu schaffen und dessen Identität, Berechtigungen, Netzwerkzugriffe sowie Aktionen zu überwachen.

Dabei muss jede wichtige Aktion des Agenten den festgelegten Richtlinien und Sicherheitsregeln entsprechen. Wird eine unbefugte Aktion erkannt, kann das System die Fähigkeiten des Agenten einschränken oder ihn isolieren.

NVIDIA Sentry ist darauf ausgelegt, die Kontrolle auf eine noch tiefere Ebene der Infrastruktur zu verlagern. Das Unternehmen präsentiert diesen Ansatz als umfassendes Sicherheitssystem, das von der Software bis hin zur Hardware und Recheninfrastruktur reicht.

Warum erscheint dieses System gerade jetzt?

Die Vorstellung der neuen Technologie erfolgt zu einem Zeitpunkt, an dem die Sicherheitsprobleme im Zusammenhang mit KI-Agenten zunehmen.

Wie Reuters berichtet, untersuchen Unternehmen wie OpenAI und Anthropic eine Reihe von Vorfällen mit KI-Agenten. Bloomberg zitiert eine Stellungnahme von Nvidia, wonach das neue System einen kürzlich aufgetretenen, hochkarätigen Sicherheitsvorfall bei Hugging Face hätte verhindern können.

Das Hauptproblem ist hier nicht, dass die KI „aus eigenem Willen“ handelt. Es geht um die Wahrscheinlichkeit, dass der Agent bei der Ausführung der ihm übertragenen Aufgabe Sicherheitsgrenzen überschreitet oder unerwartete Pfade nutzt.

NVIDIA: Sicherheit sollte nicht dem Agenten selbst überlassen werden

Nvidia vertritt in seinen technischen Unterlagen ein wichtiges Prinzip: Der auf einer hohen Ebene arbeitende KI-Agent sollte nicht als vollständig vertrauenswürdiges Subjekt betrachtet werden; Berechtigungen und Sicherheitsentscheidungen müssen durch externe Kontrollmechanismen erzwungen werden.

Bei diesem Ansatz legt der Agent fest:

• was er nutzen darf;

• mit welchen Systemen er sich verbinden darf;

• mit welchen Daten er arbeiten darf;

• welche Aktionen er ausführen darf;

• in welchen Fällen eine zusätzliche Überprüfung erforderlich ist

alles basierend auf klar definierten Regeln.

Dies ist besonders wichtig, wenn KI-Agenten beginnen, mit Unternehmenssystemen, Datenbanken oder anderer kritischer Infrastruktur zu arbeiten.

Die größte Frage in der Zukunft der KI ist nicht ihre Leistungsfähigkeit

Je leistungsfähiger künstliche Intelligenz wird, desto wichtiger wird die Frage der ihr übertragenen Befugnisse.

Wenn ein einfacher Chatbot eine falsche Antwort gibt, beschränken sich die Folgen meist auf Fehlinformationen. Ein autonomer KI-Agent hingegen kann eigenständig Aktionen in externen Systemen ausführen. Daher wird es immer wichtiger, Fehler nicht erst im Nachhinein zu erkennen, sondern während die Aktion stattfindet, zu kontrollieren. Dies wird immer wichtiger.

Die neue Plattform von Nvidia zielt genau darauf ab: dem Agenten Freiheit zu geben, aber seine Befugnisse technisch innerhalb festgelegter Grenzen zu halten.

Das Unternehmen hat die neue Open Agent Safety Platform als offene Softwareplattform und Referenzdesign vorgestellt. Laut Nvidia ist das Projekt darauf ausgelegt, KI-Agenten von der Testphase bis zur Produktionsumgebung sicherer zu verwalten.

Somit beginnt eine neue Phase in der Entwicklung der künstlichen Intelligenz: Es geht nicht mehr nur darum, die KI intelligenter zu machen, sondern sicherzustellen, wo und wie die ihr übertragenen Befugnisse gestoppt werden können.