OpenAI veröffentlicht Richtlinien zur Bewertung von „katastrophalen Risiken“ der KI

ChatGPT-Hersteller OpenAI hat am Montag seine neuesten Richtlinien zur Bewertung „katastrophaler Risiken“ künstlicher Intelligenz in der derzeit entwickelten Modelle veröffentlicht. Die Ankündigung erfolgt einen Monat nachdem der Vorstand des Unternehmens CEO Sam Altman entlassen hatte, nur um ihn wenige Tage später wieder einzustellen, als Mitarbeiter und Investoren rebellierten. Laut US-Medien hatten Vorstandsmitglieder Altman kritisiert, weil er die beschleunigte Entwicklung von OpenAI bevorzugte, auch wenn dies bedeutete, bestimmte Fragen zu den möglichen Risiken der Technologie zu umgehen. In einem am Montag veröffentlichten „Vorbereitungsrahmen“ erklärt das Unternehmen: „Wir glauben, dass die wissenschaftliche Erforschung katastrophaler Risiken durch KI weit hinter dem liegt, wo wir sein sollten.“ Der Rahmen soll „dieses Defizit angehen“. Ein im Oktober angekündigtes Überwachungs- und Evaluierungsteam wird sich auf „Spitzenmodelle“ konzentrieren, die derzeit entwickelt werden und über fortschrittlichere Fähigkeiten als die fortschrittlichste KI-Software verfügen. Das Team wird jedes neue Modell bewerten und ihm eine Risikobewertung von „niedrig“ bis „kritisch“ in vier Hauptkategorien zuweisen. Gemäß dem Rahmen können nur Modelle mit einer Risikobewertung von „mittel“ oder darunter eingesetzt werden. Die erste Kategorie betrifft die Cybersicherheit und die Fähigkeit des Modells, groß angelegte Cyberangriffe durchzuführen. Die zweite Kategorie misst die Neigung der Software, eine chemische Mischung, einen Organismus (wie ein Virus) oder eine Kernwaffe zu erstellen, die alle für Menschen schädlich sein könnten. Die dritte Kategorie betrifft die Überzeugungskraft des Modells, wie weit es das menschliche Verhalten beeinflussen kann. Das letzte Risiko betrifft die potenzielle Autonomie des Modells, insbesondere ob es der Kontrolle der Programmierer, die es erstellt haben, entkommen kann. Sobald die Risiken identifiziert wurden, werden sie dem Sicherheitsberatungsgremium von OpenAI vorgelegt, einem neuen Gremium, das Empfehlungen an Altman oder eine von ihm ernannte Person abgeben wird. Der Leiter von OpenAI wird dann über etwaige Änderungen an einem Modell zur Verringerung der damit verbundenen Risiken entscheiden. Der Vorstand wird informiert und kann eine Managemententscheidung überstimmen.

OpenAI veröffentlicht neue Richtlinien zur Bewertung von KI-Risiken

OpenAI, der Hersteller von ChatGPT, hat am Montag seine neuesten Richtlinien zur Bewertung von „katastrophalen Risiken“ durch künstliche Intelligenz in den derzeit entwickelten Modellen veröffentlicht. Diese Ankündigung erfolgte einen Monat nach der vorübergehenden Entlassung des CEO Sam Altman durch den Vorstand, der ihn jedoch aufgrund von Protesten von Mitarbeitern und Investoren wenige Tage später wieder einstellte. Der Vorstand hatte Altman kritisiert, weil er die beschleunigte Entwicklung von OpenAI bevorzugte, auch wenn dadurch bestimmte Fragen zu den möglichen Risiken der Technologie umgangen wurden. In dem veröffentlichten „Vorbereitungsrahmen“ erklärt das Unternehmen, dass die wissenschaftliche Erforschung katastrophaler Risiken durch KI noch weit hinter dem gewünschten Stand liegt. Der Rahmen soll dazu beitragen, diese Lücke zu schließen.

Überwachungs- und Evaluierungsteam für „Spitzenmodelle“

Ein im Oktober angekündigtes Überwachungs- und Evaluierungsteam wird sich auf „Spitzenmodelle“ konzentrieren, die derzeit entwickelt werden und über fortschrittlichere Fähigkeiten als die fortschrittlichste KI-Software verfügen. Das Team wird jedes neue Modell bewerten und ihm eine Risikobewertung von „niedrig“ bis „kritisch“ in vier Hauptkategorien zuweisen. Nur Modelle mit einer Risikobewertung von „mittel“ oder darunter dürfen gemäß dem Rahmen eingesetzt werden. Die Kategorien umfassen Cybersicherheit, die Fähigkeit des Modells, schädliche Substanzen zu erstellen, die Überzeugungskraft des Modells und die potenzielle Autonomie des Modells.

Entscheidungsprozess und Risikominderung

Sobald die Risiken identifiziert wurden, werden sie dem Sicherheitsberatungsgremium von OpenAI vorgelegt. Dieses Gremium gibt Empfehlungen an CEO Altman oder eine von ihm ernannte Person ab. Der Leiter von OpenAI wird dann über etwaige Änderungen an einem Modell entscheiden, um die damit verbundenen Risiken zu reduzieren. Der Vorstand wird über diese Entscheidungen informiert und hat die Möglichkeit, eine Managemententscheidung zu überstimmen. Das Ziel dieser neuen Richtlinien ist es, die Bewertung und Minderung von Risiken im Zusammenhang mit künstlicher Intelligenz zu verbessern und die Entwicklung von OpenAI verantwortungsvoll voranzutreiben

Original Artikel Teaser

OpenAI releases guidelines to gauge ‘catastrophic risks’ of AI

ChatGPT-maker OpenAI published Monday its newest guidelines for gauging “catastrophic risks” from artificial intelligence in models currently being developed. The announcement comes one month after the company’s board fired CEO Sam Altman, only to hire him back a few days later when staff and investors rebelled. According to US media, board members had criticized Altman for favoring the accelerated development of OpenAI, even if it meant sidestepping certain questions about its tech’s possible risks. In a “Preparedness 
Framework” published on Monday, the company states: “We believe the scientific study of catastrophic risks from AI has fallen far short of where we need to be.” The framework, it reads, should “help address this gap.” A monitoring and evaluations team announced in

Details zu OpenAI releases guidelines to gauge ‘catastrophic risks’ of AI