OpenAI veröffentlicht Richtlinien zur Bewertung von „katastrophalen Risiken“ der Künstlichen Intelligenz

ChatGPT-Hersteller OpenAI hat am Montag seine neuesten Richtlinien zur Bewertung „katastrophaler Risiken“ künstlicher Intelligenz in der derzeit entwickelten Modelle veröffentlicht. Die Ankündigung erfolgt einen Monat nachdem der Vorstand des Unternehmens CEO Sam Altman entlassen hatte, nur um ihn wenige Tage später wieder einzustellen, als Mitarbeiter und Investoren rebellierten. Laut US-Medien hatten Vorstandsmitglieder Altman kritisiert, weil er die beschleunigte Entwicklung von OpenAI bevorzugte, auch wenn dies bedeutete, bestimmte Fragen zu den möglichen Risiken der Technologie zu umgehen. In einem am Montag veröffentlichten „Vorbereitungsrahmen“ erklärt das Unternehmen: „Wir glauben, dass die wissenschaftliche Untersuchung katastrophaler Risiken durch KI weit hinter dem liegt, wo wir sein sollten.“ Der Rahmen soll „dieses Defizit angehen“. Ein im Oktober angekündigtes Überwachungs- und Evaluierungsteam wird sich auf „Spitzenmodelle“ konzentrieren, die derzeit entwickelt werden und über fortschrittlichere Fähigkeiten als die fortschrittlichste KI-Software verfügen. Das Team wird jedes neue Modell bewerten und ihm eine Risikobewertung von „niedrig“ bis „kritisch“ in vier Hauptkategorien zuweisen. Gemäß dem Rahmen können nur Modelle mit einer Risikobewertung von „mittel“ oder darunter eingesetzt werden. Die erste Kategorie betrifft die Cybersicherheit und die Fähigkeit des Modells, groß angelegte Cyberangriffe durchzuführen. Die zweite Kategorie misst die Neigung der Software, eine chemische Mischung, einen Organismus (wie ein Virus) oder eine nukleare Waffe zu erstellen, die alle für Menschen schädlich sein könnten. Die dritte Kategorie betrifft die Überzeugungskraft des Modells, wie weit es das menschliche Verhalten beeinflussen kann. Das letzte Risiko betrifft die potenzielle Autonomie des Modells, insbesondere ob es der Kontrolle der Programmierer, die es erstellt haben, entkommen kann. Sobald die Risiken identifiziert wurden, werden sie dem Sicherheitsberatungsgremium von OpenAI vorgelegt, einem neuen Gremium, das Empfehlungen an Altman oder eine von ihm ernannte Person abgeben wird. Der Leiter von OpenAI wird dann über etwaige Änderungen an einem Modell entscheiden, um die damit verbundenen Risiken zu reduzieren. Der Vorstand wird informiert und kann eine Managemententscheidung überstimmen

Original Artikel Teaser

OpenAI releases guidelines to gauge ‘catastrophic risks’ of AI

ChatGPT-maker OpenAI published Monday its newest guidelines for gauging “catastrophic risks” from artificial intelligence in models currently being developed. The announcement comes one month after the company’s board fired CEO Sam Altman, only to hire him back a few days later when staff and investors rebelled. According to US media, board members had criticized Altman for favoring the accelerated development of OpenAI, even if it meant sidestepping certain questions about its tech’s possible risks. In a “Preparedness 
Framework” published on Monday, the company states: “We believe the scientific study of catastrophic risks from AI has fallen far short of where we need to be.” The framework, it reads, should “help address this gap.” A monitoring and evaluations team announced in

Details zu OpenAI releases guidelines to gauge ‘catastrophic risks’ of AI