Können wir KI verstehen? Eine Antwort auf Jordan Petersons Podcast

Wie arrogante Teenager behaupten viele, dass „niemand künstliche Intelligenz (KI) versteht“. In einem kürzlichen Interview zwischen Jordan Peterson und Brian Roemmele über ChatGPT behauptete Jordan Peterson zum Beispiel, dass „das System zu komplex ist, um es zu modellieren“ und dass jedes KI-System nicht nur unverständlich, sondern auch einzigartig ist. Er behauptet weiterhin, dass „einige dieser KI-Systeme, die [KI-Experten] geschafft haben, das zu reduzieren, was sie lernen, auf etwas, das einem Algorithmus ähnelt… [aber] im Allgemeinen kann das System nicht vereinfacht werden und ist es auch nicht“. Brian Roemmele stimmte zu: „Niemand versteht wirklich genau, was es tut und was die sogenannte versteckte Schicht ist. Es sind so viele Verbindungen von Neuronen, dass es im Wesentlichen eine Blackbox ist…“. Die Kritik beschränkt sich nicht nur auf diese beiden. Das „Interpretationsproblem“ ist ein fortlaufendes Forschungsthema innerhalb der Informatik.

Bei genauerer Betrachtung ist diese Kritik an Deep-Learning-Modellen jedoch nicht gut begründet, schlecht definiert und führt zu mehr Verwirrung als Aufklärung. Wir kennen die inneren Arbeitsweisen von Maschinenlernmodellen sehr gut, besser als jedes andere System ähnlicher Komplexität, und sie sind keine Blackbox. Es scheint seltsam zu behaupten, dass wir eine Sache, die wir gemacht haben, nicht verstehen oder nicht verstehen können. Sicherlich können wir ein Modell öffnen und den Informationsfluss betrachten. Es ist sehr genau definiert, welche Zahlen multipliziert und addiert werden und durch welche Nichtlinearitäten sie gedrückt werden. Es gibt keinen einzigen Schritt im gesamten Prozess, der von Anfang an „unvorhersehbar“ oder „undefiniert“ ist. Selbst in dem Maße, in dem einige Modelle „zufällig“ aus einer Verteilung ziehen, ist dies sowohl vorherbestimmt (da alle Computer nur Pseudozufallszahlen erzeugen) als auch verständlich (deshalb können wir es als „aus einer Verteilung ziehen“ beschreiben).

Was meinen die Menschen also, wenn sie sagen, dass Deep Learning „nicht verstanden“ werden kann? Es scheint, dass der Begriff „Interpretierbarkeit“ selbst nicht gut definiert ist. Niemand konnte eine strenge Definition geben. Pseudowissenschaftler wie Roemmele nutzen das Missverständnis technischer Sprache aus, um ihre falschen Behauptungen weiter zu verbreiten. Zum Beispiel behauptet er, dass „niemand wirklich genau versteht, was es tut und was die versteckte Schicht genannt wird“. Aber die Realität ist, dass die versteckten Schichten nicht anders sind als jede andere Schicht. Dies ist ein technischer Begriff, der jede Schicht bezeichnet, die keine Eingabe- oder Ausgabeschicht ist. Es hat nichts damit zu tun, wie Roemmele angedeutet hat, mit einer bestimmten Geheimnisvollenheit. Es ist nicht mehr oder weniger „verständlich“ als die Eingabe- oder Ausgabeschichten. Es ist nur „versteckt“ in dem Sinne, dass der Endbenutzer nicht damit interagiert. Roemmeles Publikum versteht diesen Trick jedoch nicht. (Ich bezweifle, dass Roemmele selbst dies versteht, da er kein Datenwissenschaftler ist.)

Jordan Peterson muss mehr Spielraum gegeben werden, da er nicht behauptet, selbst Kenntnisse über KI zu haben – wie Roemmele es tut -, sondern seinen Schwager Jim Keller als Informationsquelle zitiert. Es ist unmöglich zu wissen, was Petersons Schwager genau gemeint haben könnte, aber in der von Peterson gefilterten Form sind die Aussagen über KI falsch. Zum Beispiel ist es unsinnig zu behaupten, dass „das System zu komplex ist, um es zu modellieren“, wenn „das System“ das Modell ist. Man könnte behaupten, dass Atome zu komplex sind, um sie zu verstehen. Würde es jedoch Sinn machen zu behaupten, dass das Bohr-Modell des Atoms zu komplex ist, um es zu verstehen? Die Daten sind das, was wir nicht verstehen, und ein Modell ist das, was wir verwenden, um es zu verstehen. Je genauer das Modell ist, desto besser verstehen wir die zugrunde liegenden Phänomene. Deep-Learning-Modelle sind die genauesten Modelle und daher am besten verständlich. Es ist auch unsinnig zu behaupten, dass „im Allgemeinen das System nicht vereinfacht werden kann und nicht auf etwas reduziert wird, das einem Algorithmus ähnelt“. Algorithmen haben strenge Definitionen, und alle KI fällt in diese Kategorie. Wenn es als Turing-Maschine beschrieben werden kann, ist es ein Algorithmus, und das gilt für alle KI. Tatsächlich erreicht die überwiegende Mehrheit der KI nicht einmal den Standard der Turing-Vollständigkeit (das theoretisch komplexeste, das ein Computer sein kann) und kann vollständig als Pushdown-Automat (eine strenge Teilmenge von Turing-Maschinen) beschrieben werden.

Warum möchten Menschen behaupten, dass Deep-Learning-Modelle nicht verstanden werden können? Für einige Statistiker denke ich, dass es ihr letzter Griff nach Relevanz ist, da Deep-Neural-Networks ältere statistische Modelle langsam obsolet machen. Für andere ist die „Unkenntnis“ von allem beängstigend und eine willkommene Einladung für mehr staatliche Intervention. Wir sollten KI nicht dasselbe Schicksal wie der Kernenergie zukommen lassen – unnötig verunglimpft wegen wenig bis gar keiner Bedrohung. Lassen Sie uns die Früchte unserer Arbeit genießen, und dazu gehört auch die massive Kostensenkung durch die Verwendung einer sehr menschenverständlichen KI.

Die Kritik an Deep-Learning-Modellen

Die Kritik an Deep-Learning-Modellen ist ein fortlaufendes Thema in der Informatik. Viele behaupten, dass diese Modelle nicht verstanden werden können und als Blackbox gelten. Doch diese Kritik ist nicht gut begründet und führt zu mehr Verwirrung als Aufklärung.

Was bedeutet „Interpretierbarkeit“?

Der Begriff „Interpretierbarkeit“ ist nicht gut definiert und niemand konnte eine strenge Definition geben. Pseudowissenschaftler nutzen das Missverständnis technischer Sprache aus, um falsche Behauptungen zu verbreiten. Es ist wichtig, diese falschen Behauptungen zu entlarven und die tatsächlichen Arbeitsweisen von Deep-Learning-Modellen zu verstehen.

Warum sollten wir Deep-Learning-Modelle verstehen?

Es ist wichtig, Deep-Learning-Modelle zu verstehen, um ihre Vorteile nutzen zu können. Diese Modelle sind die genauesten Modelle und daher am besten verständlich. Wir sollten die Früchte unserer Arbeit genießen und die massive Kostensenkung durch die Verwendung einer sehr menschenverständlichen KI nutzen

Original article Teaser

Can We Understand AI? A Response to Jordan Peterson’s Podcast

Like snobby teenagers claim of themselves, many say that “nobody understands artificial intelligence (AI).” For example, in a recent interview between Jordan Peterson and Brian Roemmele about ChatGPT, Jordan Peterson claimed that “The system is too complex to model” and each AI system is not only incomprehensible but unique. He further claims that “some of these AI systems, they’ve [AI experts] managed to reduce what they do learn to something approximating an algorithm. . . . [but] Generally the system can’t be and isn’t simplified.” Brian Roemmele concurred: “nobody really understands precisely what it’s doing and what is called the hidden layer. It is so many interconnections of neurons that it essentially is a black box. . . .” The criticism isn’t confined to these two.

Details to Can We Understand AI? A Response to Jordan Peterson’s Podcast