Einleitung: Der Hype und die Realität
Der Diskurs über künstliche Intelligenz ist oft ein lautes Durcheinander aus Hype, Weltuntergangsszenarien und kühnen Versprechungen. Es ist schwer zu erkennen, was Marketing ist und was die Realität der technologischen Entwicklung widerspiegelt. In diesem lauten Raum gibt es nur wenige Stimmen, die sowohl über tiefe technische Expertise als auch über eine geerdete, pragmatische Perspektive verfügen. Andrej Karpathy, Gründungsmitglied von OpenAI und ehemaliger KI-Leiter bei Tesla, ist eine solche Stimme.
Karpathy hat die seltene Fähigkeit, komplexe technische Realitäten in klare, oft überraschende Analogien zu fassen. Seine Einsichten widersprechen oft dem Mainstream-Narrativ und zwingen uns, unsere grundlegenden Annahmen über die Funktionsweise und die Zukunft der KI zu überdenken. Anstatt sich in hochtrabenden Spekulationen zu verlieren, konzentriert er sich auf das, was tatsächlich gebaut wird und wo die wirklichen, hartnäckigen Probleme liegen.
Dieser Beitrag beleuchtet fünf von Karpathys kontraintuitivsten Ideen und fügt sie zu einer zusammenhängenden Weltanschauung zusammen. Sie enthüllen eine pragmatische und oft verblüffend nüchterne Vision von der wahren Natur der KI – und dem langen Weg, der noch vor uns liegt.
Wir bauen Geister, keine Tiere
Eine der zentralsten Analogien von Karpathy ist die Unterscheidung zwischen der biologischen Evolution und der Art und Weise, wie wir KI-Modelle trainieren. Tiere, so argumentiert er, sind das Ergebnis eines langen evolutionären Prozesses. Sie kommen mit hochentwickelter, angeborener Hardware auf die Welt – ein Zebra kann wenige Minuten nach der Geburt laufen, eine Fähigkeit, die tief in seiner Biologie verankert ist.
Aktuelle KI-Modelle entstehen auf völlig andere Weise. Sie werden nicht durch einen evolutionären Prozess geformt, sondern indem sie riesige Mengen an von Menschen erstellten Daten aus dem Internet nachahmen. Das Ergebnis ist keine tierische Intelligenz, sondern das, was Karpathy als „ätherische Geist-Wesen“ bezeichnet. Diese Unterscheidung ist entscheidend, denn sie offenbart einen tiefen philosophischen Graben in der KI-Forschung. Auf der einen Seite steht die Vision von Forschern wie Richard Sutton, die „Tiere“ bauen wollen – Intelligenzen, die aus einem einzigen, eleganten Lernalgorithmus entstehen. Auf der anderen Seite steht Karpathy, der Ingenieur mit dem „Schutzhelm auf“, der pragmatisch feststellt, was in der Realität funktioniert: Wir imitieren menschliche Daten und erschaffen dabei „Geister“. Wir bauen eine völlig neue Art von Intelligenz, deren Regeln wir noch nicht verstehen.
wir bauen nicht wirklich Tiere, wir bauen Geister … diese Art von ätherischen Geist-Wesen, weil sie vollständig digital sind und sie irgendwie Menschen nachahmen und es eine andere Art von Intelligenz ist.
Reinforcement Learning ist schrecklich und „saugt Supervision durch einen Strohhalm“
Reinforcement Learning (RL) wird oft als der Schlüssel zu übermenschlicher KI dargestellt – die Methode, die es AlphaGo ermöglichte, die besten menschlichen Spieler zu besiegen. Karpathys Sicht darauf ist jedoch ernüchternd. Er beschreibt RL als eine fundamental ineffiziente Methode. Ein Modell versucht dabei Hunderte verschiedener Lösungswege für ein Problem. Am Ende wird nur das Endergebnis bewertet – Erfolg oder Misserfolg. Der entscheidende Punkt ist der paradoxe Mechanismus der Belohnung: Bei einem Erfolg wird der gesamte Lösungsweg pauschal als „gut“ bestärkt. Das bedeutet, dass selbst die Fehler, Umwege und falschen Abzweigungen, die zufällig Teil des erfolgreichen Pfades waren, positiv verstärkt werden.
Karpathy fasst diese Ineffizienz in der Metapher zusammen, dass man „Supervision durch einen Strohhalm saugt“. Aus einem langen, komplexen Prozess wird nur ein einziges Bit an Information (Erfolg/Misserfolg) extrahiert und über die gesamte Kette von Aktionen verteilt. Dies steht in krassem Gegensatz zum menschlichen Lernen. Ein Mensch, der eine komplexe Aufgabe löst, bewertet nicht nur das Endergebnis, sondern durchläuft einen differenzierten Überprüfungsprozess: „Dieser Teil war gut, aber jener Ansatz war ein Fehler, den ich nächstes Mal vermeiden sollte.“ Diese granulare, prozessbasierte Rückmeldung fehlt den aktuellen RL-Systemen völlig.
Reinforcement Learning ist schrecklich, es ist nur so, dass alles, was wir vorher hatten, viel schlechter ist … Man saugt Supervision durch einen Strohhalm.
Echte Intelligenz könnte weniger Wissen erfordern, nicht mehr
Große Sprachmodelle (LLMs) sind für ihre Fähigkeit bekannt, riesige Mengen an Informationen aus ihren Trainingsdaten zu memorieren. Karpathy argumentiert, dass diese Fähigkeit zum Auswendiglernen die Modelle tatsächlich zurückhalten könnte. Seine Vision ist es, das Wissen zu entfernen, um das zu isolieren, was er den „kognitiven Kern“ nennt – eine rein algorithmische Intelligenz, die sich auf Problemlösungsstrategien konzentriert.
Um dieses Konzept greifbar zu machen, verwendet er eine brillante Analogie: Die in den Gewichten des Modells gespeicherten Informationen sind wie die „vage Erinnerung“ eines Menschen an etwas, das er vor einem Jahr gelesen hat. Das Kontextfenster hingegen ist wie unser „Arbeitsgedächtnis“. Alles, was sich im Kontextfenster befindet, ist für das Modell direkt und präzise zugänglich. Unsere menschliche Unfähigkeit, Informationen perfekt auswendig zu lernen, könnte eine Stärke sein – „ein Feature, kein Bug“. Weil wir nicht einfach riesige Textmengen wortwörtlich abrufen können, sind wir gezwungen, abstrakte, verallgemeinerbare Muster und Prinzipien zu finden. Ein von Wissen befreiter kognitiver Kern könnte gezwungen sein, flexibler und kreativer zu denken, anstatt sich auf gespeicherte Fakten zu verlassen.
ich denke tatsächlich, wir müssen Wege finden, einen Teil des Wissens zu entfernen und das zu behalten, was ich diesen kognitiven Kern nenne … diese intelligente Entität, die sozusagen vom Wissen befreit ist, aber die Algorithmen und die Magie der Intelligenz und Problemlösung enthält.
KI-Agenten scheitern immer noch an wirklich neuer und komplexer Arbeit
Trotz des Hypes um KI-Agenten, die angeblich bald die gesamte Softwareentwicklung automatisieren, zeigt Karpathys persönliche Erfahrung ein anderes Bild. Bei der Erstellung seines nanohat-Repositorys, einem Projekt zur Nachbildung eines ChatGPT-Klons, fand er aktuelle KI-Coding-Agenten „nicht so nützlich“. Sie sind gut für Standardaufgaben und „Boilerplate“-Code – also Code, der oft in ähnlicher Form vorkommt.
Bei wirklich neuartigen, intellektuell anspruchsvollen Aufgaben scheitern sie jedoch. Der Grund: Sie verstehen den einzigartigen Kontext des Projekts nicht und fallen ständig auf bekannte Muster aus ihren Trainingsdaten zurück. Sie konnten nicht verinnerlichen, dass Karpathy bewusst auf Standardbibliotheken verzichtete, und versuchten immer wieder, den Code „falsch“ zu korrigieren. Dies ist ein wichtiger Realitätscheck für die Behauptung, KI werde bald die KI-Forschung selbst automatisieren. Karpathys Erfahrung zeigt eine fundamentale Schwäche der aktuellen Modelle auf, die er prägnant zusammenfasst: Sie sind „nicht sehr gut in Code, der noch nie zuvor geschrieben wurde“ – und genau das ist die Art von Arbeit, die an der vordersten Front der Forschung geleistet wird.
Die Intelligenzexplosion ist bereits da – und es ist „Business as usual“
Die Idee einer „Intelligenzexplosion“ – eines plötzlichen, unkontrollierbaren Anstiegs der Maschinenintelligenz – dominiert viele Zukunftsdebatten. Karpathy bietet eine radikal andere Perspektive, die das philosophische Fundament seiner bisherigen Beobachtungen bildet: Wir befinden uns bereits seit Jahrzehnten in einer Intelligenzexplosion, und sie sieht aus wie „Business as usual“. Er sieht KI nicht als ein singuläres Ereignis, sondern als Fortsetzung des jahrhundertelangen Trends der Automatisierung von Arbeit.
Auf den Einwand, dass KI anders sei, weil sie Arbeit selbst automatisiere, entgegnet Karpathy, dass genau das seit Jahrzehnten geschieht. Computer automatisieren bereits seit ihrer Erfindung menschliche Arbeitskraft. Er untermauert dies mit einem Blick auf das Bruttoinlandsprodukt (BIP), das seit der industriellen Revolution ein stetiges exponentielles Wachstum zeigt. Weder die Erfindung des Computers noch die des iPhones haben einen plötzlichen, sichtbaren Sprung in dieser Kurve verursacht. Stattdessen haben sich diese transformativen Technologien langsam in die Wirtschaft eingefügt und das bestehende exponentielle Wachstum aufrechterhalten. Karpathy prognostiziert, dass es mit der KI genauso sein wird: eine allmähliche Diffusion, keine plötzliche Übernahme.
es ist Business as usual, weil wir uns bereits in einer Intelligenzexplosion befinden und das schon seit Jahrzehnten … alles wird schrittweise automatisiert, und das schon seit Hunderten von Jahren.
Zum Schluss: Die Dekade der Agenten hat gerade erst begonnen
Andrej Karpathys Perspektiven sind ein Gegengift zum oft überhitzten KI-Diskurs. Sie zeichnen das Bild einer Technologie, deren wahre Natur nicht magisch, sondern pragmatisch und unordentlich ist. Weil wir „Geister“ aus Daten erschaffen, die mit ineffizienten Methoden wie RL trainiert werden und bei wirklich neuartigen Aufgaben an ihre Grenzen stoßen, ist die Entwicklung ein Marathon, kein Sprint.
Diese geerdete Sichtweise gipfelt in seiner bewussten Korrektur des Branchen-Hypes. Als Reaktion auf andere, die das „Jahr der Agenten“ ausriefen, stellte er klar: Wir stehen erst am Anfang der „Dekade der Agenten“. Seine Ideen hinterlassen eine zentrale, nachdenkliche Frage: Wenn die wahre Essenz der Intelligenz nicht im Wissen liegt, das wir ansammeln, sondern in den Algorithmen, mit denen wir denken – was bedeutet das für die Zukunft des menschlichen Lernens und der menschlichen Kreativität in einer Welt, in der die Maschinen langsam, aber stetig dazulernen?
Quellenverzeichnis
© 2025 Dieser Beitrag beruht auf eigenständiger Recherche und Analyse diverser Quellen;
eine KI leistete lediglich sprachliche Unterstützung, die inhaltliche Verantwortung trägt ausschließlich der Autor.
Schreibe den ersten Kommentar