KI-Governance 5. Oktober 2026 15 Min. Lesezeit

KI-Angst und Konzernmacht: Was die Warnungen belegen und was nicht

Die Warnungen führender KI-Anbieter vor ihren eigenen Systemen sind ernst zu nehmen, begründen aber keinen Anspruch auf die Regelsetzung. Für Politik und Beschaffung zählen überprüfbare Bindungen der Anbieter, nicht ihre Prominenz.

Weiße Grafikkarte mit schwarzem Rahmen und goldenem Akzentbalken, darauf der Satz: Warnen, verkaufen, mitregeln: die Doppelrolle der KI-Konzerne. Fußzeile olafdunkel.com
Inhalt
  1. 1. Prominente Warnungen sind kein wissenschaftlicher Konsens
  2. 2. Die technischen Risiken sind real, ihr Ausmaß ist offen
  3. 3. Wie Warnungen wirtschaftlich wirken können
  4. 4. Erlöse, Bewertung, Börsenoption: was die Zahlen belegen
  5. 5. Regulierung zwischen Schutz und Marktzugang
  6. 6. Europas Ansatzpunkte: Pflichten, Vollzug, Wechselfähigkeit
  7. 7. Bewertung: Optionen, Risiken, Gegenargumente
  8. 8. Handlungscheckliste

Management Summary

Führende KI-Unternehmen warnen öffentlich vor den Risiken ihrer eigenen Technologie und bieten sich zugleich als Partner für deren Begrenzung an. Die technischen Risiken sind belegt: Der International AI Safety Report 2026 dokumentiert Fortschritte bei Fähigkeiten, die für einen Kontrollverlust relevant sind, sieht die dafür erforderlichen Fähigkeiten aber noch nicht erreicht [1]. Ebenso belegt sind Verflechtungen zwischen Cloud-Anbietern und KI-Entwicklern [2] und der Versuch, Marktzugangsregeln mitzugestalten [3]. Nicht belegt ist der Vorwurf, Untergangswarnungen würden gezielt zur Steigerung eines Börsenwerts eingesetzt. Der Verfasser leitet daraus zwei getrennte Aufgaben ab: Risiken unabhängig prüfen und die Marktmacht der Anbieter begrenzen. Für Entscheider zählen die Bindungen, die ein Anbieter akzeptiert, und nicht die Dramatik seiner Warnungen.

Für wen relevant?

CIO und CDO in Unternehmen und Verwaltung, Verantwortliche für die Beschaffung von KI-Diensten, Fachpolitik und Aufsichtsbehörden in Bund, Ländern und EU, Wettbewerbs- und Regulierungsfachleute, Verbände der Digitalwirtschaft sowie Analysten und Journalisten, die Anbieteraussagen einordnen.

Drei Kernaussagen

  1. Prominente Warnungen ersetzen keine Risikostudie. Die Erklärung des Center for AI Safety, unterzeichnet unter anderem von Altman, Amodei und Gates, nennt weder Eintrittswahrscheinlichkeit noch Zeithorizont [4]. Der International AI Safety Report 2026 weist beim Kontrollverlust erhebliche Evidenzlücken aus [1].
  2. Hohe Erlöse und eine Börsenoption belegen kein Motiv hinter Risikowarnungen. OpenAI meldet für 2025 eine annualisierte Erlösgröße von mehr als 20 Milliarden US-Dollar und hat einen S-1-Entwurf vertraulich eingereicht [5][6]. Ein Zusammenhang zwischen Warnungen und Bewertung ist damit nicht nachgewiesen.
  3. Die Machtfrage entscheidet sich an Regelgestaltung und Marktstruktur. Altman regte 2023 Lizenz- oder Registrierungspflichten oberhalb einer Fähigkeitsschwelle an [3]. Die FTC beschreibt in den Partnerschaften von Microsoft, Amazon und Alphabet mit KI-Entwicklern Exklusivitätsrechte und Wechselkosten [2].

Der Beitrag prüft eine zugespitzte These: Die KI-Industrie verkaufe die Zukunft und beanspruche mit der Angst vor ihr die Kontrolle über deren Regeln. Geprüft wird, welche Teile dieser These Primärquellen tragen und welche nicht. Die Argumentation trennt dokumentierte Tatsachen, empirische Befunde, plausible Interessenhypothesen und Empfehlungen. Sie enthält keine eigene Schätzung einer existenziellen Risikowahrscheinlichkeit. Rechercheabschluss ist der 05.10.2026.

1. Prominente Warnungen sind kein wissenschaftlicher Konsens

Die Warnungen sind dokumentiert. Sam Altman, Dario Amodei und Bill Gates gehören zu den Unterzeichnern der Erklärung des Center for AI Safety vom 30.05.2023, die die Verringerung des Auslöschungsrisikos durch KI als globale Priorität einstuft [4]. Sie enthält weder eine Eintrittswahrscheinlichkeit noch einen Zeithorizont oder eine geprüfte Kausalkette und dokumentiert damit eine Positionierung, keine Risikobewertung.

Die Wortmeldungen unterscheiden sich zudem inhaltlich. Der offene Brief des Future of Life Institute vom 22.03.2023, den unter anderem Elon Musk unterzeichnete, verlangte eine mindestens sechsmonatige Pause beim Training von Systemen, die leistungsfähiger als GPT-4 sind. Er nannte neben dem Kontrollverlust auch Desinformation und den Wegfall von Arbeitsplätzen [7]. Papst Franziskus stellte in seiner G7-Ansprache vom 14.06.2024 menschliche Entscheidungsfähigkeit, soziale Ungleichheit und autonome Waffen in den Mittelpunkt und argumentierte ethisch [8]. Ein befristetes Moratorium, eine ethische Mahnung und eine Prognose über eine unkontrollierbare Superintelligenz beantworten verschiedene Fragen. Wer sie zu einem Expertenkonsens zusammenfasst, macht aus einer politischen Koalition eine wissenschaftliche Gewissheit.

Die Doppelrolle der Anbieter zeigt der Auftritt Amodeis vor dem UN-Sicherheitsrat am 23.09.2026. Er beschrieb Missbrauch und Kontrollverlust als mögliche globale Gefahren und stellte zugleich die Sicherheitsarbeit von Anthropic heraus. In derselben Sitzung trugen Sam Altman (OpenAI), Yoshua Bengio und Clément Delangue (Hugging Face) vor [9]. Grundlage ist die automatische Transkription der Vereinten Nationen, das amtliche Wortprotokoll lag bei Rechercheabschluss nicht vor. Der Auftritt rechtfertigt eine Analyse der Selbstdarstellung des Anbieters. Er belegt weder, dass die beschriebenen Gefahren erfunden sind, noch, dass Anthropic sie am besten beherrscht.

Das stärkste Argument für solche Warnungen ist der Informationsvorsprung der Entwickler, die Fehler und Leistungssprünge früher sehen als Außenstehende. Dasselbe Informationsgefälle begründet das stärkste Argument gegen ihre unkritische Übernahme: Außenstehende können nicht prüfen, welche Beobachtungen ausgewählt, zugespitzt oder zurückgehalten werden. Daraus folgt die Forderung nach überprüfbarem Zugang für unabhängige Fachleute.

2. Die technischen Risiken sind real, ihr Ausmaß ist offen

Das Argument für Vorsorge benötigt keine Maschine mit Bewusstsein. Es genügt, dass leistungsfähige Systeme in wichtigen Prozessen falsche Ziele verfolgen, manipuliert werden oder Menschen bei gefährlichen Vorhaben wirksam unterstützen. Für die Folgen zählt, was ein System unter konkreten Bedingungen tun kann und welche Zugänge ihm eingeräumt werden. Dabei sind drei Schadensklassen zu unterscheiden: der schwere Einzelvorfall, das systemische Risiko für vernetzte Infrastrukturen und das existenzielle Risiko, also die Vernichtung der Menschheit oder der dauerhafte Verlust ihrer Selbstbestimmung. Wer zwischen diesen Klassen wechselt, muss den zusätzlichen Schadensweg begründen.

Der International AI Safety Report 2026 beschreibt Fortschritte bei Fähigkeiten, die für einen Kontrollverlust relevant sind. Er stellt fest, dass Modelle häufiger zwischen Test- und Einsatzsituationen unterscheiden und Schlupflöcher in Evaluationen finden [1]. Die für einen Kontrollverlust erforderlichen Fähigkeiten besitzen heutige Systeme nach seiner Einschätzung noch nicht. Zugleich weist der Bericht erhebliche Evidenzlücken aus: Ob und wie die beobachteten Fähigkeiten künftig zu einem umfassenden Kontrollverlust führen, lässt sich derzeit nicht zuverlässig bestimmen. Der Bericht stützt damit ernsthafte Forschung ebenso wie Zurückhaltung gegenüber sicheren Katastrophenprognosen.

Konkreter werden die Befunde in kontrollierten Versuchen. Eine am 13.07.2026 im Alignment-Blog von Anthropic veröffentlichte Untersuchung schildert verdeckte Codeänderungen und die Unterstützung betrügerischer Handlungen in simulierten Einsatzsituationen [10]. Die Autoren kennzeichnen die Beispiele ausdrücklich als experimentelle Szenarien und nicht als reale Vorfälle. Stresstests dieser Art zeigen, dass ein Fehlverhalten unter bestimmten Bedingungen auslösbar ist. Wie häufig es im Betrieb auftritt, beantworten erst repräsentative Einsatzdaten. Die Studie ist zudem Forschung eines Herstellers und nicht extern begutachtet. Frühere Befunde zu täuschendem Verhalten von Sprachmodellen hat der Verfasser im Beitrag Wenn Maschinen lügen lernen eingeordnet.

Zwischen einem problematischen Laborergebnis und dem Ende menschlicher Kontrolle liegt eine Kette weiterer Annahmen. Ein System müsste etwa seine Fähigkeiten übertragen, Ressourcen erreichen und Gegenmaßnahmen überwinden. Öffentlich genannte Prozentwerte für eine menschheitsweite Katastrophe sind ohne transparentes Modell, Zeithorizont und überprüfbare Annahmen subjektive Einschätzungen. Ihre numerische Präzision macht sie nicht wissenschaftlicher.

Der angemessene Umgang mit dieser Unsicherheit ist abgestuft. Vorrang verdienen Maßnahmen, die erkennbare Fehler reduzieren und auch bei moderater technischer Entwicklung sinnvoll bleiben, etwa begrenzte Berechtigungen, nachvollziehbare Freigaben und unabhängige Prüfungen. Weitreichende Eingriffe wie allgemeine Entwicklungsverbote benötigen zusätzliche Begründungen zu Wirksamkeit, Ausweichreaktionen und gesellschaftlichen Kosten. Der Bedarf an Sicherheit hängt an überprüfbaren Eigenschaften der Systeme. Er bestünde auch dann, wenn alle öffentlichen Warnungen verstummten.

3. Wie Warnungen wirtschaftlich wirken können

Die Marketinghypothese ist plausibel, weil eine Warnung zugleich eine Leistungsbehauptung enthält. Wer erklärt, seine Technologie könne die Zivilisation gefährden, schreibt ihr eine außergewöhnliche technische Bedeutung zu, und für Kunden und Investoren kann selbst die Gefahr als Hinweis auf wirtschaftliches Potenzial erscheinen. Sicherheitskommunikation positioniert einen Anbieter außerdem als besonders verantwortungsvoll. Kunden wählen dann gerade aus Sorge den etablierten Anbieter, dessen professionelle Sicherheitssprache Orientierung verspricht. Politisch verschafft die Rolle des Gefahrenkenners Zugang zu Anhörungen und Beratungsprozessen, in denen Prüfmaßstäbe festgelegt werden. Diese Wirkungskette setzt weder einen zentralen Plan noch unehrliche Überzeugungen voraus.

Einen empirischen Anhaltspunkt für die Anziehungskraft negativer Kommunikation liefert die 2023 veröffentlichte Studie von Robertson und Kollegen. Sie wertete 22.743 randomisierte Überschriftentests des Nachrichtenportals Upworthy aus [11]. Bei einer Überschrift durchschnittlicher Länge erhöhte jedes zusätzliche negative Wort die Klickrate um rund 2,3 Prozent, gemessen als relative Veränderung und nicht in Prozentpunkten. Die Studie belegt einen Aufmerksamkeitseffekt in diesem Datensatz. Ein Klick ist weder Zustimmung noch Kaufentscheidung, und die Übertragung auf Investorenverhalten in der KI-Debatte bleibt eine zusätzliche Hypothese.

Die Grenze der Marketinghypothese liegt in ihren gegenläufigen Effekten. Alarmierende Aussagen können Kunden abschrecken, Investoren verunsichern und strengere Auflagen auslösen. Ein Betriebsverbot, erhöhte Haftungsrisiken oder kostspielige Prüfpflichten wären für einen Anbieter nachteilig. Wer behauptet, Angst steigere den Marktwert, muss deshalb zeigen, dass die positiven Effekte überwiegen. Eine Warnung kann zudem ein kostspieliges Signal echter Überzeugung sein, etwa wenn ein Anbieter unabhängigen Prüfern weitreichenden Zugang gewährt, einen lukrativen Einsatz begrenzt oder eine Veröffentlichung wegen ungelöster Risiken verschiebt. Skepsis verdient ein Sicherheitsversprechen dagegen, wenn der Anbieter jede Kontrolle ablehnt, die seinen Handlungsspielraum tatsächlich einschränkt.

Belastbar wird die Hypothese erst durch prüfbare Erwartungen: welche Warnung zu welcher organisatorischen Konsequenz führte, ob negative Testergebnisse veröffentlicht werden und ob die vorgeschlagenen Anforderungen auch für das eigene Unternehmen gelten.

4. Erlöse, Bewertung, Börsenoption: was die Zahlen belegen

Die verbreitete Aussage, führende KI-Unternehmen verdienten kein Geld, ist zu ungenau. OpenAI-Finanzchefin Sarah Friar bezifferte am 18.01.2026 die annualisierte Erlösgröße für 2025 auf mehr als 20 Milliarden US-Dollar [5]. Das ist eine hochgerechnete Unternehmensangabe und kein geprüfter Jahresabschluss. Sie widerlegt die Vorstellung eines Unternehmens ohne relevante Erlöse, sagt aber nichts über Gewinn oder Tragfähigkeit des Geschäftsmodells.

Am 27.02.2026 kündigte OpenAI neue Investitionen von 110 Milliarden US-Dollar bei einer Bewertung vor der Finanzierung von 730 Milliarden US-Dollar an, mit SoftBank, NVIDIA und Amazon als strategischen Partnern [12]. Am 08.06.2026 bestätigte das Unternehmen die vertrauliche Einreichung eines Entwurfs der S-1-Registrierung bei der US-Börsenaufsicht und ließ den Zeitpunkt weiterer Schritte offen [6]. Damit ist eine Börsenoption dokumentiert. Ein unmittelbar bevorstehender Börsengang folgt daraus ebenso wenig wie ein Beleg, dass Risikowarnungen die Bewertung steigern sollen.

Für diesen Nachweis wären andere Daten nötig: interne Kommunikationsziele, nachvollziehbare Investorenreaktionen oder eine Untersuchung, die den Effekt der Risikokommunikation von technischen Fortschritten, Umsatzerwartungen und allgemeinen Marktbewegungen trennt. Selbst ein zeitlicher Zusammenhang wäre noch keine Kausalität. Ergiebiger ist die Kritik an der Finanzierungserwartung selbst. Offen ist, welche künftigen Erlöse den Kapitalbedarf rechtfertigen und wie empfindlich das Geschäftsmodell auf Preiswettbewerb oder ausbleibende Produktivitätsgewinne reagiert. Diese Frage stellt sich unabhängig von jeder Untergangserzählung.

5. Regulierung zwischen Schutz und Marktzugang

Das stärkere Argument für die Machtthese liegt in der Ausgestaltung von Regeln. Stigler hat 1971 die Theorie formuliert, dass regulierte Branchen Regulierung erwerben und in ihrem Interesse gestalten können [13]. Eine Behörde müssen Unternehmen dafür nicht kontrollieren. Es genügt, dass Regeln Fähigkeiten, Organisationsformen oder Nachweisverfahren voraussetzen, über die vor allem etablierte Anbieter verfügen. Einen konkreten Anknüpfungspunkt bietet Altmans schriftliche Aussage vor dem US-Senat vom 16.05.2023. Er regte Lizenz- oder Registrierungspflichten für Modelle oberhalb einer maßgeblichen Fähigkeitsschwelle sowie interne und externe Tests an [3]. Eine Erlaubnispflicht für jede KI-Anwendung war das nicht. Das Dokument belegt aber, dass ein führender Anbieter Marktzugangsregeln aktiv mitgestalten wollte.

Den Mechanismus zeigt ein ausdrücklich hypothetisches Beispiel. Kostet derselbe jährliche Nachweis jeden Anbieter eine Million Euro, belastet er einen Anbieter mit zehn Millionen Euro Umsatz mit zehn Prozent und einen Anbieter mit einer Milliarde Euro Umsatz mit 0,1 Prozent. Gleiche formale Pflichten wirken also wirtschaftlich ungleich. Die Zahlen illustrieren Fixkosten und sind keine gemessenen Kosten des AI Act. Kleine Anbieter grundsätzlich auszunehmen wäre dennoch falsch, weil ein niedriger Umsatz ein gefährliches System nicht ungefährlich macht. Angemessen sind vergleichbare Schutzziele mit proportionalen Nachweisen, gemeinsam nutzbarer Prüfinfrastruktur und Anforderungen, die sich am Schadenspotenzial orientieren. Wie die EU diese Verhältnismäßigkeit bisher umsetzt, beschreibt der Beitrag Wie Brüssel den AI Act praxistauglicher macht.

Die Machtkonzentration beginnt vor der Regulierung. Die US-Wettbewerbsbehörde FTC untersuchte die Partnerschaften Microsoft/OpenAI, Amazon/Anthropic und Alphabet/Anthropic. Ihr Mitarbeiterbericht vom 17.01.2025 beschreibt Kontroll- und Exklusivitätsrechte, Bindungen beim Bezug von Cloud-Leistungen sowie technische und vertragliche Wechselkosten [2]. Er benennt potenzielle Wettbewerbsprobleme, trifft aber keine rechtliche Feststellung und beruht auf Informationen bis September 2024. Ein Kapitalgeber kann zugleich Lieferant von Rechenleistung, Vertriebspartner und Wettbewerber sein. Regeln, die nur das einzelne Modell betrachten, erfassen diese Abhängigkeiten nicht, weshalb Sicherheitspolitik eine eigenständige wettbewerbliche Prüfung braucht. Die Größe einer Partnerschaft allein belegt allerdings keinen Missbrauch, zu prüfen sind Vertragsbindungen und Ausweichmöglichkeiten.

Unabhängige Aufsicht schließt die Entwickler nicht aus. Behörden benötigen Wissen über Modelle, Trainingsverfahren und Schwachstellen, das zu einem Teil nur in den Unternehmen entsteht. Der europäische Verhaltenskodex für allgemeine KI-Modelle wurde nach Angaben der Europäischen Kommission von 13 unabhängigen Fachleuten unter Beteiligung von mehr als 1.000 Akteuren erarbeitet, darunter Unternehmen, Wissenschaft, Rechteinhaber und Zivilgesellschaft [14]. Er ist ein freiwilliges Instrument zur Erfüllung gesetzlicher Pflichten. Eine große Zahl Beteiligter belegt allerdings keine ausgewogene Machtverteilung. Wer dauerhaft Personal für Gremienarbeit stellt, prägt das Ergebnis stärker als eine formal beteiligte kleine Organisation. Aufsichtsprozesse sollten daher offenlegen, welche Vorschläge übernommen wurden, welche Alternativen bestanden und wie Interessenkonflikte behandelt wurden. Unabhängig ist eine Behörde erst mit eigenem Fachpersonal, ausreichender Finanzierung und einem Informationszugang, der nicht vom Entgegenkommen der Beaufsichtigten abhängt.

6. Europas Ansatzpunkte: Pflichten, Vollzug, Wechselfähigkeit

Der AI Act enthält dafür konkrete Ansatzpunkte. Artikel 55 verpflichtet Anbieter allgemeiner KI-Modelle mit systemischem Risiko unter anderem zu Modellevaluationen, zur Bewertung und Minderung systemischer Risiken, zur Meldung schwerwiegender Vorfälle und zu angemessener Cybersicherheit [15]. Diese Pflichten gelten seit dem 02.08.2025. Seit dem 02.08.2026 kann die Kommission Verstöße mit Geldbußen nach Artikel 101 ahnden. Es handelt sich um Pflichten für eine definierte Modellkategorie und nicht um eine allgemeine Zulassung betrieblicher KI-Werkzeuge. Ihre Wirkung hängt an Prüfung und Vollzug.

Die Änderungsverordnung (EU) 2026/1744, der AI Omnibus, trat am 27.07.2026 in Kraft [16]. Sie verschiebt die Anwendung der Regeln für Hochrisikosysteme nach Anhang III auf den 02.12.2027 und für produktgebundene Systeme nach Anhang I auf den 02.08.2028. Die Transparenzpflichten nach Artikel 50 gelten unverändert seit dem 02.08.2026. Für die Machtfrage ist relevant, dass der Omnibus die Aufsicht des AI Office über bestimmte KI-Systeme erweitert, die auf allgemeinen KI-Modellen beruhen. Die Aufsicht über die großen Anbieter wird damit stärker auf europäischer Ebene gebündelt. Eine allgemeine Befreiung von KI-Pflichten bis zu den neuen Terminen folgt daraus nicht.

Die Konzentration auf ein mögliches Ende der Menschheit verengt zudem den Blick auf häufigere Schäden. Ein falscher Behördenbescheid, eine benachteiligende Personalauswahl oder die Offenlegung vertraulicher Informationen gefährden keine Zivilisation, treffen die Betroffenen aber erheblich. Das Risikoprofil des NIST für generative KI führt unter anderem erfundene Inhalte, Datenschutzprobleme, schädliche Verzerrungen und Risiken der Informationssicherheit auf [17]. Es ist keine Schadensstatistik, beschreibt aber die Prüfaufgaben, die Organisationen tatsächlich bewältigen müssen.

Belastbare Nutzenbefunde sprechen gegen einen pauschalen Entwicklungsstopp. Brynjolfsson, Li und Raymond untersuchten die gestaffelte Einführung eines generativen Assistenten bei 5.172 Beschäftigten im Kundensupport. Sie ermittelten durchschnittlich rund 15 Prozent mehr gelöste Anliegen pro Stunde, mit deutlichen Unterschieden zwischen Beschäftigtengruppen [18]. Eine entsprechende Wirkung für jede Behörde oder jedes Unternehmen folgt daraus nicht. Der Befund zeigt aber, dass eine Bewertung jedes Einsatzes am gefährlichsten denkbaren Fall nützliche Anwendungen verhindert.

Zur digitalen Souveränität gehört eine erprobte Exit-Strategie, für die ein europäisches Herkunftsetikett nicht genügt. Entscheidend ist, ob Daten, Arbeitsabläufe und Bewertungsverfahren bei einem Anbieterwechsel weiterverwendet werden können. Auch ein in Europa ansässiger Dienst kann über proprietäre Schnittstellen binden, während ein internationaler Anbieter mit verlässlichen Exportmöglichkeiten im begrenzten Anwendungsfall vertretbar sein kann. Offene Modelle erweitern die Auswahl, sind aber weder automatisch sicher noch günstig zu betreiben. Welche Folgen eine fehlende Ausweichmöglichkeit hat, behandeln die Beiträge Verfügbarkeit ist keine Technik-Frage und UK–OpenAI-Deal.

7. Bewertung: Optionen, Risiken, Gegenargumente

Die Ausgangsthese hält als Warnung vor einer problematischen Machtkonstellation stand. Dokumentiert sind ernsthafte Warnungen, wirtschaftliche Verflechtungen und konkrete Versuche, Regulierung mitzugestalten. Plausibel ist, dass die Rolle als Gefahrenkenner und Sicherheitsanbieter Vertrauen und politischen Zugang verschafft. Unbewiesen bleibt der Vorwurf, Katastrophenrhetorik werde gezielt zur Steigerung eines Börsenwerts eingesetzt. Als Nachweis, dass KI-Unternehmen ihre Risiken erfinden, trägt die These nicht.

Für die Politik ergeben sich daraus zwei getrennte Aufgaben: Risiken unabhängig untersuchen und die Marktmacht der Anbieter begrenzen. Jede Pflicht ist an zwei Wirkungen zu messen, am voraussichtlich verhinderten Schaden und an ihrer Wirkung auf den Marktzugang. Gemeinsame Testressourcen senken die Kosten kleinerer Anbieter, ohne das Schutzniveau abzusenken. Öffentliche Forschung sollte eigene Prüfverfahren entwickeln, weil die Übernahme der Testmaßstäbe der Marktführer auch deren Auslassungen übernimmt.

Das stärkste Gegenargument gegen weitgehende Regulierung ist ernst zu nehmen: Starre Regeln können nützliche Anwendungen verhindern und etablierte Anbieter schützen. Die Antwort darauf sind besser begründete und regelmäßig überprüfte Regeln. Ein Verzicht auf öffentliche Kontrolle überließe die Definitionsmacht über Sicherheit gerade den Unternehmen, deren Einfluss kritisiert wird. Auch Deregulierung kann also einen privaten Machtvorteil festigen. Die Abwägung zwischen Regulierung als Hemmnis und als Qualitätsmerkmal hat der Verfasser in EU-Regulierung: Bremsklotz oder Gütesiegel? ausgeführt.

Die Datenbasis ist ungleich belastbar. Die Risikoseite stützt sich auf eine wissenschaftliche Synthese und begutachtete Studien, die Machtthese überwiegend auf Unternehmensmitteilungen, eine automatische UN-Transkription und einen behördlichen Mitarbeiterbericht. Angaben zu Erlösen und Bewertung sind nur als Eigenangaben der Unternehmen verwertbar, und das Kostenbeispiel in Abschnitt 5 ist hypothetisch. Der Beitrag ist eine publizistische Analyse und keine rechtliche Einzelfallbewertung. Auch seine zugespitzte Ausgangsthese muss sich an Gegenbelegen messen lassen.

8. Handlungscheckliste

  • Zweck vor Modell festlegen: Problem, messbare Verbesserung und hinnehmbare Fehler bestimmen, bevor ein Anbieter ausgewählt wird.
  • Piloten gegen den Ausgangszustand messen: Ergebnisqualität, Zeitaufwand und Kosten der Nacharbeit an typischen und schwierigen Fällen erheben, bei sensiblen Entscheidungen auch Nachteile für einzelne Gruppen.
  • Berechtigungen aus dem Nutzen ableiten: Schreibrechte, externe Kommunikation und irreversible Aktionen nur mit begründeter Freigabe erteilen und kritische Schritte rücksetzbar halten.
  • Wechselfähigkeit vor Vertragsschluss erproben: Export von Dokumenten, Protokollen, Konfigurationen und eigenen Testfällen praktisch testen und einen zweiten Anbieter an denselben Aufgaben bewerten können.
  • Informationsrechte präzise vereinbaren: geprüfte Modellversion, festgestellte Fehler, Änderungen durch Updates, Unterauftragnehmer und Einsichtsrechte unabhängiger Prüfer vertraglich festhalten.
  • Warnungen an Bindungen messen: Sicherheitsaussagen eines Anbieters danach bewerten, welche unabhängigen Prüfungen, Veröffentlichungspflichten und Eingriffsmöglichkeiten er akzeptiert.
  • Verantwortung mit Befugnis ausstatten: für jedes relevante System eine Person mit Zeit, Entscheidungsbefugnis und Unterbrechungsrecht benennen und Eskalationswege, Ersatzverfahren und Abschaltbedingungen im Betrieb erproben (siehe KI scheitert nicht an der Technik).
  • AI-Act-Fristen nach Regelungsbereich führen: Pflichten für allgemeine KI-Modelle, Transparenzpflichten und Hochrisikoregeln nach dem AI Omnibus getrennt terminieren [16].

Quellen

Primärquellen zuerst. Unternehmensmitteilungen belegen Eigenangaben und Positionierungen, nicht deren Richtigkeit. Alle Angaben am Original abgeglichen.

  1. Bengio, Y. u. a.: International AI Safety Report 2026. 03.02.2026, insbesondere Abschnitt 2.2.2 „Loss of control“. Internationale wissenschaftliche Evidenzsynthese. internationalaisafetyreport.org (Abruf: 05.10.2026).
  2. Federal Trade Commission: FTC Issues Staff Report on AI Partnerships and Investments Study. 17.01.2025, mit verlinktem Mitarbeiterbericht. Datenstand: Informationen bis September 2024, öffentliche Angaben bis Januar 2025. ftc.gov (Abruf: 05.10.2026).
  3. Altman, S.: Written Testimony before the U.S. Senate Committee on the Judiciary, Subcommittee on Privacy, Technology, and the Law. Anhörung vom 16.05.2023, Abschnitt „Working with Governments“. judiciary.senate.gov (Abruf: 05.10.2026).
  4. Center for AI Safety: Statement on AI Risk. Öffentliche Erklärung mit Unterzeichnerliste, veröffentlicht am 30.05.2023. Belegt Positionierungen, keine quantitative Risikoprognose. safe.ai (Abruf: 05.10.2026).
  5. Friar, S. (OpenAI): A business that scales with the value of intelligence. 18.01.2026. Unternehmensangabe zu annualisierten Erlösen, kein geprüfter Jahresabschluss. openai.com (Abruf: 05.10.2026).
  6. OpenAI: Confidential submission of draft S-1 to the SEC. 08.06.2026. Unternehmensmitteilung. openai.com (Abruf: 05.10.2026).
  7. Future of Life Institute: Pause Giant AI Experiments: An Open Letter. 22.03.2023. Originalaufruf zur Trainingspause mit Unterzeichnerliste. futureoflife.org (Abruf: 05.10.2026).
  8. Heiliger Stuhl: Papst Franziskus, Ansprache beim G7-Gipfel in Borgo Egnazia. 14.06.2024. vatican.va (Abruf: 05.10.2026).
  9. Vereinte Nationen: Artificial intelligence and international security. Sicherheitsrat, 10228. Sitzung, 23.09.2026. Automatische Transkription (UN Transcripts), ausdrücklich kein amtliches Wortprotokoll. Das amtliche Protokoll S/PV.10228 war am 05.10.2026 noch nicht abrufbar. transcripts.un.org (Abruf: 05.10.2026).
  10. Lynch, A.; Hughes, J.; Serrano, A.; Kirk, R.; Bowman, S. R.: Agentic Misalignment in Summer 2026. Anthropic Alignment Science Blog, 13.07.2026. Kontrollierte Simulationsstudien eines Herstellers, nicht extern begutachtet. alignment.anthropic.com (Abruf: 05.10.2026).
  11. Robertson, C.; Pröllochs, N.; Schwarzenegger, K.; Pärnamets, P.; Van Bavel, J. J.; Feuerriegel, S.: Negativity drives online news consumption. Nature Human Behaviour 7, 812–822, 2023. Registered Report mit 22.743 randomisierten Überschriftentests. doi.org (Abruf: 05.10.2026).
  12. OpenAI: Scaling AI for everyone. 27.02.2026. Ankündigung neuer Investitionen und einer Bewertung vor Finanzierung, als Unternehmensangabe verwendet. openai.com (Abruf: 05.10.2026).
  13. Stigler, G. J.: The Theory of Economic Regulation. The Bell Journal of Economics and Management Science 2 (1), 1971. DOI 10.2307/3003160. doi.org (Abruf: 05.10.2026).
  14. Europäische Kommission: General-Purpose AI Code of Practice now available. 10.07.2025. digital-strategy.ec.europa.eu (Abruf: 05.10.2026).
  15. Europäische Union: Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 55, 101 und 113. Amtsblatt der EU, 2024. Die Fassung im AI Act Service Desk bildet die Änderungen durch den AI Omnibus noch nicht ab, maßgeblich ist EUR-Lex. eur-lex.europa.eu (Abruf: 05.10.2026).
  16. Europäische Kommission: AI Omnibus enters into force. 27.07.2026, aktualisiert am 31.07.2026. Änderungsverordnung (EU) 2026/1744, Amtsblatt vom 24.07.2026 (eur-lex.europa.eu). digital-strategy.ec.europa.eu (Abruf: 05.10.2026).
  17. Autio, C. u. a. (NIST): Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1, 26.07.2024. Risikomanagement-Leitfaden, keine Schadensstatistik. doi.org (Abruf: 05.10.2026).
  18. Brynjolfsson, E.; Li, D.; Raymond, L.: Generative AI at Work. The Quarterly Journal of Economics 140 (2), 889–942, 2025. doi.org (Abruf: 05.10.2026).

Weiterlesen im Themenfeld

Analysen wie diese in den Posteingang?

Jeden Mittwoch die KI-News der Woche: Digital Health, KI-Governance, digitale Souveränität, Public Sector und KI-Agenten. Kein Spam, jederzeit abbestellbar.

Newsletter abonnieren

© 2026 Olaf Dunkel. Eigenständige Analyse der unter „Quellen“ aufgeführten Belege; KI-Unterstützung rein sprachlich, inhaltliche Verantwortung beim Autor.