Amazon hat sein eigenes KI-Ranking abgeschaltet. Das sagt einiges über Anreize aus

Amazon baute ein internes Ranking auf, um zu verfolgen, welche Teams KI am intensivsten nutzten. Die Idee war einfach: Teams nach Adoption ranken, die Scores sichtbar machen, lasse ein wenig Wettbewerb den Rest erledigen. Was stattdessen passierte, ist eine präzise Demonstration von Goodharts Gesetz: Wenn ein Maßstab zum Ziel wird, hört er auf, ein guter Maßstab zu sein.

Mitarbeiter merkten, dass das Ranking Token-Nutzung verfolgte. Also schrieben sie Skripte. Skripte, die KI-Modelle in Schleifen aufriefen, Berge von Output generierten, den niemand las, die kein echtes Problem lösten, nur Token verbrannten. Die Scores stiegen. Die Cloud-Rechnungen stiegen schneller. Amazon schaltete das Ranking ab.

Das ist keine Geschichte über böse Absichten. Es ist eine Geschichte darüber, was passiert, wenn du das Falsche misst und die Messung sichtbar machst.

Metriken, die Aktivität belohnen, nicht Ergebnisse

Das Versagenmuster hier ist vertraut. Es taucht auf, sobald du versuchst, etwas Qualitatives zu quantifizieren. Geschriebene Codezeilen. Geschlossene Tickets. Besuchte Meetings. Du packst eine Zahl auf ein Verhalten, belohnst die Zahl, und Menschen optimieren für die Zahl, während sich das eigentliche Verhalten wegbewegt.

Bei KI ist die Verlockung, Aktivitätsmetriken zu nutzen, gerade besonders stark. Führungskräfte wollen Fortschritt zeigen. Teams wollen im Trend liegen. Also greifst du zu dem, was einfach zu zählen ist: gesendete Prompts, verbrauchte Tokens, aktivierte Tools, lizenzierte Plätze. Nichts davon sagt dir, ob jemand eine bessere Entscheidung getroffen, ein besseres Briefing geschrieben, ein besseres Produkt ausgeliefert hat.

Die Gamifikation des Amazon-Rankings geschah schnell, was darauf hindeutet, dass der Druck, darin zu performen, real war. Menschen reagieren auf Anreize. Das ist keine Zynismus, das ist einfach, wie Organisationen funktionieren. Das Design der Metrik ist das Design des Verhaltens.

Was Agenturen und Produktteams gerade falsch verstehen

Ich sehe eine Version davon in Agenturarbeit ständig. Ein Kunde fragt, wie man KI-Adoption dem Board demonstriert. Das Gespräch beginnt fast immer mit dem gleichen Instinkt: Finde etwas Zählbares. Wie viele KI-Tools sind im Stack? Wie viele Prompts sendet das Team pro Woche? Welcher Prozentsatz des Contents läuft durch einen KI-Schritt?

Diese Zahlen sind nicht nutzlos. Aber sie beantworten die falsche Frage. Die Frage ist nicht "Verwenden wir KI?" Die Frage ist "Treffen wir bessere Entscheidungen schneller, und können wir das zeigen?"

Das ist schwerer zu messen. Es erfordert, dass du definierst, wie eine bessere Entscheidung aussieht, bevor du nach Belegen suchst. Es erfordert Basisdaten. Es erfordert Geduld. Nichts davon passt ordentlich in einen Quarterly Review oder ein Transformation Dashboard.

Also greifen Teams zur Annäherung. Und die Annäherung wird zum Ziel.

Die Kosten, die du nicht auf der Rechnung siehst

Die Amazon-Geschichte hat eine konkrete finanzielle Dimension, die es sich lohnt zu betrachten. Der Skript-basierte Token-Missbrauch trieb Cloud-Rechnungen hoch, die das Unternehmen nicht eingeplant hatte. Das ist die Sekundärfolge einer schlechten Metrik: nicht nur, dass du das Falsche misst, sondern dass die Optimierung für das Falsche echte Kosten schafft.

In einem Agenturkontext läuft das anders ab, aber die Struktur ist die gleiche. Wenn dein Team nach KI-Tool-Nutzung gemessen wird, finden sie Wege, um KI in Workflows zu bringen, wo sie Reibung hinzufügt statt sie zu entfernen. Ein Texter, der jedes Briefing durch drei Modelle laufen lässt, um ein wöchentliches Prompt-Kontingent zu erfüllen, arbeitet nicht smarter. Sie generieren Review-Zeit, Versionsverwirring und ein falsches Gefühl von Momentum.

Cloud-Verschwendung ist auf einer Rechnung sichtbar. Workflow-Reibung erscheint selten irgendwo. Das macht sie gefährlicher, nicht weniger.

Was du stattdessen messen solltest

Das ist der Punkt, an dem ich normalerweise Menschen verliere, die eine saubere Antwort wollen, denn die richtigen Metriken hängen davon ab, was die Arbeit tatsächlich ist. Aber es gibt ein paar Prinzipien, die für die meisten Teams gelten.

Miss die Zeit auf die Entscheidung, nicht die Zeit auf das Tool. Wenn KI hilft, sollte die Zeit zwischen der Frage und einer selbstbewussten Antwort komprimiert werden. Verfolge das. Frag Menschen direkt. Mach ein Vorher-Nachher bei einer spezifischen Klasse von Entscheidungen, die dein Team wiederholt trifft.

Miss die Output-Qualität auf Dimensionen, die wichtig sind. Wenn du KI für Erste Entwürfe nutzt, erfordern die finalen Outputs weniger Revisionsdurchläufe? Wenn du sie für Recherche-Synthese nutzt, sind die Briefings, die du an Clients übergibst, prägnanter? Du kannst das ohne ein kompliziertes System bewerten. Wähle drei Output-Beispiele von vorher und drei von nachher. Lies sie.

Miss, was nicht passierte. Was drei Tage dauerte, dauert jetzt vier Stunden. Was einen Spezialisten brauchte, wird jetzt intern bearbeitet. Diese sind die Geschichten, die in ein Board Update gehören, nicht auf ein Usage Dashboard.

Beobachte die Fehlerrate, nicht nur die Geschwindigkeit. Schnell und falsch ist schlimmer als langsam und richtig. Wenn KI Timelines komprimiert, aber Fehler einführt, die spät gefangen werden, hast du ein Qualitätsproblem, verkleidet als Effizienzgewinn.

Nichts davon erfordert ein Leaderboard. Es erfordert ein Team, das ehrlich ist, wie gute Arbeit aussieht, und diszipliniert genug, nach Belegen dafür zu suchen.

Das tiefere Problem mit kompetitiver KI-Adoption

Es gibt etwas zu benennen über das Leaderboard-Format spezifisch. Teams gegen einander beim KI-Einsatz zu ranken setzt voraus, dass mehr besser ist, dass Adoption ein Rennen ist, dass das Team ganz oben auf der Liste etwas tut, das Teams unten kopieren sollten.

Das ist genau umgekehrt für die meiste Wissensarbeit.

Die richtige Menge KI in einem Prozess ist die Menge, die den Output besser macht, ohne Kosten einzuführen, die den Nutzen überwiegen. Für manche Workflows ist das viel. Für andere ist es null. Ein Recherche-Prozess, der auf sorgfältig gepflegtem Experten-Urteil beruht, wird nicht offensichtlich verbessert, indem man ein Zusammenfassungs-Modell hinzufügt. Eine Kundenkommunikation, die von einer spezifischen Stimme und Beziehungshistorie abhängt, wird nicht verbessert, indem man sie in einer universellen Chat-Oberfläche entwirft.

Wettbewerb um Adoptionsmetriken ermutigt Teams, KI breit anzuwenden statt sorgfältig. Breite Anwendung produziert die Art von Compliance-Theater, die Leaderboards belohnen und die Organisationen irgendwann in Qualität, Vertrauen und manchmal Cloud-Kosten bezahlen.

Was das uns wirklich über Anreize sagt

Amazons Leaderboard-Versagen ist keine KI-Geschichte. Es ist eine Anreiz-Geschichte, die KI involviert. Die gleiche Dynamik hätte sich mit jeder sichtbaren, kompetitiven und von echten Ergebnissen abgelösten Metrik abgespielt.

Was es offenbart ist, dass Organisationen KI-Adoption noch immer als Change-Management-Problem behandeln: Menschen zur Nutzung bringen, Momentum zeigen, Fortschritt nach oben berichten. Das Framing stellt die Metrik ins Zentrum. Die Arbeit wird sekundär.

Die Agenturen und Produktteams, die ich respektiere, tun etwas anderes. Sie wählen einen oder zwei spezifische Workflows aus, definieren klar, wie ein gutes Ergebnis aussieht, und fragen dann, ob KI dieses Ergebnis wahrscheinlicher oder unwahrscheinlicher macht. Sie betreiben keine Leaderboards. Sie betreiben Experimente. Sie sitzen lange genug bei den Ergebnissen, um etwas zu lernen.

Das ist langsamer. Es produziert weniger beeindruckende Dashboards. Es ist auch, wie du tatsächlich besser darin wirst.

Die Implikation für jeden, der eine KI-Praxis aufbaut

Wenn du für KI-Adoption in einer Agentur oder Produktorganisation verantwortlich bist, lohnt es sich, die Amazon-Geschichte ernst zu nehmen. Nicht als Abschreckungs-Geschichte über große Unternehmen, die dumme Dinge tun, sondern als Vorschau auf das, was deine eigenen wohlgemeinten Metriken produzieren können.

Bevor du eine Zahl auf etwas packst, frag, was eine rationale Person täte, um diese Zahl hochzutreiben. Wenn die Antwort ein Verhalten beinhaltet, das du nicht willst, überarbeite die Metrik oder gib sie auf.

Bevor du Adoption als Wettbewerb sichtbar machst, frag, ob die Teams mit der höchsten Nutzung tatsächlich die beste Arbeit produzieren. Wenn du das nicht beantworten kannst, hast du nicht genug Informationen, um jemanden zu ranken.

Und bevor du einen Nutzungs-Meilenstein feierst, frag, was es gekostet hat. Nicht nur in Cloud-Ausgaben. In Zeit, in Qualität, in der Aufmerksamkeit, die dein Team damit verbrachte, für einen Score zu optimieren statt die Arbeit zu tun.

Das Leaderboard ist weg. Die Frage, die es nicht beantworten konnte, ist noch da.