Amazon sloot zijn eigen AI-ranking. Dat zegt alles over hoe je misbruik instelt

Amazon had een intern rangschema waarin zij bijhielden welke teams het meest AI gebruikten. Het idee was eenvoudig: teams ordenen op adoptie, scores zichtbaar maken, laat een beetje competitie het werk doen. Wat gebeurde was een schoon voorbeeld van Goodhart's Law. Als een maatstaf een doel wordt, houdt hij op een goede maatstaf te zijn.

Werknemers ontdekten dat het rangschema token-gebruik volgde. Ze schreven scripts. Scripts die AI-modellen in lussen aanriepen, bergen output genereerden die niemand las, geen echt probleem oplosten, alleen tokens opbrandden. Scores gingen omhoog. Cloudrekeningen gingen sneller omhoog. Amazon schakelde het rangschema uit.

Dit is geen verhaal over slechte spelers. Het is een verhaal over wat gebeurt als je het verkeerde meet en die meting zichtbaar maakt.

Meetwaarden die activiteit belonen, niet resultaten

De faalmanier hier is vertrouwd. Het duikt op wanneer je probeert iets kwantitatief te maken dat van nature kwalitatief is. Lijnen code geschreven. Tickets gesloten. Vergaderingen bijgewoond. Je zet een getal op gedrag, je beloont het getal, en mensen optimaliseren voor het getal terwijl het onderliggende gedrag wegdrijft.

Bij AI is de verleiding om activiteitmetrics te gebruiken nu bijzonder sterk. Executives willen voortgang tonen. Teams willen vooroplopen. Dus grijp je wat makkelijk te tellen is: prompts verzonden, tokens verbruikt, tools geactiveerd, licenties gebruikt. Geen daarvan vertelt je of iemand een beter besluit nam, een betere brief schreef, een beter product shippte.

De Amazon-leaderboard-gamificatie gebeurde snel, wat suggereert dat de druk om eraan te presteren reëel was. Mensen reageren op prikkels. Dat is geen cynisme, dat is gewoon hoe organisaties werken. Het ontwerp van de maatstaf is het ontwerp van het gedrag.

Waar bureaus en productteams nu mee worstelen

Ik zie een variant van dit in bureauwerk voortdurend. Een cliënt vraagt hoe ze AI-adoptie aan hun bestuur kunnen aantonen. Het gesprek begint bijna altijd met dezelfde instinct: zoek iets telbaarS. Hoeveel AI-tools staan in de stack? Hoeveel prompts stuurt het team per week? Welk percentage van de content gaat door een AI-stap?

Deze getallen zijn niet nutteloos. Maar ze beantwoorden de verkeerde vraag. De vraag is niet "gebruiken we AI?" De vraag is "nemen we sneller betere beslissingen en kunnen we dat aantonen?"

Dat is moeilijker te meten. Je moet eerst definiëren wat een beter besluit eruitziet voordat je op zoek gaat naar bewijs. Je hebt basisgegevens nodig. Je hebt geduld nodig. Geen van die dingen past netjes in een kwartaalreview of een transformatiedashboard.

Dus teams pakken de proxy. En de proxy wordt het doel.

De kosten die niet op de factuur verschijnen

Het Amazon-verhaal heeft een concrete financiële dimensie die het overwegen waard is. Het gescripte token-misbruik liep cloudrekeningen op die het bedrijf niet had begroot. Dit is het gevolg van de tweede orde van een slechte maatstaf: niet alleen dat je het verkeerde meet, maar dat optimaliseren voor het verkeerde werkelijke kosten oplevert.

In een bureaucontext speelt dit anders af maar de structuur is dezelfde. Als je team wordt gemeten op AI-toolgebruik, zullen ze manieren vinden om AI in workflows te stoppen waar het wrijving toevoegt in plaats van deze weg te nemen. Een copywriter die elke brief door drie modellen haalt om een wekelijks promptquotum te halen werkt niet slimmer. Ze genereren reviewtijd, versieverwarring en een vals gevoel van momentum.

Cloudverspilling staat op een factuur. Workflowwrijving verschijnt bijna nergens. Dat maakt het gevaarlijker, niet minder gevaarlijk.

Wat je in plaats daarvan moet meten

Hier verlies ik meestal mensen die naar een schoon antwoord willen, omdat de juiste meetwaarden afhangen van wat het werk werkelijk is. Maar er zijn een paar principes die voor de meeste teams standhouden.

Meet de tijd op het besluit, niet de tijd op het gereedschap. Als AI helpt, moet de tijd tussen het hebben van een vraag en het hebben van een zeker antwoord krimpen. Volg dat op. Vraag mensen direct. Voer een voor-en-na-analyse uit op een specifieke klasse van beslissingen die je team herhaaldelijk maakt.

Meet outputkwaliteit op dimensies die ertoe doen. Als je AI voor eerste versies gebruikt, vereist de uiteindelijke output minder herzieningen? Als je het voor onderzoekssynthese gebruikt, zijn de brieven die je aan cliënten geeft scherper? Je kunt dit scoren zonder een ingewikkeld systeem. Kies drie voorbeelden van output van voor en drie van na. Lees ze.

Meet wat niet gebeurde. Wat drie dagen duurde duurt nu vier uur. Wat een specialist nodig had wordt nu intern afgehandeld. Dit zijn de verhalen die in een bestuursinbrief horen, niet in een gebruiksdashboard.

Let op de foutfrequentie, niet alleen de snelheid. Snel en fout is erger dan langzaam en goed. Als AI de tijdlijn verkort maar fouten introduceert die laat worden opgemerkt, heb je een kwaliteitsprobleem vermomd als efficiëntiebesparing.

Niets hiervan vereist een leaderboard. Het vereist een team dat eerlijk is over wat goed werk is en gedisciplineerd genoeg om ernaar te zoeken.

Het diepere probleem met competitieve AI-adoptie

Er is iets waard om te benoemen over het leaderboard-format in het bijzonder. Teams tegen elkaar rangschikken op AI-gebruik stelt dat meer beter is, dat adoptie een race is, dat het team bovenaan de lijst iets doet wat de teams onderin moeten kopië­ren.

Dit is precies omgekeerd voor het meeste kenniswerk.

De juiste hoeveelheid AI in een proces is de hoeveelheid die de output beter maakt zonder kosten die het voordeel opwegen in te voeren. Voor sommige workflows is dat veel. Voor anderen niets. Een onderzoeksproces dat vertrouwt op zorgvuldig geteelde expertoordeel wordt niet duidelijk verbeterd door er een samensvattingsmodel aan toe te voegen. Een klantcommunicatie die afhangt van een specifieke stem en relatieverleden wordt niet verbeterd door het te schrijven in een generieke chatinterface.

Competitie op adoptiemetrics stimuleert teams om AI breed toe te passen in plaats van voorzichtig. Brede toepassing produceert het soort compliance theater dat leaderboards belonen en waar organisaties uiteindelijk voor betalen in kwaliteit, vertrouwen en soms cloudkosten.

Wat dit eigenlijk over prikkels vertelt

Amazon's leaderboard-mislukkking is geen AI-verhaal. Het is een verhaal over prikkels dat toevallig AI betreft. Dezelfde dynamiek zou hebben afgespeeld met elke maatstaf die zichtbaar, competitief en losgekoppeld van echte resultaten was.

Wat het onthult is dat organisaties AI-adoptie nog steeds behandelen als een veranderingsmanagementprobleem: krijg mensen die het gebruiken, toon momentum, rapporteer voortgang omhoog. Die framing zet de maatstaf in het middelpunt. Het werk wordt secundair.

De bureaus en productteams die ik respecteer doen iets anders. Ze kiezen een of twee specifieke workflows, definiëren duidelijk wat een goed resultaat eruitziet, en stellen dan de vraag of AI dat resultaat waarschijnlijker of onwaarschijnlijker maakt. Ze voeren geen leaderboards uit. Ze voeren experimenten uit. Ze zitten lang genoeg bij de resultaten om iets te leren.

Dat is langzamer. Het produceert minder indrukwekkende dashboards. Het is ook hoe je daar werkelijk beter in wordt.

De implicatie voor iedereen die een AI-praktijk opbouwt

Als je verantwoordelijk bent voor AI-adoptie binnen een bureau of productorganisatie, is het Amazon-verhaal het waard serieus te nemen niet als voorzichtigheidsmaatregeling over grote bedrijven die domme dingen doen, maar als voorproefje van wat je eigen goed bedoelde metrieken kunnen produceren.

Vooradat je een getal op iets zet, vraag je af wat een rationeel persoon zou doen om dat getal te laten stijgen. Als het antwoord gedrag betreft dat je niet wilt, herwerk je de maatstaf of laat je hem vallen.

Vooradat je adoptie als competitie zichtbaar maakt, vraag je jezelf af of de teams met het meeste gebruik werkelijk het beste werk leveren. Als je dat niet kunt antwoorden, heb je niet genoeg informatie om iemand in te delen.

En voordat je een gebruiksmijlpaal viert, vraag je wat het kostte. Niet alleen in clouduitgaven. In tijd, in kwaliteit, in de aandacht die je team besteedde aan het optimaliseren voor een score in plaats van het doen van het werk.

Het leaderboard is weg. De vraag die het niet kon beantwoorden is nog steeds daar.