Inferenzkosten halbiert. Warum wachsen KI-Budgets trotzdem?

Die Inferenzkosten für große Sprachmodelle haben sich in den letzten zwölf Monaten um mehr als die Hälfte reduziert. Man würde erwarten, dass KI-Budgets folgen. Das tun sie nicht. Die meisten Agenturen und Produktteams geben mehr für KI aus als vor einem Jahr, nicht weniger. Diese Lücke lohnt sich genauer anzuschauen, denn sie zeigt etwas Nützliches darüber, wie Organisationen neue Technologie tatsächlich einführen, im Gegensatz zu wie sie planen.

Die Kurzfassung. Billigere Inference bedeutet nicht billigere KI. Es bedeutet mehr KI. Und mehr KI ohne klare Architektur lässt deine Kosten in Wegen explodieren, die eine Preissenkung pro Token nicht behebt.

Die Jevons-Falle in deinem Sprint-Backlog

In den 1860er Jahren beobachtete der Ökonom William Stanley Jevons, dass effizientere Kohlemotoren zu höherem Kohlekonsum führten, nicht zu weniger. Effizienz machte Kohle für mehr Anwendungsfälle wirtschaftlich, also wuchs die Nachfrage schneller als die Effizienz stieg. Die gleiche Dynamik läuft gerade durch deine KI-Budgets.

Als GPT-4-Klasse-Inference einen Dollar pro tausend Tokens kostete, waren Teams diszipliniert. Du routetst nur das zum teuren Modell, das routing brauchte. Du hast aggressiv gecacht. Du designtest Prompts, um kurz zu sein. Als Kosten stark fielen, entspannte sich diese Disziplin. Teams fügten Features hinzu, erweiterten Context Windows, verbanden mehr Datenquellen, liefen mehr Evaluationen. Jedes davon ist einzeln nachvollziehbar. Zusammen radieren sie die Ersparnisse aus und darüber hinaus.

Das ist kein Fehlurteil. Es ist das normale Verhalten eines rationalen Teams mit einem neu erschwinglichen Input. Der Fehler ist, anzunehmen, dass billigere Kosten pro Einheit in eine kleinere Gesamtrechnung übersetzen.

Wo das Geld wirklich hingeht

Wenn wir KI-Ausgaben für Kunden abbilden, ist die Inferenz-Position selten die größte. Hier sammeln sich Budgets tatsächlich an.

Orchestrierung und Verbindungscode. Das Verbinden von Modellen mit deinen Daten, APIs und bestehenden Tools braucht Engineeringzeit. Diese Zeit wird nicht billiger, wenn OpenAI Preise senkt.

Evaluation. Eine ernsthafte Eval-Suite für ein Production-KI-Feature kostet echtes Geld zum Aufbau und Unterhalten. Die meisten Teams unterschätzen das um den Faktor drei oder vier, wenn sie anfangen.

Menschliche Überprüfung. Bei allem, das zählt, liest noch immer jemand den Output. Diese Person hat ein Gehalt. Ihre Zeit ist ein Kostenfaktor, der nicht in deinem Model-Billing-Dashboard auftaucht.

Neuwork durch übereilte Architektur. Die teuerste KI-Ausgabe ist die, die erst in sechs Monaten auftaucht, wenn du ein Feature neu entwickeln musst, weil du es um eine Modell-Fähigkeit herum gebaut hast, die sich verschoben hat, oder ein Prompt-Pattern, das bei Skalierung nicht mehr funktioniert.

Inferenzkosten sind ein kleiner Teil dieses Bildes. Wenn sie fallen, wird das Bild nicht proportional billiger. Es wird breiter.

Was schnellere Modell-Ökonomien wirklich ändern

Die Verschiebung ist real und sie zählt. Hier ist, was sie für Agenturen und Produktteams wirklich ändert.

Die Einstiegsschwelle für Features rückt. Anwendungsfälle, die vor zwölf Monaten wirtschaftlich marginal waren, lohnen sich jetzt zu bauen. KI-gestützte Suche über große Dokument-Sätze, Echtzeit-Personalisierung auf Content-Block-Ebene, multimodale Inputs in Mobile-Flows. Das waren Schöne-zu-haben vor einem Jahr. Jetzt sind sie im Budget für Mid-Market-Produkte.

Das Wettbewerbsfenster komprimiert sich. Wenn du darauf gewartet hast, dass KI billig genug wird, um ein Feature zu rechtfertigen, haben deine Konkurrenten auf die gleiche Schwelle gewartet. Wenn der Preis fällt, überschreiten alle sie zur gleichen Zeit. Implementierungsgeschwindigkeit zählt mehr als damals, als Kosten der Unterscheidungsfaktor waren.

Modell-Auswahl-Logik braucht ein Update. Viele Teams haben Routing-Logik aufgebaut, um zwischen billigeren und fähigeren Modellen zu wählen, basierend auf Preispunkten, die es nicht mehr gibt. Wenn du noch immer einen Model Router laufen lässt, der auf 2023-Preise kalibriert ist, könnte es sein, dass du Latenz und Komplexität für Ersparnisse hinzufügst, die auf Provider-Ebene ohnehin schon materialisiert sind.

Das Problem des Planungszyklus

Die meisten Organisationen budgetieren jährlich. KI-Modell-Ökonomien bewegen sich in einem sechsmonatigen Rhythmus, möglicherweise schneller. Das Missverhältnis schafft einen spezifischen Fehlermodus: Teams sperren Annahmen am Anfang eines Geschäftsjahres, die in Q3 materiell falsch sind.

Die Lösung ist nicht, sorgfältiger zu planen. Sie ist, die Schichten deiner KI-Investition zu trennen. Trenne, was du für Infrastruktur und Modellzugang ausgibst, was sich weiterhin verschieben wird, von dem, was du für Architektur, Evaluation und die Leute ausgibst, die das System warten und verbessern. Letzteres ist klebrig. Es sollte mit mehr Stabilität geplant und besetzt werden, nicht als variable Kosten behandelt.

Wenn dein KI-Budget hauptsächlich ein Posten für API-Zugang ist, misst du die falsche Sache. Die tatsächliche Investition liegt im Team und dem System-Design um die Modelle herum. Das ist, wo der dauerhafte Wert sitzt, und das ist der Teil, der nicht billiger wird, wenn Inferenzkosten fallen.

Was du damit anfängst

Drei Dinge, die jetzt lohnen, unabhängig davon, wohin Inferenzpreise als nächstes gehen.

Erstens, überprüfe deine KI-Ausgaben nach Schicht. Trenne Modellkosten von Engineeringkosten von Überprüfungskosten. Wenn du das nicht getan hast, optimierst du wahrscheinlich die falsche Zahl.

Zweitens, überdenke Feature-Kandidaten, die 2023 oder Anfang 2024 aus Kostengründen killt wurden. Einige von ihnen sind jetzt machbar. Eine schnelle Neubewertung dauert einen Tag und könnte etwas Nützliches freilegen.

Drittens, investiere in deine Eval-Schicht, bevor du in mehr Features investierst. Billige Inference bedeutet, du kannst mehr, schneller laufen. Das ist nur ein Vorteil, wenn du schnell feststellen kannst, ob das, was du laufen lässt, tatsächlich funktioniert. Ohne einen soliden Evaluation-Prozess wird Geschwindigkeit zur Haftung.

Die Ökonomien der KI verschieben sich in deine Gunst. Ob dein Budget das widerspiegelt, hängt weniger davon ab, was die Modelle kosten, und mehr davon ab, wie durchdacht du das System um sie herum strukturiert hast.