Agentische Workflows treiben den Verbrauch trotz sinkender Modellpreise. Wie Unternehmen mit Cost per Result, Kontext-Engineering und Model Routing gegensteuern.

Der Preis pro Token ist für die Wirtschaftlichkeit von KI nur ein Teil der Rechnung. Entscheidend ist, wie viel Kontext, Rechenaufwand, Validierung und Nacharbeit erforderlich sind, bis ein akzeptiertes Ergebnis vorliegt.

Management Summary

Ergebnis statt Tokenpreis steuern: Sinkende Modellpreise garantieren keine niedrigeren Gesamtkosten; entscheidend sind die vollständig geladenen Kosten pro akzeptiertem Ergebnis.
Kontextverbrauch begrenzen: Ungekürzte Dokumente, schwaches Retrieval und dauerhaft eingebundene Tools treiben Tokenmenge, Rechenaufwand und Nacharbeit.
Wiederverwendung industrialisieren: Prompt-Bibliotheken, Caching und KI-fertige Kontextprodukte vermeiden wiederholte Verarbeitung derselben Rohdaten.
Modelle gezielt routen: Routineaufgaben gehören auf spezialisierte oder kleinere Modelle; leistungsstarke Reasoning-Modelle sollten wertkritischen Fällen vorbehalten bleiben.
Hochverbraucher priorisieren: Transparenz über Workloads, Datenquellen und menschliche Korrektur schafft die Grundlage für Governance und gezielte Investitionen.

Das KI-Kostenparadox

Die Kosten für einzelne KI-Tokens sinken. Trotzdem kann der Einsatz von KI in Unternehmen teurer werden. Wie das sein kann? Nicht mehr der einzelne Modellaufruf, sondern die vollständige Erledigung einer Aufgabe bestimmt die tatsächliche Wirtschaftlichkeit.

Gerade agentische KI-Workflows machen diese Entwicklung sichtbar. Dabei wird eine Aufgabe in mehrere Schritte zerlegt, Modelle werden wiederholt aufgerufen und jeder Schritt bringt zusätzlichen Kontext mit: Dokumente aus dem Unternehmen, Systemanweisungen, Tool-Schemata und Gesprächsverläufe. So passiert es, dass zwar der einzelne Token günstiger wird, die Menge der benötigten Tokens pro erledigter Aufgabe sich jedoch vervielfachen kann.

Hinzu kommen Reasoning-Modelle, die verborgene Denktokens erzeugen. Diese Tokens werden zu Premium-Ausgaberaten abgerechnet und können den größten Anteil der Kosten pro Aktion ausmachen. Wer nur den sichtbaren Prompt und die sichtbare Antwort betrachtet, unterschätzt daher systematisch den Aufwand.

Kontext ist der neue Kostenhebel

Unternehmensdaten werden in dem Moment zu KI-Kosten, in dem sie in Prompts, RAG-Pipelines, Agenten oder generierte Ausgaben eingehen. Es reicht nicht mehr, Daten einfach nur verfügbar zu machen. Entscheidend ist, dass die richtigen Daten im richtigen Kontext bereitgestellt werden.

Egal, ob lange Dokumente, Gesprächsmitschriften, Logs oder Richtlinien – all das sind typische Hochverbraucher. Werden sie ungekürzt in ein Modell gegeben, entsteht aus Datenüberfluss Tokenüberfluss. Schlechte Datenqualität und unpräzise Retrieval-Logik verschärfen das Problem zudem noch: Das Modell muss häufiger nachdenken, Antworten werden schlechter und Menschen müssen mehr korrigieren.

Kontext-Engineering sollte deshalb als eigene Disziplin etabliert werden. Unternehmen brauchen explizite Kontextbudgets, gekürzte Wissensbestände und Mechanismen, die nur relevanten Inhalt laden. Wie etwa Chunking, Zusammenfassungen, Metadatenfilter, präziseres Retrieval sowie Wissensbasen mit Knowledge Graphs und Ontologien. Tools sollten nur dann eingebunden werden, wenn sie im jeweiligen Arbeitsschritt tatsächlich benötigt werden. So müssen nicht bei jeder Anfrage ihre vollständigen Beschreibungen und Anwendungsvorgaben an das KI-Modell übertragen werden.

Vom Rohdokument zum Kontextprodukt

Ein zentraler Effizienzhebel liegt vor allem in der Wiederverwendung. Anstatt dieselben Rohdokumente immer wieder neu in Modelle einzuspeisen, sollten Teams KI-fertige Kontextprodukte entwickeln. Caching-Strategien helfen, mehrfachen Verbrauch zu vermeiden.

Als pragmatischen Einstieg lassen sich beispielsweise unternehmensweite Prompt-Bibliotheken und standardisierte Templates empfehlen. Mit wachsender Reife können daraus domänenspezifische Grounding-Pakete und semantische Kontextprodukte für besonders wertvolle Geschäftsbereiche entstehen.

Dafür braucht es gemeinsame Standards von Anwendungs-, Software- und Plattform-Engineering. Datenquellen sollten nach ihrer Token-Wertdichte in hohe, mittlere und niedrige Kategorien klassifiziert werden. So lässt sich entscheiden, welche Inhalte besonders sorgfältig aufbereitet und welche nur zurückhaltend in KI-Workflows verwendet werden sollten.

Model Routing und Inference Tiering statt Einheitsmodell

Nicht jede Aufgabe braucht ein besonders leistungsfähiges und teures KI-Modell, das komplexe Probleme Schritt für Schritt durchdenkt. Routineaufgaben wie Extraktion oder Klassifikation lassen sich spezialisierten Modellen zuweisen. Model Routing sorgt dafür, dass die jeweilige Aufgabe in der passenden Inference-Stufe landet.

Bei hochvolumigen Workloads sollten Unternehmen zudem prüfen, ob ein kommerzielles domänenspezifisches Sprachmodell oder ein feinjustiertes internes Small Model wirtschaftlicher ist. Ein kommerzielles Modell kann pro Aufgabe teurer sein. Ein internes Modell erfordert dagegen Vorabinvestitionen, kann bei entsprechender Skalierung aber deutlich niedrigere Gesamtbetriebskosten erreichen.

Maßgeblich ist die Wirtschaftlichkeit bezogen auf das Ergebnis, nicht der isolierte Stückpreis.

20 Prozent der Aufgaben im Kostenfokus

Gartner prognostiziert, dass 20 Prozent der KI-Aufgaben künftig 80 Prozent oder mehr des Token-Verbrauchs eines Unternehmens verursachen könnten. Heute dominieren insbesondere KI-Coding-Assistenten und komplexe agentische Automatisierungen die Budgets.

Diese Hochverbraucher müssen sichtbar werden. API-Metadaten, AI-Gateways und Nutzungs-Dashboards können zeigen, wo Daten fließen und wie Tokens eingesetzt werden.

Ziel ist ein sinnvoller Sweet Spot: Redundante Prompt-Schleifen und überlange Ausgaben werden reduziert, während dort investiert wird, wo zusätzliche Tokens tatsächlich geschäftlichen Wert erzeugen.

Cost per Result als Steuerungsgröße

Token-Dashboards allein bleiben Eitelkeitsmetriken, wenn sie nicht mit Geschäftsentscheidungen verbunden sind. Sie erklären, was verbraucht wurde – nicht, welche nützliche Arbeit daraus entstanden ist.

Unternehmen sollten daher die Kosten pro akzeptierter Ausgabe, abgeschlossenem Workflow oder gelöstem Fall messen. Die Kennzahl muss vollständig geladen sein. Dazu gehören Modellkosten, Tool- oder RAG-Kosten, Infrastruktur, menschliche Validierung und Nacharbeit.

Cost per Result =

(Modellkosten + Tool-/RAG-Kosten + Infrastrukturkosten + Validierungskosten + Nacharbeitskosten)

Anzahl der akzeptierten Ergebnisse

Ein Beispiel: Entstehen 500 Dollar Modellkosten, 200 Dollar für Tools oder RAG, 100 Dollar Infrastrukturkosten, 100 Dollar für menschliche Validierung und weitere 100 Dollar für Nacharbeit, ergeben sich bei 1.000 akzeptierten Ausgaben Kosten von 1 Dollar pro Ergebnis.

Diese Perspektive trennt technische Tokeneffizienz von echter Ergebniseffizienz. Sie macht sichtbar, ob KI produktive Arbeit leistet oder lediglich teure Aktivität erzeugt.

Die Verknüpfung mit einem konkreten Workflow, einem verantwortlichen Team und einer nützlichen Arbeitseinheit ist dabei wichtiger als eine scheinbar präzise Tokenzahl.

Governance für eine variable Kostenstruktur

KI-Kostensteuerung wird damit laut Gartner zu einer Führungsaufgabe. Verantwortliche sollten zunächst die teuersten Datenquellen und Workloads identifizieren und deren tatsächlichen Verbrauch systematisch erfassen. Anschließend braucht es gemeinsame Regeln für Kontextqualität, Wiederverwendung, Routing und Inference Tiering.

Auch Risiken sind zu berücksichtigen. Durch die Tokenisierung können personenbezogene Daten, Verträge oder proprietärer Code in Prompts, Embeddings, API-Logs und Agent-Traces gelangen, möglicherweise außerhalb klassischer Datenbanksicherheitskontrollen.

Veralteter Kontext verschwendet Tokens und kann Entscheidungen verschlechtern. Ein günstiger KI-Output wird zudem teuer, wenn menschliche Korrektur und Nacharbeit nicht eingerechnet werden.

Die geeignete Antwort ist daher kein pauschales Sparprogramm. Unternehmen sollten Verbrauch dort begrenzen, wo er keinen zusätzlichen Wert erzeugt, und dort bewusst investieren, wo mehr Kontext oder Reasoning zu einem besseren Ergebnis führt.

So wird aus sinkenden Tokenpreisen kein Blindflug, sondern eine steuerbare Kostenstruktur für KI.

Deepak Seth, Sr Director Analyst bei Gartner

FAQ: KI-Kosten wirksam steuern

Warum sinken die KI-Gesamtkosten nicht automatisch mit dem Tokenpreis?
Weil komplexere Workflows mehr Kontext, Modellaufrufe, Reasoning, Tools, Validierung und Nacharbeit benötigen. Der niedrigere Stückpreis kann dadurch überkompensiert werden.
Welche Kennzahl ist aussagekräftiger als der reine Tokenverbrauch?
Die vollständig geladenen Kosten pro akzeptiertem Ergebnis, abgeschlossenem Workflow oder gelöstem Fall – kurz: Cost per Result.
Was gehört in die Cost-per-Result-Berechnung?
Modell-, Tool- und RAG-Kosten, Infrastruktur, menschliche Validierung sowie Nacharbeit – geteilt durch die Zahl der akzeptierten Ergebnisse.
Warum ist Kontext ein zentraler Kostenhebel?
Jedes zusätzlich geladene Dokument, Tool-Schema oder Gesprächsfragment erhöht den Input. Irrelevanter Kontext belastet zudem Qualität, Reasoning und Korrekturaufwand.
Was bedeutet Kontext-Engineering in der Praxis?
Unternehmen definieren Kontextbudgets, kürzen Wissensbestände und laden über Chunking, Metadatenfilter und präzises Retrieval nur tatsächlich relevante Inhalte.
Welche Rolle spielen Caching und Kontextprodukte?
Sie verhindern, dass dieselben Rohdaten wiederholt aufbereitet und übertragen werden. Standardisierte, KI-fertige Pakete verbessern zugleich Qualität und Wiederverwendbarkeit.
Was leisten Model Routing und Inference Tiering?
Sie ordnen Aufgaben der wirtschaftlich passenden Modellklasse zu: kleine oder spezialisierte Modelle für Routinen, leistungsstarke Reasoning-Modelle für komplexe Wertfälle.
Welche Workloads sollten zuerst analysiert werden?
Hochvolumige agentische Prozesse, Coding-Assistenten und Workflows mit langen Dokumenten oder vielen Tool-Aufrufen. Sie verursachen häufig einen überproportionalen Verbrauch.
Welche Transparenzinstrumente sind sinnvoll?
API-Metadaten, AI-Gateways und Nutzungs-Dashboards sollten Verbrauch, Datenflüsse und Ergebnismetriken einem konkreten Workflow und verantwortlichen Team zuordnen.
Wie lässt sich Kostenoptimierung mit Qualität und Sicherheit verbinden?
Verbrauch wird dort reduziert, wo er keinen Mehrwert liefert. Gleichzeitig bleiben hochwertige Kontexte, Validierung und Schutz sensibler Daten in wertkritischen Prozessen erhalten.

Management Summary, FAQ und Bild wurden mit Hilfe von KI erstellt

Was ist ein Token und wie wird er zur Berechnung der Kosten herangezogen?

Ein Token bezeichnet die kleinste vom Sprachmodell verarbeitbare Einheit. Dabei handelt es sich nicht zwingend um ein vollständiges Wort, sondern häufig um Wortfragmente, Silben oder Zeichenfolgen. Moderne Sprachmodelle zerlegen jeden eingegebenen Text in solche Tokens, um ihn effizient analysieren, interpretieren und weiterverarbeiten zu können. Die Tokenisierung folgt mathematischen und statistischen Regeln, die sich an typischen Sprachmustern orientieren.

Struktur und Bedeutung von Tokens

Tokens bilden die Grundlage sämtlicher Modelloperationen. Sie bestimmen:

Wie viel Text ein Modell aufnehmen kann (Kontextfenster),
Wie komplex eine Aufgabe eingeschätzt wird,
Wie hoch die Rechenlast ausfällt,
Wie sich die Kosten einer Anfrage zusammensetzen.

Ein durchschnittliches deutsches Wort umfasst etwa ein bis drei Tokens. Längere oder zusammengesetzte Begriffe können entsprechend mehr Tokens erzeugen. Auch Satzzeichen, Leerzeichen und Formatierungen werden als Tokens gezählt.

Tokenverbrauch als Kostenfaktor

Die Kosten einer KI‑Anfrage ergeben sich aus der Anzahl der verarbeiteten Tokens. Dabei werden drei Kategorien unterschieden:

Input‑Tokens Alle Bestandteile des Nutzerinputs: Prompt, Systemanweisungen, Anhänge oder Kontextinformationen.
Output‑Tokens Alle Tokens, die das Modell als Antwort generiert.
Interne Tokens Zusätzliche Tokens, die während der Verarbeitung entstehen, etwa durch:
- interne Planungsschritte,
- Tool‑Aufrufe,
- Code‑Interpretation,
- Retrieval‑Prozesse,
- Sicherheits- und Qualitätsprüfungen.

Diese internen Tokens sind für den Nutzer nicht sichtbar, können aber je nach Aufgabenkomplexität einen erheblichen Anteil der Gesamtkosten ausmachen.

Berechnungsprinzip

Die Kosten werden nach folgendem Schema ermittelt:

Der Preis pro Token variiert je nach Modell, Anbieter und Leistungsstufe. Komplexe Aufgaben – etwa umfangreiche Analysen, mehrstufige Agentenprozesse oder große Dokumentverarbeitungen – erzeugen entsprechend höhere Tokenmengen und damit höhere Kosten.

Relevanz für die Praxis

Für Unternehmen, Redaktionen und technische Fachabteilungen ist das Verständnis des Tokenmechanismus zentral, um:

den Ressourcenverbrauch präzise zu kalkulieren,
Kostenstrukturen transparent zu machen,
Workflows effizient zu gestalten,
Modelle bedarfsgerecht auszuwählen,
und die Wirtschaftlichkeit von KI‑gestützten Prozessen zu optimieren.

Albert Absmeier & KI

7969 Artikel zu „KI Kosten“

Business | Effizienz | Favoriten der Redaktion | Geschäftsprozesse | Künstliche Intelligenz | News | Strategien | Tipps

Kostenfalle im KI-Betrieb vermeiden: Neue Ansätze für die nachhaltige Wirtschaftlichkeit von KI

1. September 2026

KI-Projekte scheitern im produktiven Betrieb selten an der Idee, sondern zunehmend an der Kostenlogik. Wer Inferenz, Infrastruktur und Governance frühzeitig zusammendenkt, verhindert, dass erfolgreiche Proofs of Concept später zur wirtschaftlichen Belastung werden. Management Summary Inferenz wird zum eigentlichen Kostentreiber: Nicht das Modelltraining, sondern jede produktive Nutzung entscheidet über die langfristige Wirtschaftlichkeit von KI. PoCs…