Warum das beste KI-Modell nicht Ihr Modell ist.

1. Was Anfang September tatsächlich passiert ist

Am 1. September veröffentlichte Anthropic Claude Fable 5.1, am 3. September folgte OpenAI mit GPT-6 Astra. Zwei Meldungen in drei Tagen, beide mit Zahlen, beide mit dem Anspruch, einen neuen Stand zu markieren.

Zwei Einschränkungen gehören zu dieser Tabelle. Erstens stammen alle Werte von den Herstellern selbst, jeweils mit eigenen Einstellungen gemessen. OpenAI weist selbst darauf hin, dass die Vergleichsläufe gegen Claude teils unter abweichenden Bedingungen entstanden sind. Zweitens sagt keiner dieser Werte etwas darüber, wie sich das Modell in Ihrem Vorgang verhält.

Bemerkenswert ist eine dritte Zeile, die in den Meldungen unterging: Anthropic empfiehlt für den Einstieg nicht das neue Spitzenmodell, sondern das kleinere Opus 5. Es kostet bei Eingabe, Ausgabe und Zwischenspeicherung etwa die Hälfte und antwortet schneller. Ein Hersteller, der vom eigenen Flaggschiff abrät, sagt damit mehr über den Markt als jede Benchmark-Tabelle.

2. Warum der Tokenpreis die falsche Zahl ist

Bei Fable 5.1 ist der Grundpreis unverändert geblieben, zehn Dollar für eine Million Token Eingabe, fünfzig für die Ausgabe. Gesenkt wurde nur ein Posten: der Zugriff auf zwischengespeicherte Eingaben, von einem Dollar auf fünfundzwanzig Cent.

Das klingt nach einer Fußnote und ist der eigentliche Inhalt der Ankündigung. Anthropic beziffert die Ersparnis bei typischen Arbeitslasten auf rund 25 Prozent, bei stark agentischen Abläufen auf bis zu 45 Prozent. Der Grund ist die Arbeitsweise von Agenten: Sie schicken bei jedem Schritt denselben Kontext erneut mit, also die Systemanweisungen, die Werkzeugbeschreibungen, die bisherige Unterhaltung, oft dieselben Dokumente. Genau dieser wiederholte Teil wird zwischengespeichert.

Daraus folgt etwas Unbequemes für jede Budgetplanung: Zwei Modelle mit identischem Listenpreis können sich in der Monatsrechnung um ein Drittel unterscheiden, je nachdem, wie Ihr Ablauf gebaut ist. Der Listenpreis ist damit kein Vergleichsmaßstab, sondern ein Bestandteil unter mehreren. Wer nur die Preisliste nebeneinanderlegt, vergleicht die falsche Größe. Dieselbe Lücke tut sich bei der Frage auf, was ein Agent im Betrieb wirklich kostet.

3. Die Rechnung, die zählt: Kosten je erledigtem Vorgang

Die brauchbare Kennzahl heißt nicht Preis je Million Token, sondern Kosten je erfolgreich abgeschlossenem Vorgang. Der Unterschied ist keine Wortklauberei, er dreht Entscheidungen um.

Nehmen wir einen Ablauf, der eingehende Lieferantenrechnungen prüft und verbucht. Angenommen, das günstige Modell erledigt sieben von zehn Rechnungen fehlerfrei, das teure neun von zehn. Angenommen weiter, ein Modelldurchlauf kostet beim günstigen Modell ein Zehntel des teuren, und ein fehlerhafter Vorgang kostet zehn Minuten Nacharbeit in der Buchhaltung.

Dann ist das günstige Modell bei den reinen Aufrufkosten unschlagbar und trotzdem teurer, sobald die Nacharbeit in die Rechnung kommt: drei Nachbesserungen à zehn Minuten je zehn Rechnungen sind eine halbe Stunde, gegenüber zehn Minuten beim teuren Modell. Zwanzig Minuten Differenz je zehn Rechnungen schlagen jeden Tokenpreis, den es derzeit am Markt gibt.

Die Rechnung kann aber genauso in die andere Richtung ausgehen. Wenn ein Fehler nur bedeutet, dass ein Textentwurf umformuliert werden muss, und die Prüfung ohnehin stattfindet, kostet die schlechtere Quote fast nichts. Dann gewinnt das günstige Modell klar. Es gibt also keine allgemein richtige Antwort, sondern nur eine je Vorgang. Wer seine KI-Kosten im Griff behalten will, braucht diese Aufschlüsselung ohnehin.

4. Zweistufig arbeiten statt sich festzulegen

Aus der Rechnung oben folgt ein Aufbau, der sich in der Praxis bewährt und der die Grundsatzdiskussion überflüssig macht: Routine läuft auf dem günstigen Modell, Ausnahmen laufen auf dem starken.

Das setzt zwei Dinge voraus. Erstens muss der Ablauf erkennen können, dass er an eine Ausnahme geraten ist. Manchmal reicht dafür eine einfache Regel, etwa ein Betrag über einer Schwelle, ein unbekannter Lieferant, ein fehlendes Pflichtfeld. Manchmal braucht es eine Selbsteinschätzung des Modells, die man mitprotokolliert und stichprobenartig überprüft. Zweitens muss der Wechsel technisch trivial sein, was er ist, sobald der Modellname eine Einstellung ist und nicht an fünfzig Stellen im Code steht.

Der zweite Punkt ist die eigentliche Architekturentscheidung, und sie ist wichtiger als die Modellwahl selbst. Zwischen dem 1. und dem 3. September haben sich die Marktverhältnisse zweimal verschoben. Wer sein System so gebaut hat, dass ein Modellwechsel eine Konfigurationsänderung ist, hat diese Woche mit einem Deployment erledigt. Wer den Anbieter tief in die Anwendung eingewoben hat, hat ein Projekt daraus gemacht. Diese Beweglichkeit ist der Teil, den man beim Einbau festlegt und danach nur schwer nachrüstet.

Eine Größe fehlt in den meisten Vergleichen völlig, und sie entscheidet mit: die Antwortzeit. Anthropic weist Fable 5.1 als langsamste Variante der eigenen Reihe aus. Für einen nächtlichen Stapellauf ist das gleichgültig. Für einen Vorgang, bei dem ein Mitarbeiter auf das Ergebnis wartet, ist es der Unterschied zwischen einem Werkzeug, das benutzt wird, und einem, das nach zwei Wochen wieder aus dem Alltag verschwindet. Wo ein Mensch wartet, gehört die Sekundenzahl in die Bewertung, gleichberechtigt neben die Trefferquote.

Ein Nebeneffekt kommt gratis dazu: Wer zwei Modelle parallel ansprechen kann, kann sie auch messen. Denselben Vorgang eine Woche lang über beide laufen zu lassen, kostet wenig und beendet jede Diskussion, die sonst mit Bauchgefühl geführt wird.

5. Wie Sie das in vier Wochen entscheiden

Der Aufwand für eine belastbare Antwort ist kleiner, als die Debatte vermuten lässt. Vier Schritte genügen.

Woche 1: einen Vorgang auswählen und messen

Nehmen Sie den Ablauf mit dem höchsten Volumen, nicht den interessantesten. Erheben Sie für hundert Durchläufe drei Zahlen: Anteil fehlerfreier Ergebnisse, Minuten Nacharbeit je Fehler, Kosten je Durchlauf laut Abrechnung.

Woche 2: dasselbe mit dem zweiten Modell

Gleiche Eingaben, gleicher Prüfmaßstab, gleiche Person, die bewertet. Der häufigste Fehler an dieser Stelle ist, das zweite Modell mit einem neuen, besseren Prompt zu testen. Dann vergleichen Sie zwei Dinge gleichzeitig und wissen hinterher nichts.

Woche 3: die Ausnahmeregel formulieren

Sehen Sie sich die Fehler des günstigen Modells an. In den meisten Fällen haben sie ein gemeinsames Merkmal, und daraus wird die Regel, die den Vorgang an das starke Modell weiterreicht.

Woche 4: umstellen und weitermessen

Zweistufig fahren, Kennzahlen weiterlaufen lassen. Beim nächsten Modellwechsel, und der kommt, ist die Entscheidung dann eine Messung und keine Meinung. Wo im Team das Verständnis für diese Art von Bewertung noch fehlt, ist ein Workshop mit dem eigenen Vorgang als Übungsobjekt der kürzere Weg als eine Marktanalyse.

Fazit

Die Modelle unterscheiden sich inzwischen weniger in der Qualität als in Preisstruktur, Geschwindigkeit, Schutzmechanismen und Selbstständigkeit. Ein pauschales „wir nehmen immer das beste“ ist deshalb keine Qualitätsentscheidung, sondern eine ungerechnete. Wer stattdessen weiß, was ein erledigter Vorgang kostet, kann jede neue Ankündigung in zwei Wochen bewerten, statt sie zu glauben. Ein tieferer Vergleich der beiden Anbieter aus Anwendersicht steht in Claude gegen ChatGPT.