1. Was diese Zahlen überhaupt messen
Mit GPT-6 Astra hat OpenAI Anfang September ein Modell veröffentlicht, das Browser und Betriebssystem selbst bedient: Formulare ausfüllen, Datensätze im CRM aktualisieren, Websites durchklicken, Tabellen und Dokumente bearbeiten. Anthropic hatte diese Richtung bereits 2024 begonnen, Claude Fable 5.1 kann es ebenfalls.
Zwei Messreihen tauchen in den Ankündigungen auf, und sie messen Unterschiedliches. OSWorld 2.0 prüft die Bedienung eines Rechners: Fenster öffnen, klicken, tippen, Dateien verschieben. AutomationBench prüft ganze Büroabläufe, also die Art von Aufgabe, die bei Ihnen jemand am Vormittag erledigt.
| Messreihe | GPT-6 Astra | Vorgänger GPT-5.6 Sol | Was gemessen wird |
|---|---|---|---|
| OSWorld 2.0 | 72,6 Prozent | niedriger, bei rund 47 Prozent mehr Zeitbedarf je Aufgabe | Bedienung eines Rechners |
| AutomationBench | 41,4 Prozent | 18,1 Prozent | vollständige Büroabläufe |
Die Verdopplung von 18,1 auf 41,4 Prozent innerhalb einer Modellgeneration ist bemerkenswert und der eigentliche Grund, warum das Thema jetzt auf der Tagesordnung steht. Wer diese Kurve fortschreibt, landet in absehbarer Zeit bei Werten, die den Umgang mit Bürosoftware verändern.
Für heute gilt aber die andere Lesart derselben Zahl: 41,4 Prozent erledigt bedeutet, dass knapp sechs von zehn Vorgängen nicht durchlaufen. Wer einen Ablauf plant, plant für diese sechs, nicht für die vier.
2. Der Unterschied zwischen teilweise und vollständig
Bei Claude Fable 5.1 stehen für dieselbe Messreihe zwei Werte nebeneinander: 41,7 Prozent bei strenger Bewertung, 77,9 Prozent bei teilweiser. Diese Spreizung ist das Aufschlussreichste an der ganzen Zahlenreihe.
Streng heißt: Der Vorgang ist vollständig und korrekt abgeschlossen, so wie ihn ein Mensch abgeliefert hätte. Teilweise heißt: Wesentliche Schritte sind erledigt, das Ergebnis ist auf halbem Weg liegengeblieben oder in Details falsch.
Fast vier von fünf Vorgängen kommen also weit, und nur zwei von fünf kommen ganz durch. Übersetzt in den Betriebsalltag: Der Agent macht selten gar nichts und häufig fast alles. Genau diese Verteilung ist tückisch, weil sie im Vorführbetrieb hervorragend aussieht. Zehn Beispiele zeigen, und acht sehen brauchbar aus. Erst wenn hundert Vorgänge durchlaufen, fällt auf, wie viele davon die letzte Meile nicht schaffen.
Die Konsequenz für Ihre Planung: Ein halb erledigter Vorgang ist nicht halb so viel wert wie ein erledigter. Er kann sogar weniger wert sein als gar keiner, wenn jemand erst herausfinden muss, wo der Agent aufgehört hat. Der Nutzen entsteht deshalb nicht bei der Erfolgsquote, sondern bei der Frage, wie schnell ein Mensch erkennt, dass er übernehmen muss.
3. Welche Aufgaben eine Quote von 41 Prozent aushalten
Ob eine Erfolgsquote von zwei Fünfteln nützlich oder gefährlich ist, hängt an drei Eigenschaften der Aufgabe: Ist ein Fehler sofort sichtbar, ist er billig zu korrigieren, und ist er umkehrbar?
| Aufgabe | Fehler sichtbar | Fehler umkehrbar | Geeignet |
|---|---|---|---|
| Angebote von Lieferantenseiten zusammentragen | ja, beim Lesen | ja | gut geeignet |
| Stammdaten in einem Testsystem pflegen | ja, per Vergleich | ja | gut geeignet |
| Formulare für eine spätere Freigabe vorbereiten | ja, bei der Freigabe | ja | gut geeignet |
| Bestellungen im Produktivsystem auslösen | oft erst bei Lieferung | teilweise | nur mit Freigabe |
| Zahlungen freigeben oder Bankdaten ändern | oft erst im Kontoauszug | nein | ungeeignet |
| Nachrichten an Kunden versenden | nein | nein | ungeeignet |
Das Muster in der Tabelle ist einfacher, als es aussieht: Alles, was vorbereitet und danach geprüft wird, ist geeignet. Alles, was nach außen wirkt oder Geld bewegt, ist es nicht, solange kein Mensch dazwischensteht. Wer diese Trennung von Anfang an baut, kann die Erfolgsquote steigen lassen, ohne das System umzubauen.
4. Der Prüfschritt entscheidet über den Nutzen
Wenn sechs von zehn Vorgängen einen Menschen brauchen, ist der Prüfschritt kein Anhängsel, sondern der Kern des Ablaufs. Drei Eigenschaften machen ihn brauchbar.
Er muss schneller sein als die Aufgabe selbst
Wenn das Prüfen eines Ergebnisses genauso lange dauert wie das Erledigen von Hand, hat der Agent nichts eingespart. Das klingt banal und ist der häufigste Grund, warum eine Einführung nach drei Monaten still eingeschlafen ist. Prüfbarkeit ist eine Anforderung an den Ablauf, nicht eine Eigenschaft, die sich hinterher einstellt.
Er braucht ein sichtbares Abbruchsignal
Der Agent muss sagen können, dass er nicht weitergekommen ist, und diese Meldung muss irgendwo auflaufen, wo sie jemand sieht. Ein Vorgang, der stillschweigend zur Hälfte erledigt liegen bleibt, ist der teuerste Fall. Er kostet die Modellzeit, die Nacharbeit und zusätzlich die Zeit für die Frage, was überhaupt passiert ist.
Er muss protokollieren, was getan wurde
Nicht die Antwort des Modells, sondern die Handlungen: welche Seite, welches Feld, welcher Wert. Ohne dieses Protokoll lässt sich weder die Erfolgsquote messen noch ein Fehler zurückverfolgen. Es ist zugleich die Grundlage dafür, den Agenten überhaupt sicher zu betreiben, denn ein Agent im Browser arbeitet mit den Rechten des angemeldeten Nutzers.
Aus diesen drei Eigenschaften folgt eine Bauform, die sich in der Praxis bewährt: Der Agent legt seine Ergebnisse nicht direkt im Zielsystem ab, sondern in einer Zwischenablage, die ein Mensch durchsieht. Das kann ein Ordner sein, eine Tabelle oder ein Vorgangskorb im vorhandenen Werkzeug. Der Prüfende sieht alle Ergebnisse eines Durchlaufs nebeneinander, erkennt Muster in den Fehlern und gibt in einem Zug frei. Das ist deutlich schneller, als jeden Vorgang einzeln zu begleiten, und es liefert nebenbei die Zahlen, aus denen sich die tatsächliche Erfolgsquote im eigenen Betrieb ergibt. Die veröffentlichte Benchmark ist dafür kein Ersatz, weil sie andere Aufgaben gemessen hat als Ihre.
5. Ein realistischer Einstieg
Der naheliegende erste Anwendungsfall ist nicht der wertvollste, sondern der, bei dem heute schon jemand zwischen zwei Programmen hin und her kopiert. Diese Vorgänge existieren in fast jedem Betrieb, weil zwei Systeme keine Schnittstelle zueinander haben und niemand ein Projekt daraus machen wollte.
Genau hier liegt der eigentliche Reiz dieser Modellgeneration: Ein Agent, der die Oberfläche bedient, braucht keine Schnittstelle. Er funktioniert auch bei der Branchensoftware von 2011, für die es keine API gibt und keinen Hersteller mehr, der eine baut.
Bevor Sie das aufsetzen, sollten Sie eine Frage ehrlich beantworten: Ist der Vorgang häufig genug, dass sich die Einrichtung lohnt? Ein Ablauf, der zweimal im Monat läuft, ist selten den Aufwand wert, selbst wenn er lästig ist. Bei täglichen Vorgängen sieht die Rechnung anders aus. Und wo eine Schnittstelle existiert oder sich mit vertretbarem Aufwand bauen lässt, ist sie dem Agenten überlegen: Sie ist schneller, billiger und geht nicht kaputt, wenn jemand die Oberfläche umbaut. Diese Abwägung gehört an den Anfang, nicht ans Ende, und sie ist der Kern jeder Integrationsentscheidung.
Fazit
41,4 Prozent ist gleichzeitig ein beeindruckender Sprung und eine nüchterne Zahl. Sie bedeutet, dass Agenten am Bildschirm heute ein Werkzeug für Vorbereitung sind und noch keines für Erledigung. Wer sie so einsetzt, gewinnt sofort. Wer sie als Ersatz plant, baut einen Ablauf, der in sechs von zehn Fällen stillsteht. Die gute Nachricht: Ein Ablauf, der auf Vorbereitung und Prüfung ausgelegt ist, wird mit jeder Modellgeneration automatisch besser, ohne dass Sie ihn anfassen müssen. Wie eine solche Ablaufstruktur aussieht, entscheidet sich vor dem ersten Einsatz.