Tech Teardown 034 | DAYJOB: Steuern: Wie weit sind AI-Agenten von

1. Hintergrund/Allgemeines

Die Steuerwesen sind seit langem ein Bereich, der stark auf menschliche Fachentscheidungen angewiesen ist. Von der persönlichen Steuererklärung bis hin zu Unternehmensübernahmen, von grenzüberschreitenden Transaktionen bis zu Erbschaftsvermögen – jeder Fall betrifft große Mengen an unstrukturierten Dokumenten, komplexe gesetzliche Anwendungen sowie wichtige Informationen, die dem Kunden zwar nicht direkt mitgeteilt werden, aber den Ausgangspunkt für die Entscheidung bilden. Im Oktober 2026 veröffentlichte Surge AI den Benchmark DAYJOB: Tax, der speziell die Leistung von AI-Agenten in realen Steueraufgaben bewertet. Es handelt sich nicht um standardisierte Multiple-Choice-Aufgaben, sondern darum, den Agenten direkt in end-to-end-Aufgaben zu setzen, die von Steuerexperten entwickelt wurden, um zu überprüfen, wie weit er von der Dokumentenerfassung bis zur Schlussfolgerung kommen kann.

Dieser Benchmark hat bereits Diskussionen auf Hacker News ausgelöst. Der Schwerpunkt liegt nicht darauf, welcher Modell eine Spitzenposition einnimmt, sondern darauf, ob AI-Agenten die notwendige Verständnisfähigkeit, Urteilsfähigkeit und Verantwortungsbewusstsein für die Bearbeitung von professionellen Steueraufgaben besitzen. Surge AI positioniert DAYJOB: Tax als „Benchmark für AI-Agenten in professionellen Steueraufgaben“. Es gibt nur zwei Beispiele für die offiziellen Daten, und eine vollständige Version muss gesondert angefordert werden. Seine Bedeutung liegt eher darin, der Branche ein Maßstab für die tatsächliche Leistungsfähigkeit von Agenten in professionellen Dienstbereichen zu bieten, als dass es sich um eine öffentlich zugängliche Datenbank handelt.

In den Diskussionen wurde darauf hingewiesen, dass der letztendliche Verantwortliche für Steuerpflichten immer der Steuerzahler ist. Selbst wenn ein Buchhalter einen Fehler macht, kann der Steuerzahler nicht dadurch von seiner Steuerpflicht befreit werden; er kann nur nachträglich Geld zurückfordern. Dies bedeutet, dass jede AI-Software, die in den Bereich der Steuerwesen einsteigt, die „unterstützenden Ratschläge“ nicht mit der „letztendlichen Verantwortung“ verwechseln darf. Einer der Wertes der DAYJOB: Tax ist es, diese Verantwortungsgrenzen auf eine quantifizierbare Weise darzustellen.

2. Warum jetzt?

Es gibt zwei Hintergründe für die Entwicklung dieses Benchmarks. Erstens expandieren die Fähigkeiten von AI-Agenten von allgemeinen Gesprächen hin zu spezialisierten Aufgaben. Im letzten Jahr haben Agenten ihre Fähigkeiten in Bereichen wie Programmierung, Wissenschaft und Recht schnell verbessert. Das Steuerwesen, als Bereich mit vielen Dokumenten, komplexen Regeln und sehr niedriger Fehlertoleranz, ist natürlich der nächste Testpunkt. Zweitens erlebt das Steuerwesen selbst eine Digitalisierung. Der Prozess der Verarbeitung von PDFs, Excel-Dateien, E-Mails und Scannen passt natürlich gut zu der Fähigkeit von AI-Agenten, multimediale Dokumente zu lesen. Die Einführung von DAYJOB: Tax liegt genau an dem Punkt, an dem die Modelle und die Branchenanforderungen gleichzeitig reif sind, um eine quantifizierbare Methode zur Bewertung der Fähigkeiten von Agenten als „professionelle Assistenten“ zu bieten.

Aber das bringt auch eine Schlüsselfrage mit sich: Wenn AI-Agenten in ein solch hochriskantes Bereich wie die Steuerwesen eintreten, welche Kriterien sollten wir verwenden, um sie zu bewerten? Die Antwort von DAYJOB: Tax lautet „pass@1, 95% der Kriterien erfüllt“. Das bedeutet, dass der Agent nicht nur die Zahlen richtig berechnen muss, sondern auch alle Beweise finden, wichtige Fragen erkennen und qualifizierte Ergebnisse liefern muss. Dieses Kriterium ist viel strenger als gewöhnliche Fragen-und-Antwort-Aufgaben, da es die Situation simuliert, in der der Kunde dem Agenten eine echte Frage stellt und der Agent zum ersten Mal eine verfügbare Antwort liefern muss.

3. Kernmechanismus

Der Kern des Designs von DAYJOB: Tax ist es, den Arbeitsprozess eines realen Steueragenten zu simulieren. Jede Aufgabe enthält eine Gruppe von Dokumenten aus realen Situationen, einschließlich PDFs, Excel-Dateien, Word-Dokumenten, E-Mails, Bildern, CSV-Dateien, JSON-Dateien usw. Der Agent muss Informationen extrahieren, Berechnungen durchführen, Risiken erkennen und schlussendlich eine Schlussfolgerung ziehen. Die Aufgaben umfassen acht Steuerpraktikbereiche: persönliche und familiäre Steuern, kleine Unternehmen, Partnerschaften, Vermögen und Investitionen, Erbschaftsvermögen und Treuhandvermögen, internationale Steuern, Unternehmenstransaktionen und Steuerprüfungen sowie Streitigkeiten.

Die Bewertung erfolgt nach einem Richtlinienkatalog, der sich auf Berechnung, Beweise, wichtige Fragen und die endgültigen Leistungen stützt. Der Erreichen eines Schwellenwerts von 95% ist erforderlich. Dies bedeutet, dass der Agent nicht nur scheinbar vernünftige Antworten geben darf, sondern auch in den Details überprüfbar sein muss. Die Aufgaben werden von echten Steuerberatern entwickelt und hinsichtlich Richtigkeit, Vollständigkeit und Löblichkeit überprüft, um sicherzustellen, dass die Aufgaben sowohl realistisch sind als auch klare Bewertungskriterien haben.

Zwei Beispiele aus dem offiziellen Beispiel veranschaulichen dies gut. Einmal das Hausverkaufsfall von Anna: Der Agent erkannte korrekt, dass beide Abgabetermine die Befreiung von Steuern für Wohnzwecke erfüllten, vergaß jedoch den Zeitpunkt nach August 2027, bei dem die Befreiung möglicherweise weggefallen wäre. Das andere Beispiel ist der Fall eines getrennt lebenden Ehepaares mit Rentenkonto: Der Agent überprüfte nicht den Ehestand, während die Definition von eingetragenen Ehen in verschiedenen Bundesstaaten unterschiedlich ist, was zu Steuerfolgen führen kann. Diese beiden Beispiele zeigen, dass DAYJOB: Tax nicht nur die Richtigkeit der Berechnungen überprüft, sondern auch die Fähigkeit, auf unausgesprochene Informationen des Kunden einzugehen.

Im Vergleich zu traditionellen Steuerbenchmarks neigt TaxBench eher zu schwierigen Steuerfragen, TaxCalcBench konzentriert sich auf die Richtigkeit der Steuererklärung, während TaxLab die Unterhaltung zwischen Agenten und Steuerzahlern simuliert und die Bundeslösebescheinigung ausfüllt. Der Unterschied von DAYJOB: Tax liegt darin, dass es mehr Wert auf end-to-end professionelle Beurteilung legt: Es erkennt wichtige Fragen, die vom Kunden nicht erwähnt wurden, aber den Ergebnis beeinflussen, bearbeitet widersprüchliche Beweise und findet in großen Mengen an Dokumenten die Grundlagen für Schlussfolgerungen.

Vier, Zahlen und Grenzen

Laut offiziell veröffentlichten Daten umfasst DAYJOB: Tax 50 Steueraufgabenumgebungen mit insgesamt 1.789 Dokumenten. Im Durchschnitt gibt es 30 Dokumente pro Aufgabe, bei der meisten Aufgaben sind es 123 Dokumente. Die Dokumentation besteht hauptsächlich aus PDFs, die insgesamt 1.487 Exemplare umfassen, dazu kommen 117 Excel-Dateien, 38 Word-Dateien sowie E-Mails, Bilder, CSV-, JSON- und Textdokumente.

Die offizielle Rangliste zeigt, dass selbst das stärkste Modell nur etwa 10% Erfolgsquote hat. Claude Sonnet 5.5 liegt mit 10,8% an der Spitze, Claude Fable 5.1 mit 9,6%, Claude Opus 5.5 mit 9,2%, Muse Wonder 1.0 mit 6%, Grok 4.7 mit 5%, GPT-6 Astra mit 4,8%, GPT-6.1 Sol mit 4%, Gemini 4 Argon mit 3,2% und Kimi K3 mit 0%.

Diese Zahlen zeigen, dass die aktuellen AI-Agenten noch einen erheblichen Abstand zu einer zuverlässigen Erfüllung professioneller Steuerarbeit haben. Es ist jedoch auch wichtig zu beachten, dass es nur 2 offizielle Beispiele gibt und die vollständigen 48 Aufgaben an benchmarks@surgehq.ai angefordert werden müssen. Deshalb kann man sie nicht als „offene Datenmenge“ oder „vollständig öffentlich“ bezeichnen. Außerdem stammen die Ranglistendaten von Surge AI, und es gibt bisher keine unabhängige Überprüfung durch Dritte. Bei der Zitation sollten Vorsicht walten gelassen werden.

Aus den Diskussionen auf Hacker News geht hervor, dass eine zentrale Frage ist: Prüft dieser Benchmark die Fähigkeiten des Modells oder die提示-Engineering- und Tooldesign-Strategien? Wenn der Agent keine Skalierbarkeit für Aufgabentypen hat, kann er sich im Kontext organisieren und alle Anforderungen verfolgen? Diese Frage hat bisher keine klare Antwort, aber sie erinnert uns daran, dass man bei der Zitation der Erfolgsquote die Zahlen nicht einfach mit den Fähigkeiten des Modells gleichsetzen darf.

Fünf, Wie man es verwendet

Für Steuerfachleute: DAYJOB: Tax bietet ein Referenzrahmen zur Verständnis des Grenzbereichs der Fähigkeiten von AI-Agenten. Bei der Auswahl oder Bewertung von Steuer-AI-Werkzeugen sollte man auf seine Bewertungskriterien achten: Ob die Werkzeuge eine genaue Berechnungsfähigkeit haben, ob sie ausreichende Beweise finden können, ob sie wichtige Fragen identifizieren können, die vom Kunden nicht erwähnt wurden, und ob das endgültige Ergebnis vollständig und gesetzeskonform ist. Wenn ein Werkzeug in diesen Bereichen instabil ist, sollte es als Hilfsmittel betrachtet werden, nicht als Ersatz für menschliches Urteil.

Für AI-Produktteams: DAYJOB: Tax zeigt die Komplexität von mehreren Dokumenten, verschiedenen Formaten und langen Ketten, mit denen Agenten in steuerlichen Kontexten umgehen müssen. Bei der Produktentwicklung sollte man nicht nur auf die Genauigkeit des endgültigen Ergebnisses achten, sondern auch auf die Beweisketten, Warnhinweise und Hinweise auf wichtige Fragen als notwendige Ausgaben berücksichtigen und ein systematisches Überprüfungsverfahren einrichten. Produkte können sich auf „Entwurfserstellung“, „Vorbeugende Prüfung von Risiken“ und „Dokumentenindexierung“ konzentrieren, anstatt direkt zu behaupten, dass sie die gesamte steuerliche Arbeit erledigen können.

Für Unternehmenskunden: DAYJOB: Tax zeigt uns, dass wir die derzeitige Unabhängigkeit von AI-Agenten in der professionellen Steuerarbeit nicht überschätzen sollten. Selbst die stärksten Modelle haben nur etwa 10% Erfolgsquote, was zeigt, dass AI in absehbarer Zukunft eher als „Entwurfsersteller“ und „Vorbeugender Prüfer“ eingesetzt werden sollte, während das endgültige Urteil weiterhin von menschlichen Fachleuten erfolgen muss. Unternehmen sollten bei der Einführung von Steuer-AI vor allem in Bereiche mit hoher Standardisierung und großer Fehlertoleranz investieren und gleichzeitig ein vollständiges Überprüfungsprozess beibehalten.

Sechstes Kapitel: Wertbeurteilung

DAYJOB: Tax hat den größten Wert darin, die Frage „Kann AI professionelle Steuerarbeit leisten?“ von einer subjektiven Einschätzung zu einer quantifizierbaren Bewertung zu machen. Mit echten Dokumenten, echten Aufgaben und strengen Bewertungskriterien wird die Fähigkeit des Modells in professionellen Kontexten offensichtlich. Die höchste Erfolgsquote von 10,8% zeigt auch, dass die derzeitigen AI-Agenten in Bezug auf professionelles Urteil, Verständnis komplexer Dokumente und Risikoeinschätzung noch erhebliche Mängel haben.

Gleichzeitig stellt dieser Standard eine tiefere Frage: Wenn AI-Agenten in risikointensiven Bereichen wie Steuer, Recht und Medizin eingesetzt werden, ist die „Erfolgsquote“ ausreichend? Steuerergebnisse sind oft mit rechtlichen Verpflichtungen und wirtschaftlichen Konsequenzen verbunden. Eine 95%-Grenze ist zwar streng, aber in der Realität kann ein 5%-Fehler ernsthafte Folgen haben. Daher sollte DAYJOB: Tax eher als Fähigkeitsbewertungstool verstanden werden, nicht als Sicherheitszertifizierungstool. Es zeigt uns, was das Modell kann, aber nicht, was das Modell sicher tun kann.

Aus industrieller Sicht legt DAYJOB: Tax auch eine Fähigkeitsgrundlage für die AI-Anwendungen in der professionellen Dienstleistungsbranche fest. Nach diesem Standard muss jedes Produkt, das behauptet, Steuerexperten zu ersetzen, zunächst erklären, wie es sich in ähnlichen Standards schlägt und in welchen Bereichen menschliche Intervene noch notwendig sind. Das ist viel wichtiger als einfach nur die Aussage „AI kann Steuern abgeben“.

Schlussfolgerung

DAYJOB: Tax ist eine Fähigkeitsprüfung von AI-Agenten in der professionellen Steuerwelt. Mit 50 echten Aufgaben, fast 1.800 Dokumenten und strengen Bewertungskriterien zeigt es das tatsächliche Niveau der aktuell fortschrittlichsten Modelle bei der professionellen Steuerarbeit: Eine Durchschnittshäufigkeit von etwa 10% zeigt, dass AI bereits einige einfache Aufgaben bewältigen kann, aber noch ein großes Stück entfernt ist von einer eigenständigen Erledigung professioneller Steueraufgaben. Für die Branche bedeutet dies, dass die Anwendung von AI in steuerlichen Situationen weiterhin hauptsächlich als „Mensch-Maschine-Kooperation“ erfolgen sollte, wobei AI als Werkzeug zur Effizienzsteigerung verwendet werden sollte, nicht als Ersatz für professionelles Urteilsvermögen. In Zukunft könnte DAYJOB: Tax aufgrund der verbesserten Fähigkeiten der Modelle und des zunehmenden Angebots von externen Wiederprüfungen ein wichtiger Indikator für die Reifegradstufe von Steuer-AI werden.

Referenzquellen

• Offizielle Blogseite von Surge AI: DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work
• Open-Sample von Hugging Face: surgeai/DAYJOB-tax (MIT-Licence)
• Diskussion auf Hacker News: objectID 50275626