拾闻对谈 第32期｜90% der amerikanischen Arbeitszeit ist nicht auf irgendwelchen KI-Prüfungen enthalten: Benchmarktests formen eine verzerrte Karte der Fähigkeiten

【Rubrik: Gespräche über Bekanntes】Moderator: Shiwén (AI) | Gäste: Yongliang

Einleitendes Gespräch: Die Prüfungsaufgaben bestimmen, was wir glauben, dass KI kann

拾闻: Diese Woche gibt es wieder eine Nachricht über einen „AI, der hohe Punktzahlen erreicht hat“. Hast du das bemerkt? Aber heute möchte ich nicht über die Punktzahlen sprechen, sondern über die Prüfungsunterlagen selbst.

Yongliang: Ja, die wichtigste Forschungsartikelbeitrag dieser Woche auf Hacker News war genau eine über Prüfungsunterlagen. Eine Firma namens Mercor veröffentlichte eine Studie mit dem Titel Benchmark Map. Am 16. Oktober erreichte dieser Artikel auf Hacker News mehr als 350 Likes und über 300 Kommentare. Die Studie basiert auf der offiziellen Berufsklassifikation des US-Arbeitsministeriums und passt die bestehenden AI-Benchmarktests an echte berufliche Aufgaben an. Die Schlussfolgerung: Nach ihren Schätzungen wird 90% der Arbeitszeit in den USA mit Aufgaben verbracht, die von den bestehenden AI-Benchmarks nur „teilweise oder gar nicht abgedeckt“ werden.

拾闻: Diese Zahl ist etwas beängstigend. Das bedeutet, dass die Listen, auf die wir täglich schauen, nur ein kleiner Teil der wirklichen Arbeitsbedingungen widerspiegeln?

Yongliang: Ein kleiner Winkel, und nicht zufällig ein kleiner Winkel. Er neigt systematisch zu der Schreibarbeit in Bereichen wie Programmierung, Recht und Finanzen – also zu „großen Wissensarbeiten“. Der Großteil der realen Arbeitskräfte ist jedoch in Bereichen wie medizinische Pflege, Verkauf und Bildung tätig, was fast als „unsichtbarer Bereich“ gilt. Ich habe seit siebzehn Jahren ein technisches Team geleitet, mit einem Peak von siebzig Mitarbeitern. Ich kenne diese Art von „Übung nach den Prüfungsfragen“ sehr gut. Heute werde ich diese Forschung genauer erläutern und gleichzeitig darüber sprechen, was das für Berufstätige und technische Manager bedeutet. Die folgenden persönlichen Erfahrungen werden jeweils gekennzeichnet sein.

Frage 1: Was genau hat diese Studie untersucht?

拾闻：Zuerst muss die Forschung selbst klar erklärt werden. Wie wurde diese Zahl von 90% berechnet?

Yongliang: Der Unterbau basiert auf der Berufsklassifikation von ONET des US-Büros für Arbeitswesen. Dies ist die offizielle Einstufung, die die US-Arbeitskräfte in 923 Berufe und 18.797 spezifische Aufgaben unterteilt. Die Forscher haben 29 Referenztests erfasst, wobei die Auswahlkriterien sehr streng sind: Die Tests müssen öffentlich zugänglich sein, mindestens 25 Fragen enthalten, agentische Aufgabenstufen darstellen, wirtschaftliche Relevanz haben und nach Berufsfamilien begrenzt werden, um zu verhindern, dass Softwareentwicklungstests übermäßig repräsentativ sind. Anschließend werden mit großen Modellen die ONET-Aufgabenschlüssel für jede Referenzfrage vergeben. In dieser Phase wurde die Arbeit von künstlichen Experten auf der eigenen Plattform von Mercor überprüft.

拾闻：Was ist der Schwellenwert für die Bezeichnung „Überdeckung“?

Yongliang: Eine Aufgabe wird erst dann als „abgedeckt“ betrachtet, wenn sie mindestens von 5 Referenzfragen markiert wird. In den 923 Berufen gibt es nur 208 Berufe, bei denen die Aufgaben dieses Niveau erreichen. Von den 22 Berufsfamilien haben 6 Familien überhaupt keine solchen Aufgaben. Wenn man die Berufe nach der Arbeitszeit gewichtet, erhält man den 90% Wert: Neunzig Prozent der Arbeitszeit wird in Aufgaben verwendet, die kaum von Prüfungsfragen abgedeckt werden.

Erwähnte Informationen: Welche Familien sind gut abgedeckt, und welche sind unbekannt?

Yongliang: Auf der Forschungsseite gibt es eine Tabelle, die sehr auffällig ist. In den Bereichen Computer und Mathematik sind 29 von 36 Berufen abgedeckt, also praktisch alle Prüfungsinhalte. In der Branche Wirtschaft und Finanzen sind es 33 von 48 Berufen, in der Rechtsbranche 5 von 7 Berufen. Wenn man weiter unten schaut: Bei den Berufen im Gesundheitswesen sind nur 12 Berufe abgedeckt; in der Bildungs- und Bibliotheksbranche sind es 9 von 62 Berufen; in der Vertriebsbranche 6 von 22 Berufen. Mit anderen Worten: Der AI-Bereich gibt sich am meisten Mühe, Prüfungsinhalte zu bereitstellen.

拾闻：Dieses „nicht zufällige“ Verhalten hat noch eine weitere, genauere Bedeutung?

Yongliang: Ja, und ich finde, es ist der scharfsinnigste Teil des gesamten Textes. Die Forscher haben eine Regression zwischen dem „gesamten Berufseinkommen pro Jahr“ (durchschnittliches Jahresgehalt multipliziert mit der Anzahl der Mitarbeiter und 40 Stunden pro Woche) und der AI-Exposition durchgeführt. Dabei stellte sich heraus, dass bei gleicher AI-Exposition die Abdeckung mit dem Marktumfang steigt: Die Aufgaben von Anwälten werden stark abgedeckt, während die Aufgaben von Rechtssekretären und Gerichtsschreibstellen fast gar nicht abgedeckt sind. Die kleineren und mittleren Einkommensberufe im Longtail-Bereich werden systematisch übersehen. Prüfungsaufgaben werden an Orten mit mehr Geld erstellt, nicht anhand der Fähigkeiten im Umgang mit AI.

Q2: Warum sind Blindstellen wichtig?

拾闻: Man könnte sagen, dass Benchmarks eigentlich eine Stichprobe sind und es normal ist, dass sie nicht vollständig abdecken. Ist es wirklich notwendig, so viel Aufhebens darum zu machen?

Yongliang: Das Auswählen der Stichproben selbst ist kein Problem. Das Problem liegt darin, dass diese Auswahl die Aufmerksamkeit der gesamten Branche formt. Die Referenzpunkte sind die Schlagzeilen, die mit dem Modell veröffentlicht werden, die Grundlage für Beschaffungsentscheidungen und der Kern der Investitionsgeschichten. Wohin Kapital und Talent fließen, hängt davon ab, was auf der Prüfung angeboten wird. Eine Arbeit, die nicht gemessen wird, wird weder prioritär verbessert noch als ernsthafte Bedrohung bewertet. So streiten sich die beiden Seiten „AI-Alternative“ und „AI-Wirkungslosigkeit“ mit derselben verzerrten Karte.

拾闻：Wie sind die Reaktionen im Kommentarbereich von HN?

Yongliang: Die größte Resonanz kommt von den Programmierern selbst. Mehrere Personen haben dasselbe gesagt: Der Hauptteil des täglichen Lebens eines Softwareingenieurs besteht darin, mit Interessengruppen zu streiten, Aufträge vorzuschieben und Anforderungen abzustimmen – diese Kriterien werden dabei nicht berücksichtigt. Ein Kommentar war sehr direkt: Dieser Forum besteht ausschließlich aus Softwareingenieuren, wir glauben zu leicht, dass AI alle Menschen beeinflusst – in Wirklichkeit wird es nur darum gehen, Code zu schreiben. Ein anderer sagte sogar hart: In der nächsten Zeit wird es für die Führungskräfte sehr inspirierend sein, einen Plan in die Praxis umzusetzen. Das Programmieren nimmt nur wenig Zeit in Anspruch. Viele Chefs träumen davon, dass Anforderungen noch am selben Tag umgesetzt werden können – das wird nicht passieren.

拾闻：Diese Kommentare sind gleichbedeutend damit, dass man mit persönlichen Erfahrungen als Zeuge für die „90% Sichtbarkeitslücke“ aussagt.

Yongliang: Ja, und es gibt noch eine strukturiertere Erklärung. Meiner Meinung nach ist die Aussage eines Kommentators die informativste im ganzen Film: Die große Menge an Arbeit, die Menschen leisten, hat nicht den engen Feedbackkreis, den für Training und agentische Prozesse notwendig ist. Beim Programmieren gibt es Compiler und Tests, beim Schach gibt es Siege und Niederlagen – deshalb gelingt es der AI zunächst in diesen Bereichen, Fortschritte zu machen. In der Realität fehlt diese sofortige, klare Signalwirkung für richtig oder falsch, weshalb der „Arbeitsapokalypse“ nicht begegnet ist. Die Produktivitätssteigerungen sind eher im Bereich von 2% pro Jahr über einen längeren Zeitraum zu verzeichnen. Messbarkeit bestimmt die Reihenfolge des Fortschritts der AI – das ist das Gegenteil der Benchmarkblindheit.

3. Quartal: „Referenzdenken“ aus der Perspektive des Administrators

拾闻: Aus der Sicht des technischen Managements – hast du in der Praxis erlebt, dass dieser Ansatz der „Bewertung von Fähigkeiten mit Prüfungsbögen“ Menschen täuscht?

Yongliang: Ich habe das schon einmal erlebt – und nicht nur einmal. Das ist meine Erfahrung, keine Statistik. In der Personalbeschaffung gibt es typische Probleme: In früheren Jahren haben wir einige Online-Tests verwendet, bei denen Kandidaten, die mit Algorithmen sehr gut umgehen konnten, später festgestellt wurden, dass sie in der realen Arbeit keinen Platz hatten. Denn im echten Arbeitsumfeld gibt es keine klaren Anforderungen, nur unklare Vorgaben, veraltetes Code und Komplikationen zwischen den Abteilungen. Die Tests testen die Lösungsfähigkeit, aber das Tätigkeitsprofil erfordert die Umsetzung der Aufgaben – da gibt es einen riesigen Unterschied.

拾闻：Was ist mit der Genehmigung und der Bewertung der Anbieter?

Yongliang: Derselbe Trick. Wenn man eine AI-Werkzeug oder ein Outsourcing-Team nur anhand seiner Präsentationen in Standard-Szenarien beurteilt, kann man leicht in die Irre geführt werden. Als ich eine Gruppe von siebzig Personen leitete, habe ich eine interne Regel eingeführt: Jedes Werkzeug muss vor dem Einsatz im Produktionsumfeld zunächst in einem Szenario ausprobiert werden, in dem es am besten funktioniert – also in Randfällen, mit schmutzigen Daten und bei Konflikten zwischen verschiedenen Prozessen. Der Referenztest bewertet genau „das am besten funktionierende Szenario“, während die meisten Probleme außerhalb dieses Szenarios auftreten.

拾闻: Diese Regel hat tatsächlich eine logische Beziehung zu der heutigen Forschung.

Yongliang: Das ist völlig logisch. Die wirklichen Engpässe liegen nie auf irgendwelchen Prüfungsaufgaben: Wie wird der Kontext zwischen Menschen übertragen, wie werden Verantwortlichkeiten festgelegt und wie werden Interessenkonflikte gelöst. Das sind genau die Punkte, die der Kommentator als „Die Programmierung nimmt nur wenig Zeit in Anspruch“ erwähnt hat. Wenn ein Team nur Messbare Indikatoren optimiert, wird es systematisch an unmessebaren Stellen versagen.

Q4: Gegner und Grenzen

拾闻：Sagen wir etwas Unangenehmes. Gibt es in dieser Forschung etwas, das man heruntersetzen sollte?

Yongliang: Es gibt zwei. Der erste ist das Interessenkonflikt. Die Firma Mercor verkauft qualitativ hochwertige Anmerkungen zu Aufgaben und Expertendaten. Im April dieses Jahres war sie sogar in einen Lieferkettenangriff verwickelt, bei dem offenbar Open-Source-Komponenten durchbrochen wurden. Laut den Angaben wurden Sprachproben von Auftragnehmern weitergegeben, und dieses Thema wurde auf HN intensiv diskutiert. Ich möchte nicht über Forschungsfälschungen sprechen, sondern Sie daran erinnern: Die Schlussfolgerung „Mangelnde Abdeckung der aktuellen Benchmarks, Bedarf an hochwertigen echten Aufgabendaten“ ist in dieselbe Richtung wie das, was sie verkaufen. Wenn Sie eine Forschung betrachten, sollten Sie die wirtschaftliche Position des Forschers berücksichtigen – das ist grundlegende Medienkompetenz.

拾闻：Der zweite Punkt?

Yongliang: Die blinden Bereiche sind bidirektional, was am leichtesten missverstanden werden kann. „Nicht abgedeckt durch Referenzwerte“ bedeutet nicht, dass „AI nichts tun kann“, noch dass „AI etwas tun kann“. Eine unzureichende Abdeckung bedeutet, dass wir weder Beweise dafür fehlen, dass „diese Arbeit ersetzt werden kann“, noch Beweise dafür, dass „diese Arbeit sicher ist“. Die 90% sind eine Schätzung, die durch Modelle extrapoliert wurde, nicht eine Aufzählung der Arbeitsstunden, wie die Forscher selbst in ihrer Methodik ausdrücken. Also ist die richtige Haltung weder Panik noch Optimismus, sondern die Anerkennung, dass es große Lücken auf der Karte gibt, und man sollte diese Lücken nicht als bekannt betrachten, um Schlussfolgerungen zu ziehen.

拾闻: Es unterstützt also weder die Idee, dass „KI 90% der Arbeit übernehmen soll“, noch die Idee, dass „KI nur Code schreiben darf“.

Yongliang: Das unterstützt nicht. Die einzige Schlussfolgerung, die es unterstützt, ist: Wir haben eine zu grobe Erkenntnis darüber, was wir messen und was nicht. Das ist genau das, was am meisten verbessert werden muss.

Frage 5: Wie verwendet ein Durchschnittlicher Mensch diese Schlussfolgerung?

拾闻：Was kann man tun, wenn es auf gewöhnliche Menschen fällt?

Yongliang: Drei Dinge können umgesetzt werden. Erstens: Beim Bewerten jeglicher AI-Werkzeuge sollte man nicht nur auf die Rangliste schauen, sondern sich fragen: „Wie performt es in der Realität meiner Aufgabenverteilung?“ Man sollte den eigenen Job in etwa zehn konkrete Aufgaben aufteilen und das Werkzeug einzeln testen. Das ist hundertmal nützlicher als nur einen Gesamtscore zu betrachten. Das ist die Anwendung des O*NET-Methodens zur Aufteilung auf sich selbst.

拾闻：Das zweite?

Yongliang: Was die Berufswahl angeht, sollte man eine ruhige Realität erkennen: Berufe mit einer hohen Anzahl messbarer Aufgaben werden zuerst betroffen und auch zuerst gestärkt. Berufe wie Programmierung, Rechtswesen oder Finanzen, die von zahlreichen Prüfungen abgedeckt werden, verfügen über die schnellsten Tools-Iterierungen. Entweder kann man sich schnell an die Nutzung von AI gewöhnen und sich selbst verbessern, oder man wird von Menschen ersetzt, die diese Technologien beherrschen. Umgekehrt sind die langfristig relevanten Berufe, die nur wenig von Prüfungen abgedeckt werden, in der kurzen Frist nicht automatisiert werden können. Doch man sollte auch nicht erwarten, dass AI-Tools schnell kommen werden, um einem zu helfen. Vorteile und Risiken sind zwei Seiten derselben Medaille.

拾闻：Das dritte Angebot für Leute, die ein Team führen?

Yongliang: Bevor Sie mit dem AI-Pilotprojekt für das Team beginnen, führen Sie zunächst eine Auflistung der Aufgaben durch. Fragen Sie nicht „Können wir AI verwenden“, sondern fragen Sie erst: „Aus welchen Aufgaben besteht unser Job eigentlich, welche haben einen direkten Feedback-Kreislauf und welche nicht?“ Diejenigen mit einem Feedback-Kreislauf sollten zuerst eingeführt werden, da sie schnell Wirkung zeigen. Diejenigen ohne Feedback-Kreislauf sollten nicht einfach übernommen werden, denn das sind Bereiche, bei denen menschliche Intervention erforderlich ist. Die Auflistung kann auch nicht allzu formell sein – einen Nachmittag und ein Blatt Papier reichen aus: Listen Sie die letzten Monate die Produkte des Teams auf, markieren Sie, wer welche Aufgabe erledigt hat, wie lange es gedauert hat und ob es objektive Richtlinien für Richtigkeit gibt. Meine tiefste Erfahrung in diesen Jahren ist: Man sollte mehr Energie in die Überlegungen investieren, „welche Aufgaben AI überhaupt nicht berühren soll“, als in die Überlegungen, „welche Aufgaben AI berühren kann“. Das bringt mehr Return.

Epilog: Karten entsprechen nicht immer den Grenzen eines Landes

拾闻：Zum Schluss noch etwas.

Yongliang: Mit einem Satz: Die Prüfungsunterlagen bestimmen, was wir glauben, dass KI kann, die Aufgaben bestimmen, was KI tatsächlich kann – zwischen diesen beiden gibt es 90% des unbekannten Bereichs. Benchmarktests sind nützliche Wegweiser, aber man sollte sie nicht als die gesamte Karte betrachten. Was wirklich beunruhigend ist, ist nicht „Wie hoch die Punktzahl der KI ist“, sondern „Wie viel ich über den 90% des Arbeitsthemas weiß, der nicht getestet wurde“. Die Karte entspricht nicht dem Territorium – dieses alte Sprichwort ist in der KI-Ära wertvoller denn je.