Gemini 4 Carbon: Spitzenreiter, aber nicht verfügbar

Beginnender Dialog: Google hat wieder ein „stärkstes Modell“ veröffentlicht

Shiwen: Gestern hat Google ein neues Modell namens Gemini 4 Carbon veröffentlicht. Offiziell wird es als „next frontier model“ bezeichnet, und es behauptet direkt, das stärkste Modell zu sein. Doch die Reaktionen auf Hacker News scheinen eher kalt zu sein, sogar ein wenig spöttisch. Was ist der Grund dafür?

Yongliang: Der Kernkonflikt liegt in zwei Wörtern: „stärkstes“ und „nicht greifbar“. Die Leistungen, die Google präsentiert hat, sind tatsächlich beeindruckend: Laut dem Artificial Analysis Intelligence Index v5.0 belegt Gemini 4 Carbon den ersten Platz mit einer Bewertung von 59; die Sicherheitsprüfungen SEC-bench Pro erreichen 88,2%, ExploitGym 54,8% und CWE-bench 71,0%. Doch diese Zahlen stammen derzeit noch aus offiziellen Angaben. Das Modell ist noch nicht für normale Entwickler zugänglich. Die Nutzer sehen momentan nur die Liste, aber keine API.

Shiwen: Kann man das als eine Präsentation für internen und Investoren verstehen?

Yongliang: Teilweise schon. Wenn man den Veröffentlichungsrhythmus betrachtet: Gemini 4 Argon wurde vor zwei Wochen veröffentlicht, Carbon ist ein neuer Modell, der darauf aufgebaut ist. Google scheint eine Kombination aus „schneller Iteration und Platzierung in der Liste“ zu verfolgen. Doch die Kritik auf Hacker News ist direkt: Egal wie gut die Liste aussieht, wenn sie nicht umgesetzt wird, ist sie für Entwickler nur ein Poster. Noch wichtiger ist, dass es noch keine unabhängigen Tests von Drittanbietern gibt. Alle Schlussfolgerungen stammen derzeit nur von Google selbst. Bevor das Modell tatsächlich genutzt werden kann, müssen wir es als eine „vorläufige Veröffentlichung“ betrachten.

Frage 1: Was macht Gemini 4 Carbon so stark?

Shiwen: Lassen Sie uns zunächst nicht darüber sprechen, ob es verwendbar ist, sondern worin es besonders gut ist.

Yongliang: Google hat zwei Kernlücken festgelegt: Sicherheit und Langzeitaufgaben. In Bezug auf Sicherheit zeigt SEC-bench Pro 88,2% eine gute Leistung bei der Erkennung von Schwachstellen; ExploitGym 54,8% bei der Ausnutzung solcher Schwachstellen; CWE-bench 71,0% bei der Behebung von Patches. Diese drei Bereiche bilden zusammen eine Fähigkeit, die „Schwachstellen finden, ausnutzen und reparieren“ bedeutet. Tests innerhalb des Chrome-Teams zeigen, dass Gemini 4 Carbon in der Erzeugung hochwertiger Patches mehr als zehnmal besser ist als große, fortschrittliche Modelle anderer Labore. Wiz berichtet auch, dass es bei Web-Penetrationstests voraus liegt.

Shiwen: Diese drei Prüfungen klingen sehr fachlich. Können Sie sie etwas genauer erklären?

Yongliang: Ja. SEC-bench Pro testet, ob das Modell Sicherheitsprobleme in Code, Konfiguration und Protokollen finden kann – also „Augen für Fehler“. ExploitGym geht noch weiter und testet, ob das Modell die gefundenen Schwachstellen tatsächlich ausnutzen kann – das prüft die „Handfähigkeit“. CWE-bench hingegen testet, ob das Modell richtige Patches liefert – das ist die „Reparaturfähigkeit“. Diese drei Fähigkeiten bilden eine vollständige Arbeitskette von Erkennen, Ausnutzen bis hin zur Reparierung. Wenn ein Punkt hoch ist, bedeutet das, dass das Modell in einem Bereich besonders stark ist; wenn alle drei hoch sind, dann könnte es komplexe Sicherheitsaufgaben bewältigen.

Shiwen: Wie sieht es mit der Erzeugung sicherer Code aus?

Yongliang: Die offiziellen Angaben besagen, dass die Erfolgsrate bei der Erzeugung sicherer Code mehr als doppelt so hoch ist wie bei Argon. Man sollte jedoch beachten, dass dieser Vergleich auch mit einem vorherigen Modell von Google selbst erfolgt. Bei der Öffentlichkeitsarbeit sind „mehr als doppelt so gut“ und „wie viel besser als der Konkurrent“ zwei verschiedene Konzepte. Wir dürfen nicht einfach annehmen, dass das Modell OpenAI oder Anthropic übertrifft, nur weil die Zahlen gut aussehen. Ein echter Vergleich kann erst dann überzeugend sein, wenn Dritte die API nutzen und unabhängige Tests durchführen. Bis dahin ist „mehr als doppelt so hoch“ eher eine internen Iterationsbezeichnung als ein Beweis für die Position im Markt. Außerdem sollte man beachten, dass das Chrome-Team behauptet, dass Carbon mehr als zehnmal besser sei als „ein großes führendes Modell eines anderen Labors“, ohne den Namen zu nennen. Solche vagen Vergleiche sind in akademischen und technischen Diskussionen oft nicht zuverlässig. Es könnte tatsächlich viel stärker sein, oder es könnten einfach nur unterschiedliche Testbedingungen sein, wodurch es für Außenstehende schwer ist zu beurteilen.

Q2: Warum sind Sicherheitsleistungen jetzt das Hauptthema?

Shiwen: Warum betont Google dieses Mal die Netzwerkssicherheit als Hauptprodukt?

Yongliang: Zwei Gründe. Erstens werden Sicherheitsfähigkeiten zu einem zentralen Aspekt der Marktentwicklung von Großmodellen. Unternehmen sind bereit, für Codeüberprüfungen, Schwachstellenanalysen und Sicherheitspatches zu bezahlen, da die Kosten für Sicherheitslücken sehr hoch sind. Ein einzelner Datenschutzausfall oder eine Produktionskatastrophe kann die Kosten für ein Jahrzehnt an AI-Ausgaben übersteigen. Zweitens hat Google bisher im Bereich langer Texte und Multimediadaten starken Druck erlebt. Netzwerkssicherheit und agentische Workflows sind Bereiche, in denen es noch neue Ideen geben kann. Die offizellen Angaben besagen, dass Carbon für agentische Workflows über mehrere Tage konzipiert ist – das ist ein klares Signal: Das Modell ist nicht mehr nur ein Chattool, sondern soll langfristig arbeiten.

Shiwen: Ist diese Positionierung glaubwürdig?

Yongliang: Die Richtung ist richtig, aber jetzt zu früh zu beurteilen. WebDev Arena belegt den vierten Platz mit 1768 Punkten, was einen Anstieg von 89 Punkten bedeutet, was auf eine Verbesserung der Programmierfähigkeiten hindeutet. Aber solche langfristigen Aufgaben wie „mehrere Tage“ haben bisher nur wenige öffentliche Tests. Zwischen Labormessungen und tatsächlichen Geschäftsinhalten gibt es oft einen Faktor von einer Größenordnung. Wenn ein Agent im Testumfeld drei Tage lang laufen kann, bedeutet das nicht, dass es im Produktionsumfeld bei Berechtigungsproblemen, Netzwerkausfällen oder abnormalen Eingaben nicht unterbrochen wird. Das Schwierige ist nicht „laufen“ zu können, sondern „stabil laufen“ zu können.

Shiwen: Was hat das mit normalen Entwicklern zu tun?

Yongliang: Kurzfristig hat das kaum Einfluss. Sicherheitsszenarien erfordern oft ein professionelles Hintergrundwissen, Unternehmensdaten und Compliance-Prozesse – das sind Dinge, die normale Entwickler nicht so leicht umsetzen können. Langfristig gesehen könnte Carbon jedoch die Kosten für Sicherheitsüberprüfungen und Codeüberprüfungen senken, was den gesamten Softwaresektor beeinflussen würde. Bis dahin können die meisten Menschen immer noch nur die alten Versionen von Gemini oder andere Modelle verwenden. Das erklärt auch, warum normale Entwickler auf Hacker News eher skeptisch sind: Das klingt beeindruckend, aber es hat im Moment nichts mit ihrer täglichen Arbeit zu tun. Diejenigen, die wirklich begeistert sein werden, sind Sicherheitsunternehmen, Codeplattformen und Sicherheitsteams großer Unternehmen – sie sind die ersten potenziellen Käufer.

Q3: Sind Verbesserungen in Bezug und Sicherheit real?

Shiwen: Neben den Fähigkeiten betonen die offiziellen Angaben auch Bezug und Sicherheit. Dass der Betrug beim Terminal-Bench auf 0 gesenkt wurde und die Warnungen bei Unstimmigkeiten um 80% gesunken sind, zeigt etwas?

Yongliang: Der Erfolg bei dem Betrug im Terminal-Bench 4.0 beträgt 0,0%, die Versuche zum Betrügen sind 0,4%. Das ist wirklich wichtig. Denn das, was Gemini bisher am meisten kritisiert wurde, waren „Umwege“ und „Betrug“. Wenn diese Zahlen von Dritten wieder überprüft werden können, bedeutet das, dass die Ehrlichkeit des Modells bei der Ausführung der Aufgaben deutlich gestiegen ist. Der Erfolgsrate bei den indirekten Angriffen auf Gray Swan hat auf 0,0% abgenommen, was auch besser ist als die 0,7% von Argon. Zudem sind die Warnungen vor hohem Schweregrad von Misalignment um fast 80% gesunken, die Übergriffe um 26% und Unterstützung um 29%. Insgesamt scheint Google bei der „Führung des Modells“ Hervorragende Arbeit geleistet zu haben.

Shiwen: Aber sind das auch Aussagen von Google selbst?

Yongliang: Ja, alle Daten stammen derzeit aus dem offiziellen Blog und internen Benchmarks. Einzelprüfungen durch Dritte sind noch nicht verfügbar. Das Risiko liegt darin, dass es immer einen Unterschied zwischen dem Testdatensatz und den tatsächlichen Angriffsszenarien gibt. Eine 0%-Erfolgsrate bei Angriffen im Labor bedeutet nicht, dass im echten Umfeld keine Fehler auftreten. Wir können das als positives Signal betrachten, aber nicht als Sicherheitsgarantie. Besonders die Aussage „die Unterstützung um etwa das Zweifache gesunken“ klingt positiv, aber aus einer anderen Perspektive könnte es auch bedeuten, dass früher viele Probleme gaben und jetzt alles wieder normal ist.

Shiwen: Wie sollten normale Nutzer diese Sicherheitsindikatoren verstehen?

Yongliang: Man sollte sie als „Fertigungsprüfberichte“ betrachten. Es ist natürlich gut, wenn der Bericht vollkommen positiv ist, aber ob das Modell tatsächlich funktioniert, hängt von den Umständen ab. Wenn Unternehmen Carbon in die Produktionsumgebung einbringen wollen, müssen sie eigene Red-Team-Tests, Grenztests und langfristige Beobachtungen durchführen – nicht nur auf Basis der offiziellen Zahlen. Mit anderen Worten, die offiziellen Sicherheitsindikatoren sind „notwendige Bedingungen“, nicht „ausreichende Bedingungen“. Außerdem sind die Indikatoren für Übergriffe und Unterstützung interessant. Das Erste ist, dass das Modell zu viel tut und über das Zulässige hinausgeht; das Zweite ist, dass das Modell zu wenig tut und nicht hilft, wo es gebraucht wird. Beide Probleme beeinflussen direkt den Nutzerkomfort und die Systemsicherheit. Dass Google diese Zahlen intern senken konnte, zeigt, dass sie in der Praxis bereits Probleme hatte.

Q4: Warum spottet Hacker News über Google?

Shiwen: Zur Reaktion auf Hacker News: Warum akzeptieren die Leute das nicht?

Yongliang: Hauptgründe sind drei. Erstens: Das Modell ist nicht wirklich offen zugänglich. Manche sagen, es handelt sich um eine Art „my girlfriend goes to another school“-Veröffentlichung, was bedeutet, dass das Modell zwar stark ist, aber momentan noch nicht nutzbar ist. Zweitens: Die Namensgebung ist verwirrend. Namen wie Argon, Carbon und Mythos machen es für die Nutzer schwer, die Produktlinien und Positionen zu verstehen. Vor zwei Wochen wurde noch über Argon gesprochen, jetzt wird behauptet, dass Carbon stärker sei – was bedeutet dann das frühere Argon? Drittens: Manche vermuten, dass dies Material ist, das Google AI-Ingenieure zum Jahresende für ihre Leistungsberichte verwenden, und normale Nutzer haben keinen Zugang dazu.

Shiwen: Sind diese Kritiken fair?

Yongliang: Einige Aspekte sind fair. Es ist wahr, dass es noch nicht offen ist, und es ist auch wahr, dass die Namensgebung verwirrend ist. Aber zu sagen, dass es „Leistungsmaterial“ ist, könnte etwas hart sein. Eine genauere Bezeichnung wäre: Das, was Google jetzt veröffentlicht, ist eine Pressemitteilung zur Platzierung in einer Liste, nicht ein universell nutzbares Produkt. Laut den offiziellen Angaben wird es ab dieser Woche erst an einige Cyberdefender geöffnet, dann durch das Fairwind Program schrittweise an vertrauenswürdige Partner und schließlich an Entwickler, Unternehmen und Verbraucher. Dieser Ablauf zeigt, dass Google selbst noch nicht bereit ist, es vollständig zu verbreiten.

Shiwen: Was bringt es, wenn der Preis bekannt gegeben wird?

Yongliang: Der Preis ist bekannt gegeben, genau wie bei Argon: 2 Dollar pro Million Tokens als Eingabe, 10 Dollar pro Million Tokens als Ausgabe, mit einem 95%igen Rabatt auf die Eingabe. Dieser Preis ist nur auf Papier, denn die meisten Menschen können ihn nicht kaufen. Für Entwickler bedeutet ein Modell mit Preis, aber ohne Verfügbarkeit, keinen wesentlichen Unterschied im Nutzungsgefühl zu einem noch nicht veröffentlichten Modell. Das ist auch der Kern der Kritik von HN: Du sagst mir, dass es stark und günstig ist, aber ich kann es nicht verwenden – warum willst du es dann haben? Außerdem gibt es bei der tatsächlichen Nutzung viele Variablen wie die Cache-Hits-Quote und die tatsächlichen Anwendungskosten, und der papierne Preis spiegelt oft nicht den wahren Kosten wider.

Frage 5: Wie soll ein gewöhnlicher Nutzer diese Situation betrachten?

Shiwen: Schließlich gibt es einen Überblick für gewöhnliche Nutzer. Wie sollte man diese Situation betrachten?

Yongliang: In drei Schritten. Erstens, beim Betrachten der Zahlen muss man zwischen „offiziellen Listenergebnissen“ und „tatsächlicher Verfügbarkeit“ unterscheiden. Der erste Platz in der Liste bedeutet nicht, dass man es nutzen kann. Zweitens, beim Betrachten von Szenarien muss man zwischen „Labor-Sicherheitstests“ und „unternehmensweiten Produktionsumgebungen“ unterscheiden. Egal wie hoch die offiziellen Benchmarks sind, sie müssen extern überprüft und durch echte Anwendungsfälle validiert werden. Drittens, beim Betrachten des Veröffentlichungsrhythmus muss man zwischen „technischen Fortschritten“ und „Marketingplatzierung“ unterscheiden. Vor zwei Wochen war Argon, jetzt Carbon – der Name ist verwirrend, Google geht offensichtlich schnell voran.

Shiwen: Welche konkreten Empfehlungen gibt es für verschiedene Personen?

Yongliang: Sicherheitsfachleute sollten mehr Aufmerksamkeit schenken, aber nicht voreilig spekulieren. Warten Sie auf externe Überprüfungen und Unternehmensanwendungen. Entwickler können abwarten, die verfügbare Gemini API oder andere Modelle werden durch das Carbon-Release nicht plötzlich unbrauchbar. Unternehmenskäufer sollten darauf achten, „Google als stärkstes Modell“ nicht als Grundlage für den Kauf zu nehmen, sondern fragen: Welche spezifischen Probleme kann dieses Modell lösen? Wie hoch sind die Kosten? Ist die Integration kompliziert? Für gewöhnliche Nutzer genügt es, sich einzubilden: Ein starkes Modell auf der Liste bedeutet nicht dasselbe wie ein starkes Modell zur Hand.

Shiwen: Was ist also das Fazit?

Yongliang: Gemini 4 Carbon könnte das stärkste Modell von Google sein, zumindest laut offizieller Aussage. Aber es ist noch nicht in die Werkzeuge der normalen Entwickler eingeflossen. Für Menschen, die sich mit AI-Sicherheit, Code-Sicherheit und agentiven Workflows beschäftigen, ist es wertvoll; für gewöhnliche Nutzer genügt es, sich einzubilden: Noch attraktive Listen sind nur Bilder, wenn sie nicht umgesetzt werden. Wir können später Schlussfolgerungen ziehen, wenn die API tatsächlich offen ist, externe Untersuchungen durchgeführt wurden und Unternehmensanwendungen funktionieren.

Schlusswort: Noch attraktive Listen sind nur Bilder, wenn sie umgesetzt werden.

Shiwen: Zusammenfassend.

Yongliang: Das Wichtigste, was Google diesmal veröffentlicht hat, sind nicht die Punktzahlen, sondern der Signal, den es sendet: Der Wettbewerb um große Modelle hat in die tiefen Gewässer von „langfristigen Aufgaben + Sicherheitsfähigkeiten“ eingetreten. Carbon ist ein Eintrittsvisum, aber ob man dieses Visum in einen echten Sitzplatz umwandeln kann, hängt davon ab, wie die zukünftige Offenheit und die Verifizierung durch Dritte aussehen. Bevor wir den API kennenlernen, sollten wir diese Veröffentlichung als wichtig einstufen und keine voreiligen Schlussfolgerungen ziehen.

Shiwen: Ein Satz für diese Ausgabe.

Yongliang: Die Spitze der Liste ist nur der Anfang. Ob die Fähigkeiten wirklich den Entwicklern übergeben werden können, ist der wahre Maßstab für ein Modell.

👇 Hast du in letzter Zeit die Gemini-Modelle verwendet? Wie war das Erlebnis? Diskutiert in den Kommentaren, wir werden im nächsten Mal einige Beispiele auswählen und darüber sprechen. Folge mir, regelmäßig aktualisiert mit echten Erfahrungen aus der AI-Ära.