Ein bekanntes deutsches Wortspiel das auf den Torwart Manuel Neuer anspielt, dessen Name genauso klingt wie der Komparativ von neu (“neuer”). Die meisten Deutschen kommen in einer Sekunde darauf. Sechs der Modelle oben landen ebenfalls bei Neuer. Die übrigen liegen auf vielsagende Weise daneben: Zwei begnügen sich mit „manuell“ (phonetisch nah dran, aber am Ziel vorbei), die anderen driften zu „dabei“ oder „älter“: flüssig, selbstsicher und falsch. Modelle sagen selten „Ich weiß es nicht“; stattdessen liefern sie eine saubere, falsche Antwort. Und das ist kein einmaliger Stolperstein. Wortspiele sind nur eine Kategorie deutscher Rätsel, an denen Modelle scheitern.
Was GRIPS testet
Nativ deutsche LLM-Benchmarks sind selten. Die meiste Evaluation ist englischzentriert, und deutsche Benchmark-Varianten entstehen oft durch Übersetzung, die stillschweigend vieles von dem wegglättet, was Deutsch ausmacht: seine Wortspiele, Redewendungen, Morphologie und Struktur auf Buchstabenebene. Ein Wortspiel, das von deutschen Lauten lebt, übersteht den Umweg über das Englische schlicht nicht.
Also haben wir GRIPS gebaut: German Reasoning, Idioms, Puzzles & Wordplay (Sprachspiel), ein Benchmark rund um Aufgaben, die sich nur mit echtem Reasoning und nativer deutscher Sprachkompetenz lösen lassen. Wortspiele, Redewendungen und Buchstabenrätsel sind das Vehikel; Reasoning ist der Punkt. (Grips ist im Deutschen auch das Wort für Verstand: „Streng deinen Grips an!“)
GRIPS besteht aus zwei Teilen:
- Öffentlich: eine offene Referenz mit Beispielen für alle Aufgabentypen, frei einsehbar und als Grundlage nutzbar. 1.861 Fragen aus 96 Mechaniken. Enthält ein schwieriges Subset aus 119 besonders kniffligen Beispielen (für Modelle, nicht zwingend für Menschen).
huggingface.co/datasets/ellamind/grips - Privat: ein zurückgehaltenes Gegenstück aus frischen Items, nie veröffentlicht, das für das Leaderboard dient. So spiegeln die Ergebnisse echte Generalisierung wider und nicht bloß die Kenntnis der öffentlichen Benchmark-Daten. Damit es zurückgehalten bleibt, evaluieren wir nur lokale Modelle oder kommerzielle API-Modelle mit Zero Data Retention, sodass Prompts nicht zum Training verwendet werden.
Die Mechaniken reichen von Anagrammen über versteckte Wörter, Redewendungen, Schüttelreime und Komposita bis hin zu mehrschrittigen Logikrätseln. Jedes Item hat eine bekannte, überprüfbare Antwort, programmatisch verifiziert und von Menschen geprüft. Probier selbst ein paar aus: 16 Beispiele direkt aus dem öffentlichen Set, nach Mechanik gekennzeichnet:
Aus genau den Buchstaben von „LAMPE“ lässt sich – in anderer Reihenfolge – ein neues, sinnvolles deutsches Wort bilden: ein Verkehrssignal. Wie lautet es?
Welches Wort ergibt vor jedem dieser Wortteile ein sinnvolles zusammengesetztes Wort? -mann -ball -flocke -sturm
Welches dieser Wörter liest sich vorwärts wie rückwärts gleich? A: Ufo B: Uhr C: Uhu
Welcher dieser Vornamen versteckt sich – als Buchstabenfolge – im folgenden Satz? A: Anke B: Felix C: Lukas D: Sophie „Ihm kam ein guter Gedanke in den Sinn.“
Nimmt man von jedem dieser kurzen Wörter nur den mittleren Buchstaben, ergeben sie zusammen ein neues Wort. Welches? UTA, HOF, ARM
Diese Buchstaben sind jeweils der erste Buchstabe einer bekannten Reihe. Welcher Buchstabe gehört an die Stelle des Fragezeichens? F ? H W
Welches dieser Wörter lässt sich allein aus den Buchstaben des Namens „MARTINA“ bilden (jeder Buchstabe nur so oft, wie er im Namen vorkommt)? A: ARM B: QUARZ C: SAU
Bei diesen Wörtern sind nur die inneren Buchstaben verdreht. Lies die Frage und beantworte sie: Wehcler Tag kmmot dkerit ncah Fatierg ?
In dieser Buchstabenfolge stecken zwei ineinander verwobene Wörter; die Reihenfolge der Buchstaben jedes Wortes bleibt dabei erhalten. BAERGPFEL Ein Wort ist BERG. Wie lautet das andere?
Wie viele der sechs Seitenflächen eines Würfels kann man höchstens auf einen Blick sehen?
Man wirft zwei Würfel. Wie wahrscheinlich ist eine Augensumme größer als 9? A: 1/6 B: 1/9 C: 1/4
Vergleiche die Körpergrößen mehrerer Personen: Felix ist 7 cm größer als Anna. Felix ist 8 cm größer als Karla. Mia ist 2 cm größer als Anna. Wer ist am größten?
Schreibe alle Buchstaben des Wortes „MOND“ in alphabetischer Reihenfolge – als eine zusammenhängende Buchstabenfolge.
Bei diesem Code wird „WALD“ zu „VZKC“. Wie lautet nach demselben Muster der Code für „VOGEL“ (fliegt)?
Vervollständige diesen Schüttelreim: „Es klapperten die Klapperschlangen, bis ihre Klappern ___ ___.“
Wie lautet die Zahlenkombination für dieses dreistellige Zahlenschloss? 267: Eine Ziffer ist korrekt, steht aber an der falschen Position. 468: Eine Ziffer ist korrekt, steht aber an der falschen Position. 791: Alle Ziffern sind falsch. 256: Eine Ziffer ist korrekt, steht aber an der falschen Position. 975: Alle Ziffern sind falsch. 590: Eine Ziffer ist korrekt und steht an der richtigen Position. 042: Zwei Ziffern sind korrekt, aber keine steht an der richtigen Position.
Das GRIPS-Leaderboard
Wir haben ein breites Feld von Modellen auf dem privaten, zurückgehaltenen Set laufen lassen: proprietäre Frontier-Modelle, Open-Weight-Modelle und Reasoning-optimierte Varianten. Jede Antwort bewertet ein LLM-Judge anhand der Ground-Truth-Referenzantwort.
Im GRIPS-hard-Subset führt GPT-5.5 mit 87,3 % in der höchsten Reasoning-Stufe, mit Claude Fable 5 knapp dahinter bei 84,0 %: vor GPT-5.5s mittlerer Einstellung (80,7 %), aber hinter dessen hoher und extra-hoher Konfiguration. Unterhalb dieser Handvoll Spitzenmodelle ändert sich das Bild schnell: DeepSeek V4 Pro ist mit 67,3 % das stärkste Open-Weight-Modell, bereits 20 Punkte hinter dem Spitzenreiter, und das nächste Open-Weight-Modell, GLM 5.2, fällt auf 54,0 %, mit weiteren DeepSeek- und Qwen-Varianten in den Rängen darunter. Das stärkste Open-Weight-Modell aus dem Westen ist Nvidias Nemotron 3 Ultra mit 31,3 %. Reasoning zählt im gesamten Feld, nicht nur an der Spitze: Mistral Medium 3.5 mehr als verdoppelt seinen Wert mit aktiviertem Reasoning (12,7 % → 26,2 %), und ähnliche Sprünge zeigen sich auch bei anderen Modellfamilien. Im vollständigen GRIPS-Datensatz ist das Feld nahezu gesättigt: Die Top Zehn liegen alle über 90 %, und GPT-5.5 kommt auf bis zu 96,4 %, nah genug an Claude Fable 5s 95,5 %, dass ihr 3,3-Punkte-Abstand im GRIPS-hard-Subset hier auf weniger als einen Punkt schrumpft. Der Abstand zwischen geschlossenen und offenen Modellen schrumpft genauso deutlich: GPT-5.5s 20-Punkte-Vorsprung vor DeepSeek V4 Pro im GRIPS-hard-Subset sinkt im vollständigen Datensatz auf nur 3,5 Punkte. Genau deshalb gibt es das GRIPS-hard-Subset: Im vollständigen Datensatz wird der Platz knapp, um Spitzenmodelle noch zu unterscheiden. Reasoning über deutsche Wortspiele und Struktur auf Buchstabenebene lässt an der Spitze noch klar Luft nach oben.
Warum ist Fable nicht die Nummer 1?
Claude Fable 5 steht derzeit an der Spitze der meisten KI-Benchmarks. Bei GRIPS liegt es nur hinter GPT-5.5: Platz drei im GRIPS-hard-Subset, Platz vier im vollständigen GRIPS-Datensatz. Warum also scheitert es, und woran liegt das: an schlechten Benchmark-Daten oder an echten Fehlern des Modells? Wir haben jeden seiner Fehler von Hand überprüft. Keiner davon ist auf schlechte Daten zurückzuführen, und keiner wirkt ideenlos.
Um das mit Beispielen zu belegen, die wir auch veröffentlichen dürfen, haben wir Fable selbst auf dem öffentlichen GRIPS-hard-Subset (119 Items) laufen lassen (das Leaderboard selbst wertet auf dem zurückgehaltenen privaten Datensatz aus). Fünf Items kamen als offene Verweigerung zurück, allesamt unter Anthropics „cyber”-Richtlinienkategorie eingestuft, und vier dieser fünf teilen sich einen Mechanismus: kurze Chiffre-Ketten, die Einheiten-Umrechnungen codieren. Damit wurde mehr als die Hälfte dieses einen Mechanismus komplett blockiert, nicht weil das Modell ihn nicht lösen kann, sondern weil das Eingabeformat einem Exploit-String ähnlich genug sieht, um einen Sicherheitsfilter auszulösen.
Der Rest seiner Fehler ist echt, und auch hier zeigt sich ein Muster: Bei Wortspielen, die einen versteckten Namen verlangen, findet Fable oft ein echtes Wortspiel, nur nicht das gesuchte, und bei Rätseln, deren Regel sich erst aus wenigen Beispielen erschließen lässt, konstruiert es mitunter eine kunstvolle, in sich stimmige Geschichte, die genau die gegebenen Zahlen reproduziert, ohne je zu einer Regel zu finden, die sich auf einen neuen Fall übertragen ließe.
Jede dieser echten Antworten ist vollständig durchdacht, gut formatiert und falsch: derselbe Fehlertyp wie beim Wortspiel zu Beginn, nur eine Ebene tiefer in der Argumentationskette. Die Verweigerungen sind ein anderes Problem: Dort kam das Modell gar nicht erst zum Nachdenken. Hier zum Selberausprobieren.
Vervollständige dieses bekannte Wortspiel: „Egal wie viele Kühe du ihm hinstellst, Bastian ist ___.“
Vervollständige dieses bekannte Wortspiel: „Egal wie kalt es draußen ist, Leonardo fährt ___.“
Vervollständige dieses bekannte Wortspiel: „Egal wie laut du Bach hörst, Heiner hört ___.“
Nach einer bestimmten Logik gilt: Fluss = 19; Tal = 13; Moor = 20. Welchen Wert hat dann „See“?
Vervollständige dieses bekannte Wortspiel: „Egal wie scharf du bist, der Sänger ist ___.“
Vervollständige diesen Flachwitz: „Ich habe einen Schornsteinfeger angerufen, aber …“ A: er war auf dem Dach B: er war besetzt C: er war verrußt D: er hatte abgekehrt
Scherzfrage: Was ist schwarz-weiß und kann nicht um die Ecke schauen? A: ein Zebra B: ein Pinguin C: eine Zeitung D: ein Panda
Vervollständige die absichtlich verdrehte Redewendung (ein Kalauer): „Wer anderen eine Grube gräbt, …“ A: hat ein Grubengerät. B: ist selbst hineingefallen. C: sollte Bauarbeiter werden. D: kennt sich mit Erde aus.
Scherzfrage: Warum können Fische so gut rechnen? A: Weil sie im Schwarm denken B: Weil sie eine Kiemen-Logik haben C: Weil sie sich gut mit Wurzeln auskennen D: Weil sie im Meer viele Algen haben
Wie nennt man – mit einem englisch-deutschen Wortspiel – eine Katze, die im Internet surft? A: eine Web-Katze B: eine Catze C: eine Net-Mieze D: eine Cat-Maus
Vervollständige dieses bekannte Wortspiel: „Egal wie cool du bist, Karl ist ___.“
Vervollständige dieses Wortspiel (das gesuchte Wort ist ein Name oder klingt wie einer): „Egal wie gut du fährst, Züge fahren ___.“
Vervollständige dieses bekannte Wortspiel: „Egal wie schwer du es hast, Atlas trägt ___.“
Bei diesen Zahlen sind die Silben durcheinandergeraten, doch jede lässt sich zu genau einer sinnvollen Zahl zusammensetzen. Welche ist die kleinste? A: FÜNFUNDZIGSIEB B: ACHTUNDZIGZWEI C: ZIGSECHSNEUNUND
Vervollständige diesen Schüttelreim: „Es gibt so viele stumme Denker, doch häufiger sind ___ ___.“
Nach einer bestimmten Logik gilt: See = 13; Berg = 14; Wald = 14. Welchen Wert hat dann „Wiese“?
In dieser verschlüsselten Kette steht jeweils „‹Anzahl›‹Anfangsbuchstabe›s 1 ‹nächster Buchstabe›“. Welcher Buchstabe gehört an die Stelle des Fragezeichens? 12?s1D12Ds1G
Mehr Nachdenken hilft
Das sauberste, am besten kontrollierte Signal ergibt sich, wenn man das Modell festhält und allein variiert, wie viel es nachdenken darf. Auf dem GRIPS-hard-Subset verläuft die Reasoning-Aufwand-Skala von GPT-5.5 monoton:
| Reasoning-Aufwand | Schwieriges Subset |
|---|---|
| xhigh | 87 % |
| high | 85 % |
| medium | 81 % |
| low | 71 % |
Bewussteres Reasoning bringt echte Genauigkeit, und Reasoning-optimierte Modelle drängen sich an der Spitze des Feldes. Diese Rätsel belohnen schrittweises Vorgehen (Buchstaben zählen, Umstellungen ausprobieren, ein Wortspiel auflösen), nicht den schnellen ersten Tipp.
Buchstaben, nicht Konzepte
Schlüsselt man die Ergebnisse nach Mechanik auf, zeigt sich ein klares Muster: Modelle kommen mit Konzepten gut zurecht, stolpern aber über Buchstaben. Die Mechaniken, an denen sie am häufigsten scheitern, sind fast durchweg Manipulation auf Buchstabenebene, gemittelt über alle von uns getesteten Modelle:
| Schwierigste Mechanik | Ø Erfolgsrate | Beispiel (Originalwortlaut) | Antwort |
|---|---|---|---|
| Aus Buchstaben bildbar | 56 % | Welches dieser Wörter lässt sich allein aus den Buchstaben des Namens „KONSTANTIN“ bilden (jeder Buchstabe nur so oft, wie er im Namen vorkommt)? A: TAKT B: OTTO C: RUF | A, TAKT |
| Palindrom | 58 % | Welches dieser Wörter liest sich vorwärts wie rückwärts gleich? A: Otmar B: Oskar C: Otto | C, Otto |
| Reihe aus Anfangsbuchstaben | 63 % | Diese Buchstaben sind jeweils der erste Buchstabe einer bekannten Reihe. Welcher Buchstabe gehört an die Stelle des Fragezeichens? ? Z D V F S S A N Z | E |
| Versteckter Name | 64 % | Welcher dieser Vornamen versteckt sich – als Buchstabenfolge – im folgenden Satz? A: Felix B: Lukas C: Nora D: Sophie „Vom Gipfel aus genossen wir ein grandioses Panorama.“ | C, Nora |
| Mittlere Buchstaben | 67 % | Nimmt man von jedem dieser kurzen Wörter nur den mittleren Buchstaben, ergeben sie zusammen ein neues Wort. Welches? ARM, ZEH, OHR | REH |
| Anagramm | 71 % | Aus genau den Buchstaben von „LAMPE“ lässt sich – in anderer Reihenfolge – ein neues, sinnvolles deutsches Wort bilden: ein Verkehrssignal. Wie lautet es? | AMPEL |
Am anderen Ende sind die Reasoning-Mechaniken nahezu gelöst: zyklische Position / modulare Arithmetik (99 %), Wahrscheinlichkeit (99 %), transitive Ordnung (97 %) und arithmetische Textaufgaben (90 %).
Womöglich ist das einfach der blinde Fleck der Tokenisierung, offen sichtbar. Ein LLM sieht Sub-Wort-Tokens, nicht einzelne Buchstaben, sodass alles, was an Schreibweise, Umkehren, Zählen oder Umstellen von Buchstaben hängt, strukturell schwer ist, selbst für Frontier-Modelle, die mehrschrittige Arithmetik mühelos meistern. Vielleicht ist das auch ein Grund, warum das Manuel-Neuer-Wortspiel manche Modelle aus dem Tritt bringt: Ein homophones Wortspiel lebt von Klang und Schreibweise ebenso wie von Bedeutung.
Kein einzelnes Item bezwingt jedes Modell, doch keines löst das Set fehlerfrei. Selbst GPT-5.5 verfehlt bei extra hohem Reasoning-Aufwand eine Handvoll glatt, und zwar genau diese Rätsel auf Buchstabenebene: ein Wort aus den Buchstaben eines Namens bilden oder in Wörtern versteckte Zahlen zählen. Und ja, wir haben uns die Daten angesehen, um sicherzugehen, dass alle Fehler von GPT-5.5 echt sind.
Selbst ausprobieren
Deutsches Reasoning und Wortspiel bleiben eine ungesättigte, wirklich schwierige Herausforderung, auch wenn die kommerziellen Frontier-Modelle nah dran sind. GRIPS gibt dir einen deutschen Weg, sie zu messen, mit einem vollständig reproduzierbaren Evaluations-Harness.
- Datensatz: huggingface.co/datasets/ellamind/grips
- Evaluations-Code: github.com/ellamind/grips-eval
Schick dein eigenes Modell mit collect → judge → score durch den öffentlichen Benchmark-Datensatz, um zu sehen, wo es gelingt und wo es scheitert.
Danksagung
- Diese Arbeit wird durch das Projekt OpenEuroLLM unterstützt, kofinanziert durch das Programm Digitales Europa unter GA no. 101195233.
- Diese Arbeit wird durch das Projekt LLMs4EU unterstützt, kofinanziert durch das Programm Digitales Europa unter GA no. 101198470.
- Diese Arbeit wird durch das Bundesministerium für Wirtschaft und Energie (BMWE) im Rahmen von EU-SAI/SOOFI: Sovereign Open Source Foundation Models for European Intelligence gefördert (Förderkennzeichen 13IPC040J).
