Einblicke in KI-Evaluation, Experimentierung und den Aufbau zuverlässiger KI-Produkte.
Agenten teilten Passwörter, fragten öffentliche Dienste ab und schrieben Code, um fehlende Passwörter zu raten. Ein Test zur Rechnungsprüfung zeigt, was in Abschlussberichten fehlen kann.
Wir haben gemessen, wie viele Tokens 20 aktuelle Modell-Tokenizer für identische Texte in unterschiedlichen Sprachen und Textarten benötigen, inklusive proprietärer Modelle wie Claude, GPT, Gemini und Grok sowie Modelle mit offenen Gewichten. Manche schneiden hervorragend ab, andere lassen euch eine Token-Steuer zahlen: Claude 4.7+ braucht für deutsche Texte beispielsweise doppelt so viele Tokens wie GPT-6 Astra.
Claude Opus 5 performs best overall in the public Terminal-Bench 4 results. GPT-5.6 Sol costs less and matches it on business operations. Their traces show why.
Meine Faustregel war: Claude plant, Codex debuggt. Also habe ich vier echte Engineering-Aufgaben von beiden Agenten bearbeiten lassen, dreimal je Agent. Nach 24 Runs und 468 Bewertungen stand die Regel auf dem Kopf.
Azure schaltet GPT-4o ab, und die Antwortzeiten in der Produktion waren bereits so schlecht, dass Timeouts angehoben werden mussten. Wie der Modell-Wechsel in 48 Stunden gelang: evaluiert, red-geteamt, freigegeben.
Ein deutsches Wortspiel, das die meisten Deutschen in einer Sekunde lösen, an dem aber Frontier-LLMs scheitern. GRIPS ist ein breiter, nativ deutscher Benchmark für Reasoning, Redewendungen, Rätsel und Wortspiele, dessen Aufgaben echtes Reasoning und nativsprachliche Deutschkenntnisse zur Lösung verlangen.
Das Vision-Modell einer Krankenversicherung las 94 % der gescannten Mitgliederdokumente korrekt aus. Bei Zahlen, die den monatlichen Beitrag festlegen, reicht das nicht. So fand eine Evaluationsschleife in elluminate die sechs Fehlerursachen und behob sie, Experiment für Experiment, bis zur verifizierten 107/107.
Die technische Dokumentation nach Anhang IV des EU AI Act ist verpflichtend, hat keine Vorlage und landet meist auf dem Schreibtisch einer überlasteten Person. Wir bringen elladoc, elluminates Compliance-Dokumentationsassistenten, als Beta: einen geführten Ablauf aus Classify → Document → Evaluate → Report, der für jedes Feld die Rechtsgrundlage zeigt und die Aussagen mit echter Evaluationsevidenz verknüpft.
Der EU AI Act kennt eine Klausel, die Teams, die nur einen System-Prompt geschrieben haben, zum Anbieter eines Hochrisiko-KI-Systems macht — ganz ohne Auslieferung. Wie Artikel 25(1)(c) funktioniert, was Anhang IV dann von Ihnen verlangt und warum die Rollenfrage zuerst geklärt gehört.
Wir haben das Internet-Spiel 'Explain a Film Plot Badly' in eine LLM-Evaluation über fünf Modelle verwandelt. Einem Modell zu sagen, es sei ein Weltklasse-Filmexperte, hat es jedes Mal schlechter gemacht - und der Wechsel auf ein neueres Modell ebenso. Warum das so ist, und warum man es nur mit einer Evaluation bemerkt.
Was ein Forward Deployed Engineer bei ellamind wirklich macht: Kunden beim Onboarding auf elluminate begleiten, die Reibung, die sie nicht melden, zurück in die Roadmap tragen und den Loop zwischen der Realität eines Kunden und dem Produkt schließen.
A CLAUDE.md file's value isn't the facts it supplies. It's the workflow it imposes. We ran Claude Opus 4.6 on ten Django tasks with and without our project's instructions, and the cost gap came almost entirely from one workflow choice the file encodes.
Als ein deutscher Krankenversicherer das LLM hinter seiner kundennahen KI-Plattform ersetzen wollte, machte eine strukturierte Evaluation aus einem riskanten Modell-Wechsel eine datengestützte Entscheidung. Nebenbei kamen erfundene personenbezogene Daten, ausgeplauderte System-Prompts und teure Fehlentscheidungen bei der Erstattung zutage.
Wie N+1-Evaluation die Fehler aufdeckt, die Single-Turn-Tests übersehen - und wie Sie das Ganze in elluminate aufsetzen.
Wir haben OpenAIs FrontierScience-Benchmark mit GPT-5.4, Claude Opus 4.6 und Gemini 3.1 Pro in elluminate neu aufgesetzt. So schlagen sich die aktuellen Frontier-Modelle auf dem härtesten öffentlichen Science-Benchmark.
Wie strukturierte Evaluation aus einem fähigen, aber unzuverlässigen KI-Agenten ein System mit 93 % Genauigkeit bei der PKV-Bearbeitung gemacht hat. Gleiches Modell, gleiche Fälle, andere Instruktionen.
Wenn KI-Systeme still scheitern, verliert sich die Verantwortung für Qualität. Warum plausibel klingende Ergebnisse gefährlich sind, was Ownership für KI-Teams konkret bedeutet und wie sich die Evaluationstiefe am Risiko ausrichten lässt.
Kubernetes produktiv über mehrere Cloud-Anbieter zu betreiben, heißt: OpenTofu-Konfigurationen, Helm-Charts und Deployment-Pipelines gleichzeitig jonglieren. Wie wir Claude Code als Infrastruktur-Copilot einsetzen — mit Sicherheits-Leitplanken, eigenen Skills und eingebettetem Domänenwissen.
Wir haben 168 heikle China-Themen an zehn LLMs getestet. Ein chinesisches Modell zog mit GPT-5.2 und Claude gleich. Ein anderes schrieb das Massaker auf dem Tian'anmen-Platz in staatlich genehmigte Fiktion um.
Ein vollständiges Framework für die RAG-Evaluation: Testdaten-Design, gezielte Kriterien für Retrieval und Generierung, Auswertung von Experimenten und kontinuierliches Monitoring im Produktivbetrieb.
Ihre Evaluation sagt, Ihre KI sei fehlerfrei. Sie wissen, dass das nicht stimmt. So haben wir mit MCP schnell iteriert und echte Schwachstellen sichtbar gemacht.
Importieren Sie Ihre Langfuse-Datensätze direkt in elluminate. So werden Produktions-Traces zu strukturierten Evaluationen - ohne Exportskripte oder CSV-Gefummel.
Binäre Pass/Fail-Evaluationen schlagen Likert-Skalen bei der Bewertung von LLMs und Agenten. Warum das so ist und wie Sie Nuancen behalten, ohne sich Inkonsistenz einzuhandeln.
Wie wir ein Test-Set für die KI-Suche einer deutschen Krankenkasse aufgebaut haben – von 50 echten Nutzeranfragen zu 80 Fällen, 57 Experimenten und einer Erfolgsrate, die von 35 % auf über 80 % gestiegen ist.
So testen und verbessern Sie Ihre KI-Prompts systematisch mit der Evaluationsplattform elluminate. Ein vollständiges Beispiel rund um Pizzabeläge führt Sie durch Prompt-Templates, Collections, Kriterien und Experimente.
Erfahren Sie, wie unsere Produkte Ihnen helfen können, KI-Agenten sicher zu evaluieren, deployen und zu überwachen.