Die erste Frage in fast jedem Gespräch über KI lautet: „Welches Modell sollen wir nehmen?“ Ich verstehe die Frage. Sie ist trotzdem die falsche. Denn in dem Moment, in dem ein Unternehmen einen Assistenten auf die eigenen Inhalte setzt – auf Handbücher, Produktdaten, Satzungen, die eigene Website –, kommt das Wissen nicht mehr aus dem Modell. Es kommt aus den eigenen Dokumenten. Das Modell formuliert. Es ist der austauschbare Teil.
Das sagt sich leicht. Nur konnte es mir bisher niemand zeigen.
Warum die üblichen Vergleiche hier nicht weiterhelfen
Es gibt exzellente Benchmarks. LMArena, Artificial Analysis, ein Dutzend Leaderboards. Sie alle messen Modelle anhand fester, öffentlicher Aufgaben – Mathematik, Programmieren, Allgemeinwissen. Was sie nicht messen: Wie unterschiedlich antworten Modelle, wenn sie dieselben Dokumente vor sich haben wie Sie? Genau das ist aber der Fall, den Sie im Unternehmen haben. Also haben wir es gebaut. Vier Chatbots auf einer Seite. Dieselbe Wissensbasis, dieselbe Software, dieselbe Suche über dieselben Textabschnitte. Der einzige Unterschied ist das Sprachmodell: Mistral Large 3, Claude Opus 5, GPT-5.5 und Gemini 3.6 Flash. Sie stellen allen vieren dieselbe Frage und sehen nebeneinander, was herauskommt.
Drei Dinge sind uns dabei aufgefallen.
1. Bei den Fakten liegen sie nah beieinander
Das klingt unspektakulär, ist aber der eigentliche Punkt. Alle vier ziehen ihre Antworten aus denselben Quellen – also stimmen die Fakten weitgehend überein. Was sich unterscheidet, ist alles andere: Wie lang geantwortet wird. Ob knapp und direkt oder ausholend. Ob das Modell zugibt, dass es etwas nicht weiß, oder ob es die Lücke elegant überspielt. Ob Quellen genannt werden. Das sind Fragen des Stils und des Charakters – und die entscheiden erstaunlich stark darüber, ob ein Assistent zu einer Behörde passt oder zu einem Onlineshop. Nur haben sie wenig mit „gut“ oder „schlecht“ zu tun.
2. Der Preisunterschied ist nicht klein. Er ist absurd.
Hier wurde es für mich unangenehm konkret. Die Listenpreise, Stand September 2026, pro einer Million Token:
- Mistral Large 3: 0,44 € Input, 1,30 € Output
- Gemini 3.6 Flash: 0,64 € Input, 3,21 € Output
- Claude Opus 5: 4,28 € Input, 21,41 € Output
- GPT-5.5: 4,28 € Input, 25,69 € Output
Zwischen dem günstigsten und dem teuersten Modell liegt Faktor 10 bis 20. Bei identischer Aufgabe, identischer Wissensbasis, identischer Software. Und weil Output-Token drei- bis sechsmal teurer sind als Input-Token, trifft das ausgerechnet einen Chatbot am härtesten. Ein Assistent produziert nun einmal überwiegend Output.
3. Digitale Souveränität war mal ein Verzicht
Das ist der Teil, der mich am meisten überrascht hat. Jahrelang lief das Argument so: Wer aus Datenschutzgründen ein europäisches Modell nimmt, zahlt dafür mit Qualität. Souveränität als Kompromiss. In diesem Aufbau ist das europäische Modell nicht der Kompromiss. Es ist die günstigste Option – bei Antworten, die aus denselben Quellen stammen wie die der US-Modelle. Der Datenschutz ist hier kein Kostenfaktor mehr. Er ist ein Sparargument. Ich sage nicht, dass das für jeden Anwendungsfall gilt. Aber für einen Assistenten, der aus Ihren eigenen Dokumenten antwortet, sollte man diese Rechnung wenigstens einmal aufgemacht haben.
Was ich daraus mitgenommen habe
Nicht: „Nehmt Modell X.“
Sondern: Legen Sie sich nicht auf ein Modell fest. Legen Sie sich auf eine Architektur fest, in der Sie es wechseln können. Denn die Preise von heute sind keine Entscheidungsgrundlage für morgen. Der Einführungspreis von Gemini 3.6 Flash läuft zum 31. Dezember 2026 aus. GPT-5.5 gab es vor anderthalb Jahren nicht. Wer sein Wissen heute fest an einen Anbieter bindet, trifft eine Entscheidung für die nächsten fünf Jahre auf Basis von Zahlen, die keine sechs Monate halten. Die Frage ist also nicht „Welches Modell?“, sondern: Wie teuer wird es, wenn wir in zwei Jahren wechseln wollen? Wenn die Antwort „ein Konfigurationseintrag“ lautet, haben Sie es richtig gebaut.
Was der Vergleich nicht ist
Kein wissenschaftlicher Benchmark. Die Wissensbasis ist überschaubar, es ist eine Momentaufnahme. Auch die Geschwindigkeitswerte schwanken – Anbieter-Auslastung, Tageszeit, Netzstrecke und Caching wirken stärker mit, als einem lieb ist. Wer daraus ein Ranking basteln will, überinterpretiert. Es ist eine Vorführung, kein Beweis für Überlegenheit. Aber es ist die einzige mir bekannte Stelle, an der Sie das selbst ausprobieren können, statt es geglaubt zu bekommen.
Probieren Sie es
Am aufschlussreichsten sind die unfairen Fragen. Fragen Sie etwas, das in der Wissensbasis garantiert nicht steht, und schauen Sie zu, welches Modell das offen zugibt und welches anfängt zu improvisieren. Das sagt mehr über die Alltagstauglichkeit aus als jeder Benchmark-Score.
www.dreistein.de/rag-vergleich
Transparenz, weil sie dazugehört: Wir sind eine TYPO3-Agentur und bauen solche Assistenten beruflich. Die Software hinter allen vier Chatbots ist unsere eigene. Sie heißt dAI Pro, und dass man dort das Modell tauschen kann, ist kein Zufall – das war der Grund, warum wir sie so gebaut haben. Diese Seite ist entstanden, weil ich es selbst wissen wollte und weil ich es Kunden nicht länger nur erzählen wollte.
Was mich jetzt interessiert: Wenn Sie in Ihrem Unternehmen vor dieser Entscheidung stehen – ist die Austauschbarkeit für Sie überhaupt ein Kriterium?