Sprachmodelle konfigurieren

Wozu

dAI Pro spricht mit mehreren Anbietern von Sprachmodellen. Eine LLM-Konfiguration bündelt Anbieter, Zugang, Modelle und Region; Sammlungen wählen daraus je eine Konfiguration für Chat und für Embeddings, dazu weitere Modelle für Vergleiche. So lässt sich der Anbieter wechseln, ohne eine Sammlung anzufassen, und jede Sammlung kann ihren eigenen Zugang mit eigener Abrechnung haben.

Wo

LLM-Konfigurationen in der oberen Leiste. Die Liste zeigt alle Konfigurationen mit Typ, Modellen und Region; die Reihenfolge bestimmt die Auswahllisten. „Konfiguration hinzufügen“ fragt zuerst den Provider-Typ.

Die Anbieter

Der Typ „OpenAI-kompatibler Endpunkt“ deckt jeden Server ab, der den OpenAI-Dialekt spricht: europäische Anbieter wie IONOS, STACKIT, Mittwald, OVHcloud und Scaleway, aber auch ein eigener Server mit Ollama oder vLLM. Für die bekannten Anbieter gibt es Vorlagen, die Endpunkt, Modelle und Region eintragen.

Kosten und Preise

Die Listenpreise je Modell tragen Sie unter „Verbrauch“ ein (Kapitel 19); sie gelten für alle Sammlungen. Die Abrechnung des Anbieters läuft je API-Schlüssel, deshalb lohnt sich ein Schlüssel je Kunde.

Häufige Fragen

Der Chat antwortet mit einem Fehler „Authentifizierung“. Der API-Schlüssel ist abgelaufen, gesperrt oder das Guthaben aufgebraucht. Prüfen Sie das Konto beim Anbieter; ein neuer Schlüssel wird einfach in die Konfiguration eingetragen.

Kann ich Konfigurationen löschen? Nur, wenn keine Sammlung sie nutzt. Die Liste zeigt die Nutzung.

Welches Modell ist das richtige? Für die meisten Websites ein aktuelles großes Modell des Anbieters für den Chat und das Standard-Embedding-Modell. Vergleichen Sie über „Weitere Sprachmodelle“ im Test-Chat, bevor Sie wechseln.

Siehe auch

• Kapitel 4 · Sammlungen einrichten
• Kapitel 19 · Verbrauch und Kosten
• Kapitel 20 · Verarbeitungsregion und Souveränität