Viele Anbieter rechnen die Nutzung ihrer Modelle nach Token ab, also nach der Menge verarbeiteten Texts. Dabei unterscheiden sie meist zwischen Eingabe (Ihre Anweisung und mitgegebene Dokumente) und Ausgabe (die Antwort). Ausgabe-Token sind in der Regel teurer.
Was die Kosten treibt:
- Lange Anweisungen und viele mitgegebene Dokumente, die bei jeder Anfrage erneut übertragen werden
- Lange Gesprächsverläufe, bei denen der gesamte Verlauf mitläuft
- Große Modelle, die je Token mehr kosten als kleine
- Mehrstufige Agenten, die viele Modellaufrufe pro Auftrag auslösen
Für die Planung hilft eine einfache Überschlagsrechnung: Wie viele Vorgänge pro Monat, wie viele Token pro Vorgang, welcher Preis pro Token? Rechnen Sie mit Schwankungsbreite und lassen Sie Preise von Anbietern aktuell prüfen, denn sie ändern sich häufig.
Wichtig: Token-Kosten sind nur ein Teil der Gesamtkosten. Konzeption, Integration, Schulung und Pflege kommen hinzu und fallen bei Mittelständlern oft stärker ins Gewicht als die reine Nutzung.
