Bei steigender Nutzung lohnt es sich, die Kosten pro Vorgang zu optimieren. Zwei Hebel haben sich bewährt.
Zwischenspeicher. Viele Anfragen wiederholen sich oder beginnen mit denselben langen Anweisungen und Dokumenten. Manche Anbieter bieten dafür sogenanntes Prompt Caching an: Wiederkehrende Teile werden günstiger und schneller verarbeitet. Zusätzlich können Sie Antworten auf identische Fragen in einem eigenen Speicher ablegen und wiederverwenden, sofern sich die Grundlage nicht geändert hat.
Modellkaskade. Statt jede Anfrage an das größte Modell zu schicken, bearbeitet zuerst ein kleines, günstiges Modell. Nur wenn es unsicher ist oder die Aufgabe schwierig erscheint, geht sie an ein größeres.
- Legen Sie fest, woran Sie Schwierigkeit erkennen, zum Beispiel an einer Unsicherheitsangabe oder an der Länge der Anfrage.
- Messen Sie die Qualität beider Stufen mit demselben Testset.
- Prüfen Sie, ob die Kaskade tatsächlich spart, denn zusätzliche Aufrufe kosten auch.
Setzen Sie Budgetgrenzen und Warnungen, damit Fehlkonfigurationen nicht unbemerkt Kosten verursachen.
