Token
Die kleinste Verarbeitungseinheit in Sprachmodellen — ein Token entspricht etwa einem Wort oder Wortteil.
In der Welt der Large Language Models ist ein Token die kleinste Verarbeitungseinheit. Grob gesagt entspricht ein Token etwa 0,75 Wörtern im Englischen — ein durchschnittliches Wort wird in ca. 1–2 Tokens zerlegt. Das Wort »Unternehmensberatung« wird beispielsweise in mehrere Tokens aufgesplittet.
Warum ist das praktisch relevant?
Token sind die Abrechnungseinheit der meisten KI-API-Anbieter: Sie zahlen pro Input-Token (Ihre Anfrage) und Output-Token (die Antwort des Modells). Bei großvolumigem Einsatz — etwa der Verarbeitung tausender Dokumente — können die Token-Kosten erheblich sein.
Tokens bestimmen auch das sogenannte Kontextfenster: die maximale Menge an Text, die ein Modell in einer einzigen Anfrage verarbeiten kann. Moderne Modelle haben Kontextfenster von 100.000 bis über einer Million Tokens — was ganze Bücher oder umfangreiche Dokumentensammlungen in einer Anfrage ermöglicht.