Token
Ein Token ist eine Verarbeitungseinheit eines Sprachmodells: ein Wort, ein Wortteil, ein Zeichen oder eine andere codierte Einheit.
Eine Eingabe wird vor der Modellverarbeitung in Token zerlegt. Wie viele Token ein Satz benötigt, hängt vom Modell und seinem Tokenizer ab; Zeichen- oder Wortzahlen sind nur grobe Näherungen.
Praktische Bedeutung
Token beeinflussen Kontextgrenzen, Laufzeit und oft die Abrechnung von Modellaufrufen.
Ein einfaches Beispiel
„schmittAInander“ kann in mehrere Token zerlegt werden, auch wenn es für uns ein einziges Wort ist.
Nicht verwechseln mit
Ein Token ist nicht zuverlässig gleich ein Wort.
Verwandte Begriffe
Quellen und weiterführende Links
Redaktionell verantwortlich: David Schmitt · KI-Unterstützung bei Recherche und Formulierung.
Veröffentlicht: · Aktualisiert: