Token
Texteinheit der KI
Die kleinen Stücke, in die eine KI Text zerlegt.
Was bedeutet Token?
Token sind Textbausteine, meist Wortteile, in die ein Sprachmodell Text zerlegt. Kosten und Grenzen von KI-Modellen werden oft in Token gemessen.
Emrahs Take
Musst du nicht im Detail verstehen. Wichtig ist nur: Längere Texte kosten mehr und passen irgendwann nicht mehr rein.
Beispiel
Ein deutsches Wort kann aus einem oder mehreren Token bestehen.
Verwandte Begriffe