Token

Texteinheit der KI

Die kleinen Stücke, in die eine KI Text zerlegt.

Was bedeutet Token?

Token sind Textbausteine, meist Wortteile, in die ein Sprachmodell Text zerlegt. Kosten und Grenzen von KI-Modellen werden oft in Token gemessen.

Emrahs Take

Musst du nicht im Detail verstehen. Wichtig ist nur: Längere Texte kosten mehr und passen irgendwann nicht mehr rein.

Beispiel

Ein deutsches Wort kann aus einem oder mehreren Token bestehen.

Verwandte Begriffe

© notoriouslab.de · All Rights Reserved

© notoriouslab.de · All Rights Reserved