Kurz definiert
Ein Token ist die kleinste Texteinheit, in die ein Sprachmodell Sprache zerlegt, um sie zu verarbeiten — meist ein Wort, ein Wortteil oder ein Zeichen. Ein Modell „liest" und „schreibt" in Tokens, nicht in ganzen Sätzen. Die Zahl der Tokens bestimmt, wie viel Text ein Modell auf einmal verarbeiten kann und wie sich die Nutzung von KI-Diensten berechnet. Für die Praxis ist das Konzept vor allem technisch relevant.
Wenn ein Sprachmodell einen Text erhält, zerlegt es ihn zuerst in Tokens. Das Wort „Sichtbarkeit" kann dabei in mehrere Tokens zerfallen, ein kurzes Wort wie „und" ist oft ein einziges. Diese Zerlegung ist die Grundlage dafür, dass das Modell Wahrscheinlichkeiten für das jeweils nächste Token berechnen kann.
Tokens sind aus zwei Gründen praktisch bedeutsam. Erstens begrenzen sie das Kontextfenster: Ein Modell kann nur eine bestimmte Zahl an Tokens gleichzeitig berücksichtigen. Zweitens rechnen KI-Dienste ihre Kosten meist pro Token ab — längere Ein- und Ausgaben kosten mehr.
Für die KI-Sichtbarkeit spielt das Token-Konzept eine untergeordnete, aber nützliche Rolle: Wer versteht, dass Modelle in begrenzten Einheiten denken, formuliert Kernaussagen knapp und klar. Die Hirschberg.Group achtet darauf, dass die wichtigsten Inhalte kompakt und eindeutig auf den Punkt kommen.
Mehr dazu auf unserer Themenseite: KI-Sichtbarkeit: der Überblick.
Ein Token ist die kleinste Texteinheit, in die ein Sprachmodell Sprache zerlegt — meist ein Wort, Wortteil oder Zeichen. Modelle verarbeiten Text in Tokens.
Sie begrenzen, wie viel Text ein Modell auf einmal verarbeiten kann (Kontextfenster), und bestimmen meist die Kosten von KI-Diensten, die pro Token abrechnen.
Für die reine KI-Sichtbarkeit kaum. Relevant wird es bei eigenen KI-Anwendungen, wo Kontextgröße und Kosten pro Token eine Rolle spielen.
▸ Der rote Faden
Ob Schulung, Webseite oder Buchungssystem — alles zahlt auf dasselbe Ziel ein: dass die KI Sie empfiehlt, wenn Ihr Kunde fragt. Finden Sie in zwei Minuten heraus, was bei Ihnen zuerst dran ist.
