Token

Et "token" kan være et ord, en del af et ord eller blot tegn som tegnsætning.

AI-modeller som GPT opdeler tekst i tokens for at forstå og generere sprog.

Det er den grundlæggende tekstenhed, som AI arbejder med.