Vad är en tokenizer? Så delas text upp i tokens

Begreppet tokenizer dyker upp överallt så fort man börjar arbeta med språkmodeller. Det påverkar kostnad, kvalitet, hastighet och hur mycket text en modell faktiskt kan hantera. Ändå är det ofta ett av de minst förklarade lagren i hela LLM-stacken.

Den korta versionen är enkel: en tokenizer är systemet som delar upp text i mindre delar, tokens, och översätter dem till tal som modellen kan arbeta med. Det låter tekniskt, men idén bakom är egentligen rätt intuitiv.

Om du först vill förstå hur stora språkmodeller fungerar i stort kan du börja med vår guide om LLM och språkmodeller. Här går vi djupare i just tokenisering, varför den behövs och varför modeller inte arbetar direkt med ord eller rå binärdata.

Vad är en token?

En token är en textbit som modellen använder som sin grundläggande enhet. Ibland råkar den vara ett helt ord. Ibland är den bara början av ett ord, slutet av ett ord, ett mellanslag eller ett skiljetecken.

Det viktiga är alltså inte om en token ser naturlig ut för oss människor. Det viktiga är att tokeniseringen ger modellen ett praktiskt sätt att representera text som en sekvens av heltal.

Testa valfri text och se hur den delas upp. Exakt uppdelning beror på vilken tokenizer modellen använder.

Varför använder man tokens i stället för ord?

Det mest intuitiva hade kanske varit att låta modellen arbeta direkt med ord. Men ord är en dålig teknisk kompromiss.

Om varje ord i ett språk skulle få ett eget ID uppstår flera problem direkt:

• Ordförrådet exploderar snabbt med böjningar, sammansättningar, namn, stavfel och fackspråk.
• Nya eller ovanliga ord blir svåra att hantera om de inte redan finns i vokabulären.
• Svenska sammansättningar, kod, produktnamn och blandning av språk gör ett rent ordbaserat system skört.

Med tokens kan modellen i stället återanvända mindre byggstenar. Ett ovanligt ord behöver inte vara okänt bara för att hela ordet aldrig setts tidigare. Det kan delas upp i delar som redan finns i vokabulären.

Varför inte låta modellen arbeta direkt med binärdata?

Det är en rimlig fråga. Datorer arbetar ju i grunden med binära tal, nollor och ettor. Så varför inte bara mata modellen med ren binärdata från början?

Svaret är att det blir väldigt ineffektivt.

Text lagras i datorer som bitar och bytes, ofta via kodningar som UTF-8. Men om en språkmodell skulle arbeta direkt på bitnivå skulle varje liten textsekvens bli väldigt lång. Samma mening skulle kräva många fler steg, och mönster som är självklara i språk skulle bli svårare för modellen att upptäcka.

Ett byte består av 8 bitar. Med 8 bitar kan man representera 256 olika värden, från 0 till 255. För enkla tecken som A, I och ! räcker ett byte var. I UTF-8 får de därför bytevärdena 65, 73 och 33. För tecken som å, ä och ö krävs fler bytes.

Det är därför tokenisering finns. Den bygger en mer meningsfull diskret representation ovanpå rå data. Modellen får fortfarande tal, men på en nivå där språkliga mönster blir mycket mer lärbara.

När tokenizer-vokabulären väl är byggd får varje token ett ID. Det är i grunden bara indexet för den token i vokabulären. Därför kan samma text få olika token-ID:n i olika modeller.

Hur går det från text till token-ID:n?

Det sker i flera steg:

1. Din text läses in som bytes enligt en textkodning.
2. Tokenizern jämför texten mot sin vokabulär, alltså en lista över vanliga textdelar.
3. Texten delas upp i de delar som bäst passar den vokabulären.
4. Varje del ersätts med ett heltal, ett token-ID.

Det är alltså inte så att modellen läser bokstäver eller ord direkt. När texten väl når modellen är den redan förvandlad till en sekvens av tal.

Efter det händer nästa steg i LLM-pipelinen: varje token-ID slås upp i en embeddingtabell och blir en vektor. Därifrån börjar själva modellens matematik.

Hur byggs en tokenizer?

En modern tokenizer skrivs normalt inte manuellt ord för ord. Den lärs fram från stora textmängder.

Den vanliga grundidén är:

1. Börja från små byggstenar, ofta bytes eller mycket små textenheter.
2. Gå igenom enorma textkorpusar och mät vilka sekvenser som återkommer ofta.
3. Slå samman vanliga sekvenser till större enheter.
4. Upprepa tills man fått en praktisk vokabulär, ofta på tiotusentals eller hundratusentals tokens.

Det är därför vanliga ord ofta blir en enda token, medan ovanliga ord kan delas upp i flera delar. Det är också därför ett mellanslag ibland ingår i början av en token. Tokenizern har lärt sig att vissa mönster återkommer tillsammans.

Många moderna tokenizers bygger på idéer som byte pair encoding, eller liknande statistiska metoder. Den exakta algoritmen varierar, men målet är detsamma: hitta en balans mellan ett rimligt stort ordförråd och rimligt korta sekvenser.

Poängen är alltså inte att någon manuellt bestämmer att ord som token eller izer ska bli tokens. De uppstår därför att de återkommer tillräckligt ofta i träningsdatan för att vara användbara byggstenar.

Hur används tokens i en LLM?

En språkmodell tar inte emot text direkt. Flödet ser i princip ut så här:

1. Text skrivs av användaren.
2. Tokenizern gör om texten till token-ID:n.
3. Modellen bearbetar sekvensen av token-ID:n.
4. Modellen förutsäger nästa token-ID.
5. Token-ID:t avkodas tillbaka till text.

Det är därför LLM:er brukar beskrivas som system som förutsäger nästa token, inte nästa ord. Token är den faktiska enhet modellen arbetar med.

Om du vill förstå det större sammanhanget, alltså varför nästa-token-prediktering räcker för att bygga kraftfulla språkmodeller, läs vidare i vår artikel om stora språkmodeller och LLM.

Varför påverkar tokenisering kostnad och kontextfönster?

Det här är den praktiska delen som många missar.

Språkmodeller prissätts normalt per input-token och output-token. Samtidigt anges modellens kapacitet nästan alltid som ett kontextfönster i tokens. Det betyder att tokenisering direkt styr två centrala frågor. Vill du gå djupare i vad som faktiskt fyller kontexten, hur reasoning-tokens räknas och varför context engineering blivit så viktigt kan du läsa vår fördjupning om kontextfönstret.

• Hur dyr en förfrågan blir.
• Hur mycket information modellen faktiskt får plats med samtidigt.

Det är också därför samma textmängd inte alltid kostar lika mycket. En kompakt mening kan bli relativt få tokens. Kod, tabeller, JSON, blandade språk eller långa svenska sammansättningar kan bli betydligt fler.

Några praktiska konsekvenser:

• En text med få ord kan ändå bli token-tung.
• Två modeller kan ge olika tokenantal för exakt samma text, eftersom de använder olika tokenizer.
• När kontextfönstret fylls upp är det tokens som räknas, inte ord eller tecken.

Om du bygger system med RAG, långa instruktioner eller mycket konversationshistorik blir det här snabbt avgörande. Då handlar tokenisering inte bara om teori, utan om faktisk systemdesign.

När ska du bry dig mycket om tokenizer?

Om du bara testar en chatbot ibland behöver du sällan tänka särskilt mycket på tokenisering. Men så fort du bygger något mer seriöst blir det viktigt:

• när du vill förstå eller optimera kostnad
• när du arbetar nära modellens kontextgräns
• när du skickar in långa dokument, kod eller tabeller
• när du jämför olika modeller och ser att de beter sig olika trots samma input
• när du bygger RAG eller agentflöden där mycket text passerar modellen

Sammanfattning

En tokenizer är översättningslagret mellan mänsklig text och modellens matematik. Den delar upp text i tokens och mappar dem till heltal som modellen kan arbeta med.

Det är därför språkmodeller inte jobbar direkt med ord, och inte heller med rå binärdata. Ord är för stela. Binärdata blir för låg nivå och för ineffektivt. Tokens är kompromissen som gör moderna LLM:er praktiskt möjliga.

Och när någon säger att en modell har ett kontextfönster på 128 000, då är det alltid tokens som menas.