Definícia

Token je zástupné označenie, jednotka. Podľa kontextu, v ktorom je tento pojem použitý, môže ísť o digitálny prístupový prvok, kryptomenový token alebo sémantickú jazykovú jednotku využívanú napríklad v AI modeloch.

Popis

Najčastejšie sa v digitálnom priestore vyskytuje token v týchto kontextoch:

  • V oblasti webovej analytiky a softvérového prepojenia (API) funguje token ako bezpečný digitálny kľúč alebo identifikačný znak. Používa sa na autentifikáciu a prenos dát medzi dvomi nezávislými platformami bez toho, aby ste museli odhaliť hlavné prihlasovacie heslá. V každodennej praxi SEO špecialistu a marketéra sa s ním stretnete napríklad pri prepojení dát z Google Analytics 4 (GA4) alebo Google Search Console do vizualizačných nástrojov ako je Data Studio.
  • V kryptomenách token predstavuje digitálne aktívum (virtuálnu jednotku), ktoré funguje na existujúcej blockchainovej sieti. Nejde o klasické platidlo, ale o multifunkčný nástroj, ktorý v digitálnom svete zosobňuje konkrétnu ekonomickú hodnotu, prístup k službám alebo digitálne vlastníctvo.
  • V oblasti umelej inteligencie a veľkých jazykových modelov (LLM) slúži token ako základná sémantická jednotka pre spracovanie prirodzeného jazyka. Algoritmy nečítajú text po celých slovách, ale rozkladajú ho na menšie významové časti, tokeny. Tento proces sa označuje ako tokenizácia. V anglickom jazyku predstavuje jeden token v priemere 4 znaky alebo približne 0,75 slova. V slovenčine je kvôli ohýbaniu slov a diakritike spotreba tokenov na jedno slovo často vyššia.

Príklad

Ak zadáte do AI nástroja spojenie: „SEO optimalizácia,“ systém ho nerozdelí na dve slová alebo na počet znakov, ale na sémantické časti. V závislosti od použitého tokenizátora môže táto fráza reprezentovať napríklad 5 samostatných tokenov („SEO“, „ optimal“, „iz“, „á” „cia“) ako je vidieť na obrázku:

Language model tokenization

Zdroj: platform.openai.com/tokenizer