Definícia

LLM (large language model) je veľký jazykový model umelej inteligencie navrhnutý na spracovanie a generovanie prirodzeného jazyka. Ide o pokročilý typ neurónovej siete, ktorý sa učí a trénuje na obrovskom množstve textových dát, pričom dokáže porozumieť významu slov, vetám aj širšiemu kontextu komunikácie.

LLM tvoria technologický základ moderných AI nástrojov, ako sú chatboty (Gemini, ChatGPT, Perplexity, Claude), virtuálni asistenti či generátory obsahu.

Popis

LLM patrí do kategórie generatívnej umelej inteligencie (generative AI). Ide o neurónový model postavený na architektúre Transformer, ktorú v roku 2017 predstavili výskumníci Googlu.

Táto architektúra umožňuje analyzovať vzťahy medzi slovami a vetami v rozsiahlych textoch. Počas tréningu model spracúva obrovské množstvo dát z kníh, webových stránok, odborných publikácií a ďalších zdrojov. Na základe získaných poznatkov sa učí predpovedať ďalšie slová v texte a vytvárať zmysluplné odpovede.

Na rozdiel od klasických vyhľadávačov LLM nepracujú len s kľúčovými slovami. Dokážu rozumieť významu otázok, identifikovať súvislosti a generovať odpovede v prirodzenej forme.

Ako LLM pracuje

Za každou vygenerovanou odpoveďou stojí séria matematických operácií, ktoré prebiehajú postupne a deterministicky.

Od rozkladu vstupného textu až po generovanie posledného tokenu, výstupu. Predtým však systém vykoná kľúčové rozhodnutie: overí, či je dotaz dostatočne pokrytý tým, čo model už vie z tréningových dát. Ide o tzv. parametric knowledge (parametrické znalosti zakódované priamo do váh siete):

  • Ak áno, celý proces prebieha izolovane, bez nutnosti pripojenia k internetu.
  • Ak nie, napríklad pri aktuálnych udalostiach alebo špecifických dátach, siahne systém po technológii RAG (retrieval-augmented generation), ktorá prepojí veľký jazykový model s externým zdrojom dát.

Po prijatí používateľského vstupu model rozloží celý text na tokeny. Tokeny sú základné jednotky, ktorými môže byť celé slovo, jeho časť alebo interpunkčný znak.

Každý token je prevedený na numerický vektor, ide o tzv. embedding, ktorý zachytáva jeho význam a vzťah k ostatným tokenom v sekvencii.

Práve v tejto fáze nastupuje mechanizmus self-attention. Model pre každý token vygeneruje tri špecifické vektory:

  • Query (Dotaz),
  • Key (Kľúč)
  • a Value (Hodnota).

Systém následne matematicky porovná Query každého tokenu s kľúčmi (Keys) všetkých ostatných tokenov v texte, čím získa takzvané skóre pozornosti (váhu relevancie).

Touto váhou nakoniec vynásobí príslušné Hodnoty (Values), čím pre každý token vznikne nová, výsledná reprezentácia významu, ktorá je hlboko obohatená o kontext celého jeho okolia.

Týmto spôsobom dokáže model presne sledovať logické súvislosti aj medzi slovami, ktoré sú od seba v texte výrazne vzdialené.

Takto obohatená reprezentácia vstupného textu prechádza cez viaceré vrstvy Transformer siete, kde sa postupne spresňuje porozumenie kontextu, tónu aj zámeru otázky. Na konci tohto procesu model nezvolí odpoveď z vopred pripravenej databázy.

Namiesto toho vypočíta pravdepodobnostné rozdelenie pre každý možný nasledujúci token a vyberie ten s najvyššou pravdepodobnosťou, prípadne použije vzorkovanie s parametrom teploty (temperature), ktoré reguluje mieru kreativity alebo náhodnosti výstupu.

Príklad

Rozhodnutie modelu, či využije výhradne vlastnú parametrickú pamäť alebo aktivuje externý vyhľadávací modul, závisí od povahy a časovej citlivosti dopytu. Nasledujúce príklady ilustrujú rozdiel medzi statickými znalosťami zakódovanými v sieti a dynamickými dátami, ktoré si vyžadujú architektúru RAG.

1. Príklad so statickými znalosťami zakódovanými v sieti

Používateľ sa opýta napríklad: „Vysvetli, čo je SEO a aké sú základné ranking faktory.“

V tomto prípade ide o všeobecnú, stabilnú doménovú vedomosť. Koncept SEO, jeho princípy aj základné faktory (napríklad obsahová relevancia, spätné odkazy alebo technická optimalizácia) sú súčasťou distribúcie dát, na ktorých bol model trénovaný.

LLM teda dokáže odpovedať na základe internalizovaných vzorcov v parametroch modelu bez potreby externého vyhľadávania. Ide o tzv. parametric knowledge, kde informácia nie je načítaná v čase inferencie, ale je „zakódovaná“ vo váhach neurónovej siete.

2. Príklad s použitím dynamických dát, keď model potrebuje prístup na internet alebo externé dáta

Používateľ sa opýta napríklad: „Aká je dnešná cena akcií spoločnosti Apple a aké sú najnovšie správy z burzy?“

Ide o premenlivú informáciu, ktorá nie je súčasťou parametric knowledge, pretože finančné trhy sa menia v reálnom čase.

Aktuálne informácie sú dostupné dlho po ukončení tréningu modelu. V takýchto prípadoch sa používa externý retrieval mechanizmus na dynamické vyhľadávanie aktuálnych dát z externých úložísk.

Následne sú tieto dokumenty pripojené do kontextového okna LLM ako dodatočný kontext (context augmentation).

Model potom negeneruje odpoveď iba z naučených dát, ale aj z poskytnutých externých dát. Výsledkom je retrieval-augmented output, ktorý kombinuje generatívnu schopnosť modelu s aktuálnymi informáciami. Tento prístup umožňuje prekonať limit knowledge cutoff (konkrétny časový bod, do ktorého boli modely umelej inteligencie trénované na dostupných dátach) a výrazne znižuje riziko halucinácií pri faktoch, ktoré sa menia v čase.

Zdroje