Definícia

LLM watermark je skrytý signál v texte vytvorenom veľkým jazykovým modelom, ktorý môže pomôcť neskôr rozpoznať jeho AI pôvod. Čitateľ si ho bežne nevšimne, no detektor určený pre konkrétnu watermarkingovú metódu dokáže v texte hľadať charakteristický vzor.

Pri viacerých metódach vzniká watermark už počas generovania. Systém mierne ovplyvňuje pravdepodobnosť výberu jednotlivých tokenov tak, aby vo výslednom texte vznikol rozpoznateľný štatistický signál bez viditeľnej zmeny obsahu.

LLM watermark teda funguje ako neviditeľný vodoznak v samotnom texte. Jeho cieľom je uľahčiť identifikáciu obsahu vytvoreného AI.

Používa sa aj označenie text watermarking.

Popis

Veľké jazykové modely generujú text postupným výberom tokenov podľa ich pravdepodobnosti. Watermarkingový mechanizmus môže tento výber mierne upraviť a vytvoriť vzor, ktorý následne rozpozná príslušný detektor.

Typický proces vyzerá takto:

  1. jazykový model generuje text,
  2. watermarkingová metóda ovplyvňuje výber niektorých tokenov,
  3. vo výsledku vzniká skrytý štatistický vzor,
  4. detektor neskôr vyhodnotí, či text tento vzor obsahuje.

LLM watermark si netreba zamieňať s bežným AI detektorom. AI detektor sa snaží podľa vlastností textu odhadnúť, či ho vytvoril človek, alebo umelá inteligencia. Pri watermarkingu hľadá systém konkrétny signál, ktorý mechanizmus zámerne vytvoril počas generovania.

Nejde ani o údaj uložený v metadátach dokumentu. Watermark sa nachádza v štruktúre samotného textu, takže obyčajné skopírovanie do iného dokumentu ho nemusí odstrániť.

Ani watermark však neposkytuje stopercentnú istotu. Jeho detekciu môžu sťažiť výrazné prepisovanie, parafrázovanie alebo preklad. Slabšie môže fungovať aj pri veľmi krátkych či faktických odpovediach, pri ktorých má model menej možností meniť výber slov bez zásahu do významu.

Výsledok detekcie preto treba chápať ako signál založený na konkrétnej watermarkingovej metóde, nie ako univerzálny dôkaz pôvodu každého AI textu.

Príklad

Jazykový model používa pri generovaní dlhších odpovedí textový watermark. Používateľ dostane bežný text a žiadnu značku v ňom na prvý pohľad nevidí.

Neskôr niekto vloží rovnaký text do detektora určeného pre použitú watermarkingovú metódu. Ten vyhodnotí štatistický vzor a určí, či text pravdepodobne obsahuje príslušný watermark.

Ak však niekto obsah výrazne prepíše alebo preloží, pôvodný signál môže zoslabnúť natoľko, že ho už detektor spoľahlivo nerozpozná.

LLM watermark tak môže pomôcť pri identifikácii AI obsahu, jeho výsledok však závisí od použitej metódy a aj od toho, čo sa s textom po vygenerovaní stalo.