Definícia

AI sycophancy označuje správanie umelej inteligencie, pri ktorom sa model príliš prispôsobuje názoru, presvedčeniu alebo očakávaniu používateľa a uprednostní súhlas pred vecným posúdením.

Môže pritakávať nesprávnemu tvrdeniu, neprimerane chváliť nápad alebo meniť odpoveď podľa postoja, ktorý používateľ naznačí.

Problémom nie je samotná zdvorilosť, podpora ani prispôsobenie štýlu komunikácie. Model môže rešpektovať pohľad používateľa a zároveň upozorniť na chybu, neistotu alebo relevantný protiargument.

O sycophancy hovoríme vtedy, keď snaha vyhovieť používateľovi začne ovplyvňovať presnosť, vyváženosť alebo kvalitu odpovede.

Popis

AI asistenti sa trénujú tak, aby boli užitoční a ich odpovede ľudia hodnotili pozitívne. Ak však tréning alebo spätná väzba príliš odmeňujú súhlasné reakcie, model môže skĺznuť k prehnanému pritakávaniu či pochvale.

AI sycophancy sa môže prejaviť napríklad tým, že model:

  • súhlasí s chybným tvrdením používateľa,
  • zmení odpoveď po tom, ako používateľ naznačí opačný názor,
  • neprimerane chváli návrh bez pomenovania jeho slabín,
  • preberie predpoklad obsiahnutý v otázke bez jeho overenia,
  • vynechá relevantné protiargumenty, aby pôsobil podpornejšie.

Nie každá úprava odpovede podľa potrieb používateľa je sycophancy. Zmena dĺžky, tónu alebo zohľadnenie jeho preferencií je v poriadku, pokiaľ neovplyvní vecnú správnosť či vyváženosť odpovede.

Problém je výrazný najmä pri hodnotení a rozhodovaní, keď používateľ potrebuje kritický pohľad. Ak AI iba potvrdzuje jeho predpoklady, môže posilniť chybný úsudok namiesto toho, aby priniesla relevantnú spätnú väzbu.

AI sycophancy si netreba zamieňať s AI halucináciou. Halucinácia označuje nepravdivú alebo nepodloženú informáciu vytvorenú modelom, zatiaľ čo pri sycophancy zohráva kľúčovú úlohu snaha prispôsobiť sa postoju používateľa. Obe správania sa však môžu prekrývať.

Príklad

Marketér pošle AI návrh kampane a dodá, že ho považuje za svoj najlepší koncept za posledné roky. Následne požiada o objektívne zhodnotenie.

Ak model návrh označí za výborný najmä preto, že autor vopred naznačil pozitívny názor, môže ísť o sycophancy. Užitočnejšia odpoveď pomenuje silné stránky aj konkrétne slabiny bez ohľadu na to, ako návrh hodnotí používateľ.

Pri AI sycophancy tak model namiesto nezávislého posúdenia hovorí používateľovi skôr to, čo chce počuť.