Učenie s AI zaostáva: Klasické vyhľadávanie na webe je efektívnejšie

Nová štúdia odhaľuje, že hoci je používanie rozsiahlych jazykových modelov (LLM) pre získavanie informácií pohodlné, vedie k povrchnejším znalostiam v porovnaní s tradičným vyhľadávaním na webe.

Od príchodu ChatGPT koncom roka 2022 milióny ľudí využívajú rozsiahle jazykové modely na získavanie vedomostí. Ich popularita je pochopiteľná: položíte otázku, dostanete uhladenú syntézu a idete ďalej – učenie sa zdá byť bez námahy.

Nová štúdia, ktorej spoluautorom som, prináša experimentálne dôkazy, že táto ľahkosť môže mať svoju cenu. Ľudia, ktorí sa spoliehajú na rozsiahle jazykové modely pri sumarizácii informácií, majú tendenciu rozvíjať povrchnejšie znalosti v porovnaní s učením prostredníctvom štandardného vyhľadávania Google.

Spolu s Jin Ho Yunom, taktiež profesorom marketingu, sme tieto zistenia publikovali v štúdii založenej na siedmich experimentoch s viac ako 10 000 účastníkmi. Väčšina štúdií využívala rovnaký základný model: účastníci sa mali naučiť niečo o určitej téme – napríklad, ako pestovať zeleninovú záhradu – a boli náhodne rozdelení do skupín, ktoré používali buď LLM ako ChatGPT, alebo tradičné vyhľadávanie cez Google.

Komentár redakcie: Nová štúdia poukazuje na dôležitú nuance v používaní AI pri učení. Hoci rozsiahle jazykové modely poskytujú rýchly a jednoduchý prístup k informáciám, môžu brzdiť hlbšie porozumenie a kritické myslenie. Je potrebné strategické používanie týchto nástrojov, pričom klasické vyhľadávanie a aktívne zapojenie do učebného procesu zostávajú kľúčové pre budovanie trvalých vedomostí.

Pri používaní nástrojov neboli stanovené žiadne obmedzenia. Účastníci mohli vyhľadávať na Google tak dlho, ako potrebovali, a mohli pokračovať v zadávaní otázok do ChatGPT, ak chceli získať viac informácií. Po ukončení výskumu mali napísať radu priateľovi na danú tému na základe toho, čo sa naučili.

Dáta odhalili konzistentný vzorec: Ľudia, ktorí sa učili prostredníctvom LLM, mali pocit, že sa naučili menej, venovali menšie úsilie písaniu rady a napísali rady, ktoré boli kratšie, menej faktické a viac všeobecné. Nezávislí čitatelia, ktorí nevedeli, ktorý nástroj bol použitý na získanie informácií, považovali tieto rady za menej informatívne, menej užitočné a menej pravdepodobné, že ich prijmú.

Zistili sme, že tieto rozdiely sú robustné v rôznych kontextoch. Napríklad, používatelia LLM mohli písať stručnejšie a všeobecnejšie rady jednoducho preto, že výsledky z LLM im poskytli menej rôznorodé informácie ako výsledky z Google. Aby sme túto možnosť eliminovali, uskutočnili sme experiment, v ktorom boli účastníci vystavení identickej sade faktov vo výsledkoch vyhľadávania Google a ChatGPT. V ďalšom experimente sme konštantne držali vyhľadávaciu platformu – Google – a menili sme, či sa účastníci učia zo štandardných výsledkov Google alebo z funkcie AI Overview od Google.

Zistenia potvrdili, že aj pri konštantných faktoch a platforme viedlo učenie sa zo syntetizovaných odpovedí LLM k povrchnejším znalostiam v porovnaní so zhromažďovaním, interpretáciou a syntézou informácií samostatne prostredníctvom štandardných webových odkazov.

Prečo je to dôležité?

Prečo sa zdalo, že používanie LLM znižuje učenie? Jedným z najzákladnejších princípov rozvoja zručností je, že ľudia sa učia najlepšie, keď sú aktívne zapojení do materiálu, ktorý sa snažia naučiť.

Keď sa učíme o téme prostredníctvom vyhľadávania Google, čelíme oveľa väčšiemu "treniu": Musíme prechádzať rôzne webové odkazy, čítať informačné zdroje a interpretovať a syntetizovať ich sami.

Hoci je to náročnejšie, toto trenie vedie k vytvoreniu hlbšej a originálnejšej mentálnej reprezentácie danej témy. S LLM sa však celý tento proces vykonáva za používateľa, čím sa učenie mení z aktívneho na pasívny proces.

Čo ďalej?

Nechceme povedať, že riešením je vyhýbať sa používaniu LLM, najmä vzhľadom na nepopierateľné výhody, ktoré ponúkajú v mnohých kontextoch. Skôr by sme chceli, aby sa ľudia stali inteligentnejšími alebo strategickejšími používateľmi LLM – čo začína pochopením oblastí, v ktorých sú LLM prospešné a v ktorých škodlivé pre ich ciele.

Potrebujete rýchlu, faktickú odpoveď na otázku? Pokojne použite svojho obľúbeného AI asistenta. Ak je však vaším cieľom rozvíjať hlboké a všeobecné znalosti v danej oblasti, spoliehanie sa len na syntézy LLM bude menej užitočné.

V rámci môjho výskumu psychológie nových technológií a nových médií ma zaujíma aj to, či je možné urobiť učenie s LLM aktívnejším procesom. V ďalšom experimente sme testovali špecializovaný model GPT, ktorý ponúkal webové odkazy v reálnom čase spolu so syntetizovanými odpoveďami. Zistili sme však, že keď účastníci dostali sumarizáciu od LLM, nemali motiváciu hlbšie sa ponoriť do pôvodných zdrojov. Výsledkom bolo, že účastníci stále rozvíjali povrchnejšie znalosti v porovnaní s tými, ktorí používali štandardný Google.

V budúcom výskume plánujem študovať generatívne nástroje AI, ktoré kladú zdravé prekážky pre učenie – konkrétne skúmam, ktoré typy zábran alebo spomaľovačov najúspešnejšie motivujú používateľov aktívne sa učiť viac ako len jednoduché, syntetizované odpovede. Takéto nástroje by sa zdali byť obzvlášť dôležité v strednom školstve, kde je hlavnou výzvou pre pedagógov, ako najlepšie vybaviť študentov základnými zručnosťami čítania, písania a matematiky a zároveň ich pripraviť na skutočný svet, kde budú LLM pravdepodobne neoddeliteľnou súčasťou ich každodenného života.