Alarmujúca štúdia: Dve tretiny AI citácií sú vymyslené alebo chybné

Nová štúdia odhaľuje vážne nedostatky v spoľahlivosti AI modelov, ktoré môžu ohroziť vedecký výskum. Umelá inteligencia často generuje nepravdivé citácie, najmä v špecializovaných oblastiach.

Výskumníci z Deakin University v Austrálii testovali, ako rozsiahle jazykové modely (LLM) ako GPT-4o od OpenAI zvládajú generovanie vedeckých citácií v oblasti duševného zdravia. Zistili, že modely majú tendenciu vytvárať si citácie, ktoré v skutočnosti neexistujú, alebo uvádzajú nesprávne údaje o existujúcich zdrojoch. Štúdia publikovaná v JMIR Mental Health preukázala, že miera chybovosti sa zvyšuje pri menej známych a špecializovaných témach.

Výskumníci sa zamerali na tri duševné poruchy: depresiu (dobre preskúmaná), bulímiu (stredne známa) a telesnú dysmorfickú poruchu (menej známa). AI bola požiadaná o vytvorenie dvoch typov prehľadov pre každú poruchu: všeobecný prehľad a špecializovaný prehľad zameraný na digitálne intervencie. Každý prehľad mal obsahovať minimálne 20 citácií.

Po vygenerovaní prehľadov vedci overili 176 citácií v akademických databázach. Takmer pätina citácií bola úplne vymyslená a takmer polovica existujúcich citácií obsahovala chyby. Celkovo takmer dve tretiny citácií boli chybné alebo vymyslené.

Komentár redakcie: Štúdia upozorňuje na dôležitosť opatrnosti pri používaní AI na generovanie citácií vo vedeckom výskume. Je nevyhnutné, aby vedci dôkladne overovali všetky citácie vygenerované AI. Akademické inštitúcie a časopisy by mali zvážiť zavedenie nových štandardov na zabezpečenie integrity výskumu v ére AI.

Miera vymyslených citácií bola najvyššia pri bulímii a telesnej dysmorfickej poruche, čo naznačuje, že AI je menej spoľahlivá pri témach, ktoré sú menej zastúpené v jej tréningových dátach. Špecializované prehľady mali vyššiu mieru vymyslených citácií ako všeobecné prehľady.