Súčasné jazykové modely v zdravotníctve odhaľujú rodové predsudky pri starostlivosti o seniorov

Nová štúdia zistila, že rozsiahle jazykové modely (LLM) preukazujú rodové rozdiely pri sumarizácii informácií o zdravotnej starostlivosti, čo vedie k negatívnejším hodnoteniam mužov a odlišnému opisu ich potrieb.

Výskumníci analyzovali sentiment, témy a frekvenciu slov v textoch generovaných rôznymi LLM, konkrétne BART, T5, Llama 3 a Gemma. Zatiaľ čo Llama 3 nevykazoval žiadne významné rodové rozdiely, Gemma generoval pre mužov trvalo negatívnejšie súhrny, ktoré sa viac zameriavali na ich fyzické a duševné zdravie. Tento model tiež používal odlišný jazyk na opísanie potrieb mužov a žien, pričom bol pri mužských zdravotných problémoch explicitnejší.

Analýza sentimentu ukázala, že Gemma produkuje pozitívnejší sentiment pre ženy ako pre mužov. Okrem toho, Gemma používa viac slov súvisiacich s fyzickým zdravím, duševným zdravím a fyzickým vzhľadom pre mužov. BART model zase používal viac subjektívneho jazyka pre mužov. Hlbšia analýza odhalila, že aj keď BART používa podobný počet termínov súvisiacich s duševným zdravím pre obe pohlavia, určité výrazy ako „emocionálny“ a „nemúdry“ sa častejšie používali pre ženy, zatiaľ čo „úzkostlivý“ a „rozrušený“ pre mužov.

Pri analýze na úrovni slov Gemma model vykazoval viac rozdielov ako BART alebo T5. Napríklad slovo „text“ sa objavilo výrazne častejšie v súhrnoch pre ženy, pretože model často začínal opisom textu namiesto osoby. Opisy zdravotného postihnutia boli tiež odlišné, pričom výrazy ako „invalidný“ a „neschopný“ sa častejšie používali pre mužov, zatiaľ čo ženské súhrny sa viac zameriavali na to, ako sú „potreby“ alebo „schopnosti“ ovplyvnené.

Komentár redakcie: Tieto zistenia poukazujú na dôležitosť kritického hodnotenia jazykových modelov používaných v zdravotníctve. Je nevyhnutné zabezpečiť, aby systémy umelej inteligencie neprehlbovali existujúce rodové stereotypy a poskytovali spravodlivé a objektívne informácie pre všetkých pacientov. Ako poznamenal jeden z komentujúcich na Reddite: „Ak sú problémy vo všeobecnosti ‚zľahčované‘, potom to urobí aj LLM, určite?“

Zaujatosť sa prejavila aj v tom, ako sa spomínali zdravotné problémy. U mužov sa častejšie spomínali fyzické a duševné problémy a používal sa subjektívny jazyk. Napríklad, muži boli častejšie opísaní ako spokojní so svojou starostlivosťou, zatiaľ čo pocity žien boli buď podceňované, alebo neboli spomínané vôbec. Napriek možnej „halucinácii“ informácií, analýza ukázala, že väčšina rozdielov v súhrnoch od modelu Gemma bola spôsobená skôr vynechaním špecifických problémov v textoch o ženách, než vymýšľaním nových diagnóz.