Problém s replikáciou: Nová štúdia spochybňuje športovú vedu

Rozsiahla replikačná štúdia odhaľuje nízku mieru opakovateľnosti výsledkov v športovej vede. Poukazuje na potrebu transparentnejších postupov a otvoreného zdieľania dát.

Nová štúdia, ktorá sa zamerala na replikáciu výskumov publikovaných v popredných športových vedeckých časopisoch medzi rokmi 2016 a 2021, odhalila znepokojujúco nízku mieru opakovateľnosti výsledkov. Pôvodne sa predpokladalo, že zhruba 61% štúdií by malo priniesť porovnateľné výsledky, avšak realita sa ukázala byť odlišná. Pri analýze 25 replikačných štúdií sa len v 56% prípadoch potvrdila štatistická významnosť pôvodných zistení. Ešte výraznejší rozdiel bol zaznamenaný pri porovnaní veľkosti účinku, kde len 36% replikácií bolo zhodných s pôvodnými odhadmi. Celkovo, len 28% replikácií možno označiť za úspešné, berúc do úvahy štatistickú významnosť a zhodu vo veľkosti účinku.

Tento rozsiahly projekt, prvý svojho druhu v športovej vede, potvrdzuje obavy o replikovateľnosť a transparentnosť výskumu. Až 78% výskumníkov v tejto oblasti je presvedčených o existencii krízy v oblasti replikácie a reprodukovateľnosti. Výsledky naznačujú, že s publikovanou literatúrou by sa malo zaobchádzať s opatrnosťou, pretože obsahuje potenciálne falošne pozitívne zistenia. Štúdia zdôrazňuje potrebu zvýšenia transparentnosti výskumu, čo zahŕňa lepšie postupy vykazovania, väčšie vzorky, a presnejšie formulovanie hypotéz. Napriek identifikovaným problémom sa replikácia v športovej vede historicky podceňovala.

Znepokojujúci je aj pokles v rozsahu replikovaných efektov v porovnaní s pôvodnými štúdiami. Tento jav je čiastočne vysvetlený používaním malých vzoriek a publikačnou zaujatosťou, ktoré majú tendenciu nafukovať pôvodné výsledky. Až v 88% prípadoch bola veľkosť účinku v replikáciách menšia, pričom medián zníženia dosahoval 75%. Je dôležité si uvedomiť, že nepresné odhady veľkosti účinku môžu negatívne ovplyvniť následné analýzy a metaanalýzy.

Komentár redakcie: Výsledky štúdie predstavujú dôležitý podnet pre zlepšenie kvality výskumu v športovej vede. Otvorená diskusia a implementácia transparentných postupov môžu prispieť k zvýšeniu dôveryhodnosti a opakovateľnosti vedeckých zistení. Je potrebná zmena kultúry, ktorá uprednostňuje otvorenosť, zdieľanie dát a konštruktívnu kritiku.

Pre objektívne posúdenie variability a neistoty publikovaných odhadov je zásadné úplné vykazovanie veľkosti účinku a intervalov spoľahlivosti. Bohužiaľ, v mnohých prípadoch bolo potrebné odhadovať štandardizované veľkosti účinku na základe dostupných štatistických informácií. Štúdia odhalila nedostatky aj v samotnom vykazovaní štatistických testov. Chýbajúce informácie o testovacích štatistikách a stupňoch voľnosti sťažujú hodnotenie metodologickej kvality štúdií. Riešením by mohlo byť sprístupňovanie dát, kódu a materiálov, čo by umožnilo odhaľovať chyby a zlepšovať kvalitu výskumu.

Snaha o replikáciu štatisticky významných zistení je sťažená vysokým podielom pozitívnych výsledkov v publikovanej literatúre. Tento jav môže byť spôsobený selektívnym vykazovaním výsledkov, čo vedie k publikačnej zaujatosti. Dôsledkom je nadhodnotenie veľkosti účinku a hromadenie falošných tvrdení. Problémom je tiež nedostatok snahy o opravu existujúcich chýb, čo bráni vedeckému pokroku.

Štúdia poukazuje aj na nedostatky v samotnom formulovaní hypotéz. Často sú príliš vágne, čo umožňuje interpretovať výsledky tak, aby podporovali pôvodné tvrdenia. Nejasné hypotézy sťažujú replikáciu a bránia rozvoju vedomostí. Riešením je dôslednejšie uplatňovanie princípov vedeckej metódy a vyhľadávanie pomoci od štatistikov.

Zdieľanie analytických materiálov je kľúčové pre otvorený a transparentný vedecký proces. Umožňuje overovať výsledky, odhaľovať chyby a rozširovať existujúce poznatky. Napriek tomu je zdieľanie dát a kódu v športovej vede stále nízke. Utajovanie dát môže viesť k nesprávnym analýzam a manipulácii s výsledkami. Okrem toho, nedostatok finančných prostriedkov v porovnaní s inými biomedicínskymi disciplínami zdôrazňuje potrebu kvalitného a metodologicky prísneho výskumu.