Asi 50 % vedeckých experimentov sa ukázalo ako NEreprodukovateľných

2024 Autor: Seth Attwood | [email protected]. Naposledy zmenené: 2023-12-16 16:15

Náhodou som v prúde noviniek a informácií narazil na článok v Nature Scientific Reports. Uvádza údaje z prieskumu 1500 vedcov o reprodukovateľnosti výsledkov vedeckého výskumu. Ak bol tento problém nastolený skôr pre biologický a medicínsky výskum, kde je na jednej strane vysvetliteľný (nepravdivé korelácie, všeobecná zložitosť skúmaných systémov, niekedy aj vedecký softvér), na druhej strane má fenomenologický charakteru (napríklad myši majú tendenciu správať sa odlišne s vedcami rôzneho pohlavia (1 a 2)).

Nie všetko je však hladké a s viacprírodné vedy ako fyzika a inžinierstvo, chémia, ekológia. Zdalo by sa, že práve tieto disciplíny sú založené na „absolútne“reprodukovateľných experimentoch uskutočnených za najkontrolovanejších podmienok, bohužiaľ, úžasný – v každom zmysle slova – výsledok prieskumu: až 70% čelili výskumníci Nereprodukovateľnéexperimenty a výsledky získané nielen inými skupinami vedcov, ALE a autormi / spoluautormi publikovaných vedeckých prác!

Chváli si každý pieskomil svoj močiar?

Hoci 52 % opýtaných poukazuje na krízu reprodukovateľnosti vo vede, menej ako 31 % považuje publikované údaje za zásadne nesprávne a väčšina uviedla, že publikovaným prácam stále dôveruje.

Samozrejme, len na základe tohto prieskumu by ste sa nemali rúcať a lynčovať celú vedu ako takú: polovicu opýtaných stále tvorili vedci spojení, tak či onak, s biologickými disciplínami. Ako poznamenávajú autori, vo fyzike a chémii je úroveň reprodukovateľnosti a dôveryhodnosti získaných výsledkov oveľa vyššia (pozri graf nižšie), ale stále nie 100%. Ale v medicíne je to v porovnaní so zvyškom veľmi zlé.

Napadá ma vtip:

Marcus Munafo, biologický psychológ z University of Bristol v Anglicku, má dlhodobý záujem o reprodukovateľnosť vedeckých údajov. Spomínajúc na časy svojich študentských čias, hovorí:

Raz som sa pokúsil zreprodukovať experiment z literatúry, ktorý sa mi zdal jednoduchý, ale jednoducho mi to nešlo. Mal som krízu dôvery, ale potom som si uvedomil, že moja skúsenosť nebola až taká vzácna.

Problém hĺbky a zemepisnej dĺžky

Predstavte si, že ste vedec. Narazili ste na zaujímavý článok, ale výsledky / experimenty nie je možné reprodukovať v laboratóriu. Je logické napísať o tom autorom pôvodného článku, požiadať o radu a položiť objasňujúce otázky. Podľa prieskumu menej ako 20 %to už dokázali vo svojej vedeckej kariére!

Autori štúdie poznamenávajú, že takéto kontakty a rozhovory sú možno pre samotných vedcov príliš náročné, pretože odhaľujú ich nekompetentnosť a nedôslednosť v určitých otázkach alebo prezrádzajú príliš veľa detailov aktuálneho projektu.

Absolútna menšina vedcov sa navyše pokúsila zverejniť vyvrátenie nereprodukovateľných výsledkov, pričom čelila odporu redaktorov a recenzentov, ktorí požadovalzľahčujúce porovnanie s pôvodným výskumom. Niet divu, že šanca oznámiť nereprodukovateľnosť vedeckých výsledkov je asi 50%.

Možno by teda stálo za to vykonať aspoň test reprodukovateľnosti v laboratóriu? Najsmutnejšie je, že tretina opýtaných dokonca NIKDYa neuvažovali o vytvorení metód na overovanie reprodukovateľnosti údajov. len 40%uviedli, že takéto techniky pravidelne používajú.

Iný príklad, biochemička zo Spojeného kráľovstva, ktorá si neželala zverejniť svoje meno, hovorí, že pokusy zopakovať, reprodukovať prácu pre jej laboratórny projekt jednoducho zdvojnásobia čas a náklady na materiál, bez toho, aby sa k práci pridalo niečo nové. Dodatočné kontroly sa vykonávajú len pri inovatívnych projektoch a neobvyklých výsledkoch.

A, samozrejme, večné ruské otázky, ktoré začali mučiť zahraničných kolegov: kto je na vine a čo robiť?

Kto je vinný?

Autori práce identifikovali tri hlavné problémy reprodukovateľnosti výsledkov:

• Tlak nadriadených, aby bola práca zverejnená načas
• Selektívne vykazovanie (zrejme to znamená potlačenie niektorých údajov, ktoré „kazia“celý obraz)
• Nedostatočná analýza údajov (vrátane štatistických)

Čo robiť?

Z 1500 opýtaných sa viac ako 1000 špecialistov vyslovilo za zlepšenie štatistík pri zbere a spracovaní údajov, zlepšenie kvality dohľadu zo strany šéfov a dôslednejšie plánovanie experimentov.

Záver a pár osobných skúseností

Po prvé, aj pre mňa ako vedca sú výsledky ohromujúce, hoci som zvyknutý na istú mieru nereprodukovateľnosti výsledkov. Vidno to najmä v prácach vykonávaných Číňanmi a Indmi bez „auditu“tretích strán v podobe amerických/európskych profesorov. Je dobré, že problém bol rozpoznaný a premýšľal o jeho riešení (riešeniach). O ruskej vede v súvislosti s nedávnym škandálom taktne pomlčím, hoci mnohí poctivo robia svoju prácu.

Po druhé, článok ignoruje (alebo skôr neuvažuje) o úlohe vedeckých metrík a recenzovaných vedeckých časopisov pri vzniku a rozvoji problému nereprodukovateľnosti výsledkov výskumu. V honbe za rýchlosťou a frekvenciou publikácií (čítanosť, zvyšovanie citačných indexov) kvalita prudko klesá a na dodatočné overovanie výsledkov nie je čas.

Ako sa hovorí, všetky postavy sú vymyslené, no založené na skutočných udalostiach. Akosi mal možnosť recenzovať článok jeden študent, pretože nie každý profesor má čas a energiu na premyslené čítanie článkov, a tak sa zbiera názor 2-3-4 študentov a lekárov, z ktorých sa tvorí recenzia. Bola napísaná recenzia, ktorá naznačila nereprodukovateľnosť výsledkov podľa metódy opísanej v článku. Profesorovi to bolo jasne preukázané. Ale aby sa nepokazili vzťahy s "kolegami" - veď sa im darí vo všetkom - recenzia bola "opravená". A vychádzajú 2 alebo 3 takéto články.

Ukazuje sa to ako začarovaný kruh. Vedec pošle článok redaktorovi časopisu, kde uvedie „ želaný"A hlavne," nechcené »Recendenti, teda v podstate ponechaní len tí, ktorí sú pozitívne naladení na kolektív autorov. Posudzujú prácu, ale nemôžu sa „vykašľať na komentáre“a pokúsia sa vybrať menšie z dvoch zla – tu je zoznam otázok, na ktoré treba odpovedať, a potom článok zverejníme.

Ďalším príkladom, o ktorom redaktor Nature hovoril len pred mesiacom, sú Grazelove solárne panely. Pre enormný záujem o túto tému vo vedeckej komunite (veď stále chcú článok v Nature!), museli redakcie vytvoriť špeciálny dotazník, v ktorom musia uviesť množstvo parametrov, poskytnúť kalibrácie zariadení, certifikáty atď., aby sa potvrdilo, že metóda merania účinnosti panelov je v súlade s niektorými všeobecnými princípmi a normami.

A, tretí, keď opäť počujete o zázračnej vakcíne, ktorá si podmaní všetko a všetkých, o novom príbehu o Jobsovi v sukni, o nových batériách či o nebezpečenstvách/výhodách GMO či o vyžarovaní smartfónov, najmä ak ho propagovali žltí novinári, potom zaobchádzajte s pochopením a nerobte unáhlené závery. Počkajte na potvrdenie výsledkov inými skupinami vedcov, akumuláciu súboru a vzoriek údajov.

PS: Článok bol preložený a napísaný narýchlo, o všetkých zistených chybách a nepresnostiach prosím napíšte do LAN.