Psychologické štúdie sa ukázali ako nepravdivé vo viac ako 50 % prípadov

2024 Autor: Seth Attwood | [email protected]. Naposledy zmenené: 2023-12-16 16:15

Existujú „silné polohy“, ktoré budujú sebavedomie a znižujú stresové hormóny. Keď ľudia držia v rukách šálku teplého nápoja, stávajú sa priateľskejšími k svojmu okoliu. Sila vôle je zdroj, ktorý míňame, keď odolávame pokušeniu. Schopnosť odložiť odmenu rozhoduje o budúcom úspechu dieťaťa.

Tieto výroky sú si navzájom veľmi podobné: stoja za nimi známe psychologické výskumy, populárno-vedecké bestsellery, stĺpčeky v populárnych časopisoch a TED talks.

Spoločnú majú ešte jednu vec: ukázalo sa, že všetky sa mýlili.

Kríza reprodukovateľnosti spochybnila celé oblasti vedy. Mnohé z výsledkov, ktoré boli široko citované v médiách, sa dnes považujú za prehnané alebo nepravdivé. Keď sa vedci pokúsili zopakovať klasické aj nedávne psychologické experimenty, výsledky boli prekvapivo konzistentné, približne polovica prípadov bola úspešná a druhá polovica neúspešná.

Kríza sa napokon prejavila v roku 2015, keď vedci na čele s Brianom Nosekom preverili 100 psychologických štúdií. Počiatočné výsledky sa im podarilo dosiahnuť len v 36 prípadoch. Šéfredaktor Lancetu Richard Horton čoskoro uviedol:

„Obvinenia proti vede sú celkom jednoduché: najmenej polovica vedeckej literatúry je jednoducho nesprávna. Veda, ktorá trpí štúdiami s malou veľkosťou vzorky, skromným efektom a nesprávnymi analýzami, ako aj posadnutosťou módnymi trendmi pochybnej dôležitosti, sa obrátila k ignorancii.

Reprodukovateľnosť je jednou z kľúčových požiadaviek na vedecké poznatky. Čím lepšie je výsledok reprodukovaný, tým je spoľahlivejší - len tak sa dajú oddeliť skutočné vzory od jednoduchých náhod

Ale ukázalo sa, že táto požiadavka nie je vždy splnená.

Kríza začala medicínou, no najviac zasiahla psychológiu. V lete 2018 sa vedci pokúsili zopakovať výber psychologických štúdií publikovaných v najprestížnejších svetových vedeckých časopisoch Science and Nature. Z 21 experimentov sa potvrdilo len 13 – a aj v týchto prípadoch boli pôvodné výsledky zveličené asi o 50 %.

Test reprodukovateľnosti často zlyhávajú štúdie, ktoré boli široko replikované v médiách a podarilo sa im ovplyvniť verejné povedomie. Napríklad diela, ktoré vyhľadávače zhoršujú pamäť, a čítanie beletrie rozvíja schopnosť empatie. Ak opakované experimenty zlyhajú, neznamená to, že pôvodné hypotézy sú bezcenné. Teraz je však potrebný lepší výskum, ktorý ich potvrdí.

Ako predpovedať budúcnosť pomocou štatistík

V roku 2011 publikoval slávny americký psychológ Daryl Boehm článok, ktorý dokázal možnosť jasnovidectva. Tento záver nebol výplodom jeho násilnej predstavivosti, ale bol založený na desaťročiach výskumu, do ktorého sa zapojili stovky ľudí. Mnohí mali podozrenie, že Boehm sa rozhodol zariadiť niečo ako Sokalov podvod a odhaliť psychológiu falošným článkom so zámerne absurdnými závermi. Ale podľa všetkých metodických štandardov bol článok veľmi presvedčivý.

V jednom z Behmových experimentov boli pred účastníkov umiestnené dve obrazovky – museli uhádnuť, ktorý obraz sa za nimi skrýva. Obrázok bol vygenerovaný náhodne ihneď po vykonaní výberu. Ak by účastníci odviedli dobrú prácu, naznačovalo by to, že dokážu nejakým spôsobom predvídať budúcnosť. V experimente boli použité dva typy obrázkov: neutrálne a pornografické.

Boehm naznačil, že ak šiesty zmysel existuje, pravdepodobne má staroveký evolučný pôvod. Ak áno, potom je pravdepodobnejšie, že je naladený na naše najstaršie potreby a pohnútky

Účastníci hádali pornografické obrázky v 53 % prípadov – o niečo častejšie, ako by mali, ak by išlo o čistú náhodu. Vzhľadom na veľký počet experimentov by Boehm mohol tvrdiť, že predvídavosť existuje.

Neskôr odborníci zistili, že pri rozbore výsledkov používal nie celkom správne metódy. Výsledok výskumu sa spravidla považuje za spoľahlivý, ak pravdepodobnosť, že bol získaný náhodou, nepresahuje 5 %. Existuje však mnoho spôsobov, ako znížiť túto hodnotu na požadovanú úroveň: zmeniť počiatočné parametre analýzy, pridať alebo odstrániť požadovaný počet príkladov zo vzorky, použiť úspešnejšie hypotézy po zozbieraní údajov.

Problém je, že nielen Boehm, ale aj mnohí ďalší vedci používali rovnaké techniky. Podľa prieskumu z roku 2011 to priznala takmer polovica psychológov

Keď vyšiel článok o jasnovidcoch, sociálni vedci Joseph Simmons, Leaf Nelson a Uri Simonson si uvedomili, že veda smeruje k vlastnej skaze. Postavili niekoľko počítačových modelov a zistili, že použitím pomerne štandardných štatistických techník môžete niekoľkokrát zvýšiť úroveň falošne pozitívnych výsledkov. To znamená, že metódy, ktoré sú formálne vedecké, môžu ľahko viesť k úplne absurdným záverom.

Na ilustráciu toho vedci uskutočnili experiment, ktorý potvrdil, že počúvaním piesne „Keď mám šesťdesiatštyri“je poslucháč o rok a pol mladší.

„Každý vedel, že je nesprávne používať takéto techniky, ale mysleli si, že ide o porušenie vo svojom význame – ako napríklad prechádzať cez cestu na nesprávnom mieste. Ukázalo sa to skôr ako banková lúpež, “uzatvoril Simmons.

Ako rozlíšiť zlý výskum od dobrého

Čoskoro sa ukázalo, že problémy s reprodukovateľnosťou sa neobmedzujú len na psychológiu. Vo výskume rakoviny sú vedecké dôkazy podporované v 10-25% prípadov. V ekonómii nebolo možné replikovať 7 z 18 laboratórnych experimentov. Známky krízy vykazuje aj výskum umelej inteligencie.

Ale zdá sa, že stratiť vieru vo vedu stále nestojí za to. Vedci už prišli na niekoľko spôsobov, ktoré výrazne zlepšili spoľahlivosť a kvalitu nového výskumu

Pred niekoľkými rokmi takmer nikto nepublikoval výsledky opakovaných experimentov, aj keď boli uskutočnené. To nebolo akceptované, neprinieslo granty a neprispelo k úspešnej vedeckej kariére. Podľa prieskumu Nature sa viac ako 70 % psychológov pokúsilo a nepodarilo sa im reprodukovať výskum iných ľudí, asi polovica nedokázala zopakovať svoj vlastný a takmer nikto sa nesnažil tieto výsledky zverejniť.

Keď sa objavila kríza reprodukovateľnosti, veľa sa zmenilo. Opakované výskumy sa postupne stali samozrejmosťou; experimentálne údaje sa začali čoraz častejšie zverejňovať vo verejnej sfére; časopisy začali publikovať negatívne výsledky a zaznamenávať celkový plán výskumu ešte skôr, ako začali.

Výskum sa stal rozsiahlejším – vzorka 30–40 ľudí, čo bolo v psychológii celkom štandardné, dnes už vyhovuje len málokomu. Veľké medzinárodné organizácie – ako napríklad Psychological Science Accelerator – testujú rovnaké hypotézy vo viacerých laboratóriách po celom svete.

Pred kontrolou článkov z Nature and Science, o ktorých sme písali na začiatku, boli vedci požiadaní, aby uzavreli stávky na stávky. Mali predpovedať, ktorý výskum v teste prejde a ktorý zlyhá. Celkovo boli sadzby veľmi presné. „To znamená, po prvé, že vedecká komunita môže predpovedať, ktoré diela sa budú môcť zopakovať, a po druhé, že nemožnosť replikácie štúdie nebola len náhoda,“tvrdia organizátori experimentu.

Vedci sú vo všeobecnosti dobrí v rozlišovaní spoľahlivého výskumu od nespoľahlivého – to je dobrá správa. Teraz sa odborníci z Centra pre otvorenú vedu spolu s agentúrou DARPA snažia vytvoriť algoritmus, ktorý rovnakú úlohu vykoná bez ľudského zásahu.

Každoročne sa vydáva príliš veľa článkov na to, aby bolo možné manuálne prekontrolovať čo i len malý zlomok z nich. Ak sa umelá inteligencia pustí do práce, všetko bude oveľa jednoduchšie.

Už v prvých testoch sa AI úspešne vyrovnala s predpoveďami v 80% prípadov.

Čo robí výskum najčastejšie nespoľahlivým? Malé ukážky, nezrovnalosti v číslach, príliš krásne potvrdenie hypotéz. A tiež - túžba po senzáciách a príliš jednoduché odpovede na ťažké otázky.

Príliš dobré, aby to bola pravda

Najjednoduchší spôsob, ako vytvoriť senzačný výskum, je podvod. Slávny sociálny psychológ Diederik Stapel použil vymyslené údaje v niekoľkých desiatkach vedeckých článkov. Stapelov výskum sa šíril novinami a časopismi veľkou rýchlosťou, získal niekoľko prestížnych vedeckých ocenení, bol publikovaný v Science a bol považovaný za jedného z najväčších špecialistov vo svojom odbore.

Raz sa ukázalo, že Stapel dlho nevykonával výskum, ale jednoducho vynašiel údaje a dal ich študentom na analýzu.

To je vo vede veľmi zriedkavé. Oveľa častejšie hlasné, ale nesprávne vyjadrenia vznikajú z iných dôvodov. Ľudia zúfalo hľadajú jednoduché, zrozumiteľné a efektívne odpovede na vzrušujúce otázky. Môže byť veľmi ľahké byť v pokušení myslieť si, že máte tieto odpovede, aj keď v skutočnosti nemáte. Snaha o jednoduchosť a istotu je jedným z hlavných dôvodov, prečo mnohé štúdie zlyhávajú pri testovaní reprodukovateľnosti. Tu je niekoľko pozoruhodných príkladov.

Marshmallow experiment

V experimente boli deti požiadané, aby si vybrali medzi jednou malou odmenou - napríklad marshmallow -, ktorú mohli dostať okamžite, a dvojitou odmenou, ak mohli chvíľu počkať. Neskôr sa ukázalo, že deti, ktoré dostali druhé ocenenie, sa stali úspešnejšími v dospelosti. Štúdium sa stalo veľmi populárnym a ovplyvnilo niektoré školské osnovy.

V roku 2018 sa experiment zopakoval na širšej vzorke. Ukázalo sa, že bohatstvo v rodine je oveľa dôležitejším faktorom, od ktorého závisí aj miera sebaovládania.

„Pózy sily“a „pózy slabosti“

Účastníci experimentu zaujali jednu z dvoch póz po dobu dvoch minút: opreli sa o stoličku a hodili nohy na stôl ("silová póza") alebo si prekrížili ruky na hrudi ("póza pri slabosti"). V dôsledku toho sa účastníci z prvej skupiny cítili sebavedomejšie a častejšie súhlasili s riskovaním v hazardných hrách. Tí, ktorí sedeli v silnej polohe, zvýšili hladinu testosterónu a tí, ktorí sedeli v slabej polohe, zvýšili kortizol. V opakovaných experimentoch sa reprodukoval iba jeden efekt: „silové polohy“pomohli účastníkom cítiť sa istejšie, ale nezmenili ich správanie ani hormonálne parametre.

Asociácie so starobou vás nútia pohybovať sa pomalšie

Účastníci experimentu mali vyriešiť niekoľko hádaniek. Ak sa do nich vložili slová, ktoré sa spájajú so starobou – „zábudlivý“, „starší“, „osamelý“– tak účastníci odchádzali z miestnosti pomalším tempom.

V nedávnych pokusoch bol experiment úspešne reprodukovaný iba v jednom prípade: ak samotní experimentátori vedeli, že v testoch účastníci naznačujú starobu. Samotný efekt zostal, ale dôvody už boli iné.

Teplé predmety robia ľudí priateľskejšími

Účastníci experimentu mohli na krátky čas podržať šálku horúcej alebo studenej kávy a potom boli požiadaní, aby ohodnotili osobnosť osoby pomocou krátkeho popisu. Účastníci, ktorí držali horúcu šálku kávy, hodnotili osobu ako sympatickejšiu. V inom experimente dostali účastníci predmet v teplom alebo studenom obale a potom požiadali, aby si ho ponechali alebo ho dali priateľovi. Ak bola vec zabalená v teplom obale, účastníci si s väčšou pravdepodobnosťou vybrali druhú možnosť. Opakované experimenty so širšou vzorkou takéto výsledky nepriniesli. Vyzerá to tak, že teplé oblečenie z vás altruistu neurobí.

Sila vôle je vyčerpaná, keď odolávame pokušeniam

Pred účastníkov experimentu boli umiestnené dva taniere - so sušienkami a reďkovkami. V prvej skupine mohli účastníci jesť sušienky a v druhej iba reďkovky. Potom bol každý účastník požiadaný, aby vyriešil nemožnú hádanku. Účastníci, ktorí v prvej časti experimentu jedli len reďkovky, to vzdali oveľa skôr ako ostatní. V opakovaných experimentoch sa výsledky nepotvrdili.

V niektorých prípadoch sa kapacita sebakontroly nevyčerpala, ale časom sa dokonca zintenzívnila. Mnoho psychológov dnes považuje pojem „sila vôle“za príliš zjednodušený.

Vo svetovej psychológii sa už urobilo veľa, aby bol výskum spoľahlivejší a reprodukovateľnejší. V Rusku sa tento problém ešte nepodarilo pochopiť.

„V ruskej psychológii sa problémy krízy týkajú najmä vedeckej mládeže, ktorá je do značnej miery orientovaná na západnú vedu,“povedal pre Knife Ivan Ivanchey, docent na RANEPA. - Kontrola kvality publikácií v ruštine vo všeobecnosti nie je príliš vysoká. Časopisy málokedy odmietajú články, takže sa publikuje veľa nekvalitných výskumov. Často sa používajú malé vzorky, čo tiež znižuje pravdepodobnosť úspešnej reprodukcie. Existuje podozrenie, že ak sa vážne zaoberáme otázkou reprodukovateľnosti ruskojazyčných diel, môžeme objaviť mnohé problémy. Ale nikto sa do toho priamo nezapája."

V januári 2019 sa zistilo, že ruská vláda výrazne rozšíri požiadavky na vedcov, pokiaľ ide o počet publikácií: minimálny počet publikovaných článkov za rok by sa mal zvýšiť o 30-50%.

Vedci z vplyvného akademického „klubu 1. júla“iniciatíve kritizovali: „Úlohou vedy nie je produkovať maximálny počet publikácií, ale skúmať vesmír a ťažiť zo získaných poznatkov pre ľudstvo.“Nové požiadavky s najväčšou pravdepodobnosťou len zväčšia rozsah problému.

Príbeh o kríze reprodukovateľnosti nie je príbehom o blížiacej sa apokalypse a invázii barbarov. Keby kríza nenastala, všetko by bolo oveľa horšie: stále by sme sa odvolávali na chybný výskum s plnou dôverou, že poznáme pravdu. Čas odvážnych titulkov typu „Britskí vedci dokázali“sa možno blíži ku koncu. Ale reči o tom, že veda je mŕtva, treba považovať za trochu prehnané.