Pärast tõde, tõe pärast vol 3 - tume šokolaad

 

Lugedes Lee Mcintyre raamatut „Pärast tõde, tõe pärast“, tuli meelde kunagine artikkel šokolaadist – kus teadusajakirjanik tegi lugejatega eksperimendi. Eksperiment seisnes selles, et avaldati artikkel valeandmetega ja jälgiti seejärel, kuidas ajakirjandus ja lugejad selle infoga toime tulevad. Ma tuletan seda lugu siinkohal meelde, sest see toob filosoofilisse teksti vahele natuke rohkem elu.

Selliseid artikleid on alati hes uuesti lugeda, et kriitilist meelt teritada. Eriti praegusel ajal, kus nii palju imerohtu liigub ja igaüks on mõne youtube videoga eksperdiks saanud.

Pealkirjad olid pilkupüüdvad: “Slim by Chocolate!” (saledaks šokolaadi abil) „Saksa teadlaste meeskond leidis, et süsivesikuvaese dieediga inimesed kaotasid kaalu 10 protsenti kiiremini, kui nad sõid iga päev šokolaaditahvli“. See sõnum jõudis Euroopa suurima päevalehe Bild esilehele ja sealt edasi levis see Internetis ja mujalgi, jõudes pooles tosinas keeles enam kui 20 riigi uudistesse. Seda arutati televisiooni uudistesaadetes. See ilmus läikivas trükis ajakirja Shape juuninumbris (“Why You Must Eat Chocolate Daily”, lk 128). Uuringus leiti, et šokolaad mitte ainult ei kiirenda kaalulangust, vaid toob kaasa ka tervislikuma kolesteroolitaseme ja üldise heaolu paranemise. Bildi loos tsiteeriti uuringu juhtivautorit, Dieedi- ja terviseinstituudi teadusdirektorit Ph.D. Johannes Bohannonit: "Parim osa on see, et saate šokolaadi osta kõikjalt."

Bohannon ise kirjutas hiljem: „Olen Johannes Bohannon, Ph.D. ... Tegelikult on mu nimi John ja ma olen ajakirjanik. Mul on küll doktorikraad, kuid see on bakterite, mitte inimeste molekulaarbioloogias. Dieedi ja tervise instituut? See pole midagi muud kui veebisait.“

„Peale nende poolikute andmete oli uuring ise 100 protsenti autentne. Mina ja mu kolleegid värbasime Saksamaal tegelikke inimesi. Viisime läbi tegeliku kliinilise uuringu, kus katsealused määrati täiesti juhuslikult erinevatele toitumisrežiimidele. Ja šokolaadi statistiliselt olulised eelised põhinevad uuringust võetudtegelikel andmetel. Sellised toitumisuuringud on  toiduvaldkonna jaoks üsna tüüpilised. Mis tähendab: see oli kohutavalt halb teadus. Tulemused mõttetud ja tervisealased väited, mida meedia miljonite inimesteni üle maailma levitas, olid täiesti alusetud."

Kuidas selline mõte tekkis?

Bohannon kirjutab, et talle helistas Saksa televisiooni reporter nimega Peter Onneken. Tema ja tema kaastöötaja Diana Löbl töötasid dokumentaalfilmi kallal dieeditööstuse pseudoteadusest. Nad tahtsid, et Bohannon aitaks demonstreerida, kui lihtne on muuta toitumistrendide taga olevat halba teadust suurteks pealkirjadeks. Ja Onneken tahtis seda teha gonzo stiilis: paljastada dieediuuringute-meediakompleksi korruptsioon.

Bohannon tegi juba varem Science'i jaoks analüüsi tasuliste avatud juurdepääsuga ajakirjade osas, mis on kiiresti arenev ja tulus uus akadeemilise kirjastamise sektor. Et teada saada, kui paljud neist kirjastajatest peavad kinni oma lubadusest anda ranget eksperdihinnangut, saatis Bohannon sinna naeruväärselt vigased artikleid ja pidas arvestust selle üle, kui paljud neist tagasi lükati (vastus: vähem kui pooled.)

Onnekenil ja Löbl oli kõik kokku pandud: paar tuhat eurot uuritavate värbamiseks, Saksa arst uuringu läbiviimiseks ja statistist sõber andmete töötlemiseks. Onneken kuulis Bohannoni ajakirjanduse analüüsist ja arvas, et just tema teab, kuidas see kõik kokku võtta ja avaldada. Ainus probleem oli aeg: film oli kavas hiliskevadel Saksamaa ja Prantsuse televisioonis, nii et aega oli tõesti vaid paar kuud.

Kas nad saaksid midagi avaldada? Tõenäoliselt. Aga peale selle? Bohannon arvas, et kogu kupatus nähakse läbi. Tegelikult igaüks, kellel on teaduskraad, rääkimata tegelikust toitumisteadlasest –, saaks väga lihtsalt aru, et uuring oli naeruväärselt tobe. Rääkimata sellest, et Google'i otsing ei andnud Johannes Bohannonist ega tema väidetavast instituudist jälgegi. Terviseteaduse valdkonna reporterid hakkasid seda lõhna tundma juba miili kaugusel. Nii vähemalt Bohannon arvas: "Vaatame, kui kaugele me sellega jõuame.“

Onneken ja Löbl ei raisanud aega. Nad kasutasid Frankfurdi ümbruses katsealuste värbamiseks Facebooki, pakkudes 150 eurot kõigile, kes soovivad 3 nädalat dieeti pidada. Nad tegid selgeks, et see on osa dieedipidamisest rääkivast dokumentaalfilmist, kuid nad ei andnud rohkem üksikasju. Külmal jaanuarihommikul ilmus kohale 5 meest ja 11 naist, vanuses 19–67 aastat.

Gunter Frank

Kliinilist uuringut juhtis üldarst Gunter Frank. Onneken leidis ta pärast seda, kui oli lugenud Franki populaarset raamatut dieedimaailma pseudoteadusest. Tumeda šokolaadi testimine toidulisandina oli tema idee. Kui temalt küsisiti, miks, vastas Frank, et see on "terviktoidu" fanaatikute lemmik. "Tume šokolaad maitseb halvasti, seetõttu peab see teile hea olema," ütles ta. "See on nagu religioon."

Pärast küsimustike ja vereanalüüside vooru, et veenduda, et kellelgi pole söömishäireid, diabeeti või muid haigusi, mis võiksid neid ohustada, määras Frank katsealused juhuslikult ühte kolmest dieedirühmast. Üks rühm järgis madala süsivesikute sisaldusega dieeti. Teine järgis sama madala süsivesikusisaldusega dieeti pluss 1,5 untsine tahvel tumedat šokolaadi. Ja ülejäänud, kontrollrühmal, kästi mitte muuta oma praegust toitumist. Nad kaalusid end igal hommikul 21 päeva jooksul ning uuring lõppes küsimustike ja vereanalüüside viimase vooruga.

Seejärel pöördus Onneken oma sõbra, finantsanalüütiku Alex Droste-Haarsi poole, et numbrid kokku panna. Üks õllerohke nädalavahetus hiljem ja... jackpot! Mõlemad ravirühmad kaotasid uuringu jooksul umbes 2 kilo, samas kui kontrollrühma keskmine kehakaal kõikus muutumatult paari pügala võrra üles ja alla. Aga inimesed, kes järgivad madala süsivesikusisaldusega dieeti ja šokolaad? Nad kaotasid kaalu 10 protsenti kiiremini. See erinevus polnud mitte ainult statistiliselt oluline, vaid ka šokolaadirühmal olid paremad kolesteroolinäidud ja heaoluuuringu tulemused.

Mida te sellest arvaksite? Uuring näitas šokolaadirühmas kiiremat kaalulangust – kas me ei peaks seda usaldama? Kas mitte nii ei tööta teadus?

Siin on teile väike räpane teadussaladus: kui mõõdate väikese arvu inimeste kohta suurt hulka asju, saate peaaegu garanteeritud mingi "statistiliselt olulise" tulemuse. Meie uuring hõlmas 15 inimese 18 erinevat mõõtmist – kehakaal, kolesterool, naatrium, verevalgu tase, unekvaliteet, heaolu jne. Selline uuringukava on valepositiivsete tulemuste retsept.

Mõelge mõõtudele kui loteriipiletitele. Igaühel on osalemisega väike võimalus parandada “olulist” tulemuset, mille saab looks ümber keerutada ja meediale müüa. Mida rohkem pileteid ostad, seda tõenäolisem on võit. Artikli autorid ei teadnud täpselt, mis välja tuleb – pealkiri võis olla, et šokolaad parandab und või alandab vererõhku –, kuid teadsime, et meie võimalused saada vähemalt üks „statistiliselt oluline” tulemus on üsna hea.

Kui kuulete seda fraasi „statistiliselt oluline“, tähendab see, et mõnel tulemusel on väike p väärtus. Näib, et tähel p on toteemne jõud, kuid see on lihtsalt viis signaali-müra suhte mõõtmiseks andmetes. Tavapärane "olulisuse" piirmäär on 0,05, mis tähendab, et tõenäosus, et teie tulemus on juhuslik kõikumine, on vaid 5 protsenti. Mida rohkem loteriipileteid, seda suurem on võimalus saada valepositiivne tulemus. Niisiis, kui palju pileteid peate ostma?

P(võit) = 1 - (1 - p)n

Meie 18 mõõtmise korral oli meil 60% tõenäosus saada mõni "oluline" tulemus, mille p < 0,05. (Mõõtmised ei olnud sõltumatud, nii et see võib olla isegi kõrgem.)  

Seda nimetatakse ka p-häkkimiseks – oma katselise ülesehituse ja andmetega askeldamine, et viia p alla 0,05 – ja see on suur probleem. Enamik teadlasi on ausad ja teevad seda alateadlikult. Nad saavad negatiivseid tulemusi, veenavad end eksitamises ja kordavad katset, kuni see "töötab". Või kaotavad nad "kõrvalised" andmepunktid.

Kuid šokolaadiuuringu hukule aitab kaasa väike arv katsealuseid, mis võimendab kontrollimatute tegurite mõju. Lihtsalt ühe näitena: naise kaal võib menstruaaltsükli jooksul kõikuda kuni 2 kg, mis on palju suurem kui uuringu šokolaadi ja madala süsivesikusisaldusega rühmade kaaluerinevus. Seetõttu peate korrektses uuringus kasutama suurt hulka inimesi ning tasakaalustama ravirühmade vanuse ja soo (artikli autorid seda  ei viitsinud).

Sama hästi võiksite lugeda teelehti kui proovida selle uuringu tulemusi tõlgendada. Šokolaad võib olla kaalulanguse kiirendaja või vastupidi. Ja ei saa isegi usaldada kaalulangust, mida see šokolaadivaba vähese süsivesikusisaldusega grupp koges, võrreldes kontrollgrupiga. Kes teab, mida sõid käputäis kontrollrühma kuuluvaid inimesi? Seda isegi ei küsitud neilt.

Õnneks saavad teadlased nende probleemide lahendamisel targaks. Mainekate ajakirjade toimetajad lükkavad need enne vastastikustele retsensantidele saatmist tagasi. Kuid on palju ajakirju, mis hoolivad rohkem rahast kui mainest.

Lõpuks oli aeg jagada seda „teaduslikku“ läbimurret maailmaga. Nad pidid oma uuringu kiiresti avaldama, kuid kuna tegemist oli eriti halva teadusega, pidi vastastikuse eksperdihinnangu koha üldse vahele jätma. Kuna aega oli vähe, esitati samaaegselt 20 ajakirjale artikkel "Suure kakaosisaldusega šokolaad kui kaalulangetamise kiirendaja". Siis pöidlad pihku ja ootamine.

Artikkel võeti 24 tunni jooksul avaldamiseks vastu mitmes ajakirjas. Ütlematagi selge, et vastastikust eksperdihinnangut üldse ei nähtutki. Innukas kosilane, kelle me lõpuks valisime, oli International Archives of Medicine. Varem haldas seda hiiglaslik kirjastus BioMedCentral, kuid hiljuti vahetas see omanikku. Uue kirjastuse tegevjuht Carlos Vasquez saatis Johannesele meilisõnumi, et anda teada, et see on "silmapaistev käsikiri" ja et kõigest 600 euro eest" saab selle vastu võtta otse meie peamises ajakirjas".

Kuigi arhiivi toimetaja väidab, et "kõik ajakirjale esitatud artiklid vaadatakse rangelt läbi", avaldati artikkel vähem kui 2 nädalat pärast tasumist. Ühtegi sõna ei muudetud.

Kui uuring avaldatud, oli aeg lärmi teha. Autor helistas ühe sõbra sõbrale, kes töötab teadusliku PR-ga. Võtmeks on ära kasutada ajakirjanike uskumatut laiskust. Kui paigutate teabe õigesti, saate kujundada meedias ilmuva loo peaaegu nii, nagu kirjutaksite neid lugusid ise. Tegelikult teetegi seda sõna otseses mõttes, kuna paljud reporterid lihtsalt kopeerisid ja kleepisid teksti.

Pressiteade, mille „Johannes“ valmis kribas, oli suurepärane. Selles oli kõike: suurepärane pealkiri, selge graafik, mõned tabavad tsitaadid jms. Ja pole vaja isegi teadusartiklit lugeda, sest peamised üksikasjad on juba kokku võetud.  

Kuid heast pressiteatest ei piisa. Ajakirjanikud ihkavad ka “kunsti”, midagi ilusat, mida oma lugejatele näidata. Nii filmisid Onneken ja Löbl mõned reklaamvideoklipid ning tellisid vabakutselistelt artistidelt akustilise ballaadi ja isegi räpi šokolaadist ja kaalulangetusest. (Selgub, et saate Internetist inimesi palgata peaaegu kõike tegema.) Onneken kirjutas Saksamaa pressiteate ja pöördus otse Saksa meediaväljaannete poole. "Eksklusiivse" loo lubadus on väga ahvatlev, isegi kui see on võlts. Seejärel avaldas ta pressiteate Austrias ja ingliskeelse pressiteade NewsWire'is. Puudus kvaliteedikontroll. See jäi ajakirjanike hooleks.

Bild avaldas nende loo – “ Those who eat chocolate stay slim“ (Need, kes söövad šokolaadi, jäävad saledaks!) – ilma Bohannoniga üldse ühendust võtmata. Varsti oli artikkel Daily Staris, Irish Examineris, Cosmopolitani saksa veebisaidil, Times of Indias, nii Saksa kui India Huffington Posti saidil, ja isegi Texase teleuudistes ja Austraalia hommikuses jutusaates.

Kui ajakirjanikud üldse ühendust võtsid, esitasid nad kohatuid küsimusi. "Miks arvate, et šokolaad kiirendab kaalulangust? Kas teil on meie lugejatele nõu? Peaaegu keegi ei küsinud, mitut katsealust testiti, ja keegi ei teatanud seda arvu.  

Ajakirja Shape reportaažid uuringust – pöörake juunikuu numbris lk128 – kasutasid faktikontrollija teenuseid, kuid see oli sama puudulik. Kõik, mida kontrollija tegi, oli võtta Bohannonilt paar lauset täpsuse tagamiseks ja nime õigekirja kontrollimine. Kajastus jõudis nii kaugele, et täpsustati kaalulangust soodustava šokolaadi jaoks sobiv kakaosisaldus (81 protsenti) ja mainiti isegi kahte konkreetset kaubamärki ("saadaval toidupoodides ja aadressil amazon.com").

Aga kõige suurem pettumus? Keegi ei sukeldunud šokolaadimuusikavideote puhvetisse. Selle asemel kasutati ebamääraselt pornograafilisi pilte naistest, kes söövad šokolaadi.  

Miks sa siis peaksid hoolima? Inimesed, kes otsivad meeleheitlikult usaldusväärset teavet, seisavad silmitsi hämmastavate toitumisjuhistega – sool on halb, sool on hea, valk on hea, valk on halb, rasv on halb, rasv on hea –, see info muutub nagu ilm. Kuid teadus saab selle selgeks, eks? Nüüd, kui me nimetame rasvumist epideemiaks, suunatakse raha parimatele teadlastele ja kogu see müra vaibub, meile antakse selged vastused põhjustest ja ravivõimalustest. Või siiski mitte?

Võite selle eest tänada inimesi nagu Bohannon. Ajakirjanikud, peavad toitma igapäevaseid uudiseid ja dieediteadus on nende küllusesarv. Lugejatel lihtsalt ei saa küllalt lugusid punase veini eeliste või fruktoosi ohtude kohta. See pole mitte ainult universaalne – see puudutab otsuseid, mida me kõik teeme vähemalt kolm korda päevas –, vaid see on teadus! Me ei pea isegi kodust lahkuma, lihtsalt kastame oma tassid igapäevasesse teaduslike pressiteadete voogu, mis läbib meie postkasti.  

Sa pead teadma, kuidas lugeda teaduslikku artiklit ja tegelikult viitsima seda teha. Liiga kaua on seda kajastavad inimesed käsitlenud seda kuulujuttudena, kajastades kõike, mida nad pressiteadetest leiavad. Loodetavasti muudab see väike eksperiment nii ajakirjanikud kui ka lugejad skeptilisemaks.

Ma võiks nüüd vahele lisada, et kahjuks – pole seda juhtunud! Pigem haaratakse praegusel keerulisel ajal täiesti tühiseid materjale kasvõi postkasti reklaamist.

Kui uuringus pole isegi loetletud, kui palju inimesi selles osales, või esitatakse julge dieediväide, mis on "statistiliselt oluline", kuid ei ütle, kui suur on mõju, peaksite mõtlema, miks. Kuid enamasti me seda ei tee. Millest on kahju, sest ajakirjanikest on saamas de facto eksperdihinnangu süsteem. Ja kui me ebaõnnestume, on maailm rämpsteadusest tulvil.

Selles tragikomöödias oli üks lootusekiir. Kuigi reporterid nendest "leidudest" lihtsalt tagasi tõmbusid, olid paljud lugejad mõtlikud ja skeptilised. Veebikommentaarides esitasid nad küsimusi, mida oleks pidanud esitama reporterid.