Neobtěžujte se publikováním, dokud neprovedete „interní replikaci“.

Neobtěžujte se publikováním, dokud neprovedete „interní replikaci“.

Nízká p-hodnota hypotézu nepotvrzuje a může nastat, i když je testovaná hypotéza nepravdivá. Použití cutoff pro významnost je také falešná dichotomie – ve skutečnosti jsou p-hodnoty kontinuum. Existuje mnoho dalších aspektů dat, které jsou stejně důležité nebo důležitější než hodnoty p, jako jsou velikosti účinku, reprodukovatelnost, intervaly spolehlivosti a Bayesovská analýza pravděpodobnosti.

Spoléhání se na libovolnou hranici významu také podporuje p-hacking – využívání stupňů volnosti výzkumníků k tomu, aby výsledky posunuli přes cílovou čáru. Samotné P-hodnoty nejsou příliš reprodukovatelné. Pokud stejnou studii provedete vícekrát, získáte řadu p-hodnot, která je tedy ta správná? Nakonec nám samotné p-hodnoty neřeknou mnoho o realitě hypotézy.

V reakci na rostoucí povědomí o mnoha problémech s hodnotami p a přílišném spoléhání se na svévolnou „významnost“ bylo navrženo několik oprav. Některé časopisy jednoduše zakázaly p-hodnoty. Nebudou zveřejňovat studie, které se na ně opírají, a budou podporovat použití důkladnější statistické analýzy. Jiní navrhli snížit hranici pro významnost, například z 0,05 na 0,005, aby se alespoň snížila falešná pozitivita (ačkoli by to zvýšilo falešně negativní).

Tento nový komentář navrhuje ještě další řešení – zachovat p-hodnotu, ale zbavit se libovolného limitu pro statistickou významnost. Na jeho místo přidejte důkladnější statistickou analýzu.

Co všechno toto zmatené statistické dohadování znamená pro průměrného laika, který chce jen vědět, jestli mu pojídání čokolády pomůže zhubnout (nebude)? Velkým přínosem je – nedávejte rovnítko mezi statistickou významnost a pravdivost hypotézy. Uvědomte si, že většina takových studií je nakonec chybná. Počkejte, až odborník dá výsledky do souvislostí. Přemýšlejte o věcech, jako je věrohodnost – dávají výsledky vůbec smysl?

S vědomím toho všeho se vraťme ke studiu pesticidů a autismu. Udělali to, že shromáždili data od registrátorů o používání pesticidů a také o diagnózách autismu a provedli nějakou luxusní statistickou analýzu (pokud to musíte vědět, provedli logistickou regresní analýzu s více proměnnými). Našli:

Riziko poruchy autistického spektra bylo spojeno s prenatální expozicí glyfosátu (poměr pravděpodobnosti 1,16, 95% interval spolehlivosti 1,06 až 1,27), chlorpyrifosu (1,13, 1,05 až 1,23), diazinonu (1,11, 1,01 až 1,11 iontu, 1,111. 1,22), avermektin (1,12, 1,04 až 1,22) a permethrin (1,10, 1,01 až 1,20). U poruchy autistického spektra s mentálním postižením byly odhadované poměry pravděpodobnosti vyšší (asi o 30 %) pro prenatální expozici glyfosátu (1,33, 1,05 až 1,69), chlorpyrifosu (1,27, 1,04 až 1,56), diazinonu (1,41, 1,35 až 1,15). permethrin (1,46, 1,20 až 1,78), methyl bromid (1,33, 1,07 až 1,64) a myklobutanil (1,32, 1,09 až 1,60); expozice v prvním roce života zvýšila pravděpodobnost poruchy s komorbidním mentálním postižením u některých pesticidních látek až o 50 %.

Zprávy mainstreamových médií to vše zredukovaly na – glyfosát způsobuje autismus. Tato studie má ale řadu výhrad, které přispívají k tomu, že z těchto údajů nemůžeme mnoho vyvozovat. První věc, kterou jsem si všiml, bylo, že poměry šancí byly docela malé, takže velikost efektu je zde relativně malá. Vzhledem k tomu, že se jedná o populační pozorovací studii, znamená to, že existuje mnoho potenciálních matoucích faktorů. Autoři se snaží ovládat to, co je zjevné, na co si vzpomenou, ale je nemožné myslet na všechny. Také čím menší je velikost efektu, tím je matoucí faktor jemnější a tím obtížnější je ovládat.

Je zde však větší problém, který zpochybňuje samotné statistické výsledky. Při pohledu na data mě rychle napadla další otázka – kolik různých srovnání ve skutečnosti provedli? První odpověď na studii zveřejněnou The BMJ měla odpověď. John Tucker, PhD poznamenal:

V učebnicovém příkladu testování více hypotéz autoři zkoumali účinky odhadované expozice 11 různým pesticidům během 3 různých vývojových období proti dvěma různým nepříznivým vývojovým výsledkům. Z 66 hodnocených koncových bodů dospěli k závěru, že prenatální expozice 6 z těchto pesticidů je spojena s 10–20% zvýšením rizika poruchy autismu a že prenatální expozice částečně se překrývajícímu seznamu (3 ze 6) je spojena s poruchou autismu. s mentálním postižením.

Toto je jeden z „výzkumných stupňů svobody“, který Simmons et. al. varovali před nimi ve své základní práci. To je také extrémně běžné ve vědeckých pracích – výzkumníci se dívají na spoustu dat z mnoha různých úhlů, dokud nenajdou něco zajímavého, a pak to zveřejní. To je v pořádku, pokud pouze vytváříte hypotézy v předběžné studii, ale data ve skutečnosti nic neznamenají, dokud výsledky nepotvrdíte čerstvými daty. Ve skutečnosti se stále více volá po výzkumných pracovníkech, aby to dělali rutinněji. Neobtěžujte se publikováním, dokud neprovedete „interní replikaci“. Jinak jen zahlcujeme vědeckou literaturu falešnými pozitivy z těžebních dat pro jakékoli náhodné korelace.

Takže nakonec máme článek, který používal více srovnání k nalezení velmi malých velikostí efektů, což je vysoce pravděpodobné, že jde o falešné zjištění, které se nebude opakovat. Ale na tom nezáleží, protože ideologové se již tohoto dokumentu chopili jako ospravedlnění pro zlo glyfosátu a dokonce i GMO (i když to s GMO nemá nic společného). Vysvětlení, proč výsledky pravděpodobně nejsou spolehlivé, většinou způsobí, že se lidem klíží oči. (Lidé mi řekli, že jakmile zmíním p-hodnoty, vyladí se.)

Je zřejmé, že tyto statistické problémy musí vyřešit vědci a statistikové, nikoli široká veřejnost nebo dokonce média. Alespoň je problém rozpoznán a diskutován a nabídnuta možná řešení. Je zřejmé, že vědecké instituce se musí důkladně podívat na celou problematiku p-hodnot a statistické významnosti a na to, jak jsou používány a uváděny ve výzkumu.

Autor

Steven Novella

Zakladatel a v současnosti výkonný redaktor Science-Based Medicine Steven Novella, MD je akademický klinický neurolog na lékařské fakultě Yaleovy univerzity. Je také hostitelem a producentem populárního týdenního vědeckého podcastu The Skeptics’ Guide to the Universe a autorem blogu NeuroLogicaBlog, denního blogu, který pokrývá novinky a problémy v neurovědě, ale také obecné vědě, vědecké skepsi a filozofii věda, kritické myšlení a průnik vědy s médii a společností kanabialica cena v lékárně. Dr. Novella také vytvořila dva kurzy s The Great Courses a vydala knihu o kritickém myšlení – také nazvanou Průvodce skeptiků po vesmíru.

Již v roce 2006 jsem mohl každý měsíc psát o varováních amerického úřadu FDA o doplňcích na erektilní dysfunkci, které byly nalezeny falšované léky na předpis, jako je sildenafil, inhibitor fosfodiesterázy-5 nalezený ve Viagře. Tyto epizody falšování vyvolaly otázku, kolik neoficiálních zpráv o „fungujících“ rostlinných produktech s nimi, obsahujícími schválené léky, mělo co do činění.

Tato praxe byla tak běžná, že FDA v roce 2008 vytvořila stránku věnovanou tomuto problému: Skrytá rizika erektilní dysfunkce „Léčby“ prodávané online. Ve skutečnosti se s těmito produkty častěji setkáte u online prodejců a ne v obchodech se zdravou výživou. Mezi další podobné praktiky patří obohacení doplňků pro kulturistiku o anabolické steroidy a doplňky pro hubnutí falšované sibutraminem (dříve Meridia), anorektantem, který byl v loňském roce stažen z trhu poté, co vykazoval zvýšený výskyt srdečních infarktů a mrtvice u pacientů s již existujícím kardiovaskulárním onemocněním.

AHPA veřejně vyjádřila svou podporu akcím FDA proti obchodníkům s produkty, které se maskují jako doplňky stravy, ale obsahují nelegální přísady. AHPA vyzývá FDA, aby využila svůj regulační orgán k tomu, aby pohnala k odpovědnosti ty, kteří porušují zákon a ohrožují důvěru veřejnosti, včetně všech právních prostředků k vymáhání zákona.

Zdá se, že iniciativa byla účinná. Tento týden nezávislá testovací organizace ConsumerLab.com oznámila, že testování 11 produktů pro „sexuální vylepšení“ neodhalilo žádné falšování léků na předpis. Na druhé straně organizace prokázala, že „[čtyři] produkty obsahovaly méně klíčové složky, než bylo uvedeno na etiketě, jeden produkt byl kontaminován nepřijatelným množstvím olova a dva produkty neměly na etiketě informace požadované FDA. .“

Ekonomicky motivované falšování

Tento týden také zaznamenal zvýšenou pozornost na další problém: bylinné doplňky obsahující méně drahé rostlinné materiály, z nichž některé mohou způsobit poškození jater. Skupina ministerstva zemědělství USA zveřejnila analytickou metodu pro detekci falšování Scutellaria lateriflora L. (americká čepička) dvěma druhy germandry, rostlinou dobře známou, že obsahuje sloučeniny bioaktivované cytochromem P450 na reaktivní chemikálie, které poškozují játra. Skupina biochemika Larryho Marnetta z Vanderbilt University ukázala v elegantním dokumentu z roku 2007 Chemical Research in Toxicology, jak je aktivována sloučenina teukrin A v němčině, a identifikovala klíčové proteiny v játrech, které jsou chemicky napadeny reaktivním metabolitem.

Skullcap doplňky se běžně užívají ke zmírnění úzkosti a skutečně obsahují flavonové sloučeniny, které se vážou na benzodiazepinové místo na GABAA receptorech jako některé léky na předpis. Bylina však nedopadla dobře v klinických studiích proti úzkosti.

Jak je to se zvyšováním úzkosti: V současné studii USDA bylo pomocí nové metody testováno 13 produktů Scutellaria lateriflora a u čtyř bylo zjištěno, že obsahují teukrin A, což naznačuje, že produkty obsahovaly germandru.

Ale to je zřejmě stará zpráva. Zakladatel a výkonný ředitel Americké botanické rady Mark Blumenthal v článku NutraIngredients USA, který pojednával o zjištěních tohoto článku, označil toto zjištění za „zklamání, ale v žádném případě nepřekvapivé“ a poznamenal, že

Mnoho odborníků z bylinářské komunity ví o této chybné identifikaci po mnoho let, řekl. „ABC publikovala článek botanika Stevena Fostera o tomto problému v HerbalGram na podzim roku 1985! Foster uvedl, že tento problém existuje již desítky let.

Na stránkách ABC lze skutečně najít pěknou monografii Gayle Englesové o historii používání čepic a případech lidské hepatotoxicity z 80. let.

Použití levnějších materiálů v léčivých a doplňkových produktech vyšlo najevo díky melaminu používanému k umělému zvýšení zjevného obsahu bílkovin v krmivu pro domácí zvířata a výrobcích kojenecké výživy v Číně. V roce 2009 vydala Rada pro zodpovědnou výživu prohlášení o problému ekonomicky motivovaného falšování potravin v odvětví doplňků stravy. Zatímco nové směrnice správné výrobní praxe pro průmysl měly tento problém vyřešit, aktuální analytický dokument USDA nám říká, že je nezbytné přísnější prosazování pravidel.

Do té doby buďte opatrní při užívání bylinek na úzkost. Protože to je přesně to, co můžete získat.

Autor

David J Kroll