21. Sekundární analýza dat a metaanalýza

Úvod

Data můžeme analyzovat na třech úrovních: Primární analýza dat, sekundární analýza dat, a meta-analýza. Primární analýza dat představuje původní analýzu dat výzkumné studie . Sekundární analýza dat je jakékoliv další využívání dat z původní studie , např. ve formě opětovného vyhodnocení dat za pomoci lepších statistických metod, nebo využití těchto dat k zodpovězení jiných než původních výzkumných otázek . Meta-analýza pracuje s výsledky mnoha původních studií a provádí jejich syntézu .

Meta analýza

Za první meta-analýzu se často považuje práce psychologů J. G. Pratt a J. B. Rhine z roku 1940. Autorem tohoto termínu je Gene V. Glass (1976). Meta-analýza je kvantitativní přehledová studie . Podstatou meta-analýzy je analyzovat (a následně syntetizovat) mnohá výzkumná zjištění, která se týkají určité oblasti, určitého problému (velikosti vztahu dvou proměnných, síly efektu terapie, atd.) .

Většina meta-analýz pracuje s velikostí účinku¹ (effect size). Velikost účinku je ukazatel směru a síly vztahu mezi dvěma proměnnými. Mezi příklady takového ukazatele jsou korelační koeficient r, Cohenovo d nebo Hedgeovo g . Velikosti účinku jsou v meta-analýzách upřednostňovány před p-hodnotami proto, že jsou mnohem odolnější vůči zkreslení a pochybným výzkumným praktikám (Ioannidis, 1996). Syntéza výsledků mnoha studií navíc poskytuje meta-analýze vyšší statistickou sílu, jelikož se s každou přibývající studií zvyšuje velikost vzorku (sample size).

Meta-analýza představuje systematický způsob přehledu literatury, je metodologicky transparentní (v meta-analýze je reportován jak způsob vyhledávání studií a kritéria pro zahrnutí studií do výběrového vzorku, tak způsob a proces vyhodnocení dat) a formuluje závěry ve formě statisticky testovatelných výsledků. Tím pádem je nutně objektivnější než běžný přehled literatury (Ioannidis, 1996). Přestože jde doslova o statistickou analýzu statistických analýz , je její princip i výpočet relativně jednoduchý (viz Rovnice 01).

Rovnice 01.

¹ Existuje přes 50 různých druhů velikostí účinku. Nejčastěji spadají do tří „rodin“: korelace (míra statistické závislosti; např. korelační koeficient, koeficient determinace), rozdíl (míra rozdílu průměrů; např. Cohenovo d; Glassovo Δ, Hedgesovo d) a kategorie (velikosti účinku pro vztahy mezi kategorickými proměnnými; např. odds ratio, Cohenovo w).

Princip meta-analýz

V ideálním případě by věda představovala akumulovanou zkušenost lidstva . To znamená, že výzkumníci stavějí své teorie a hypotézy na dosavadních zjištěních vědců . Jelikož se ale počet primárních studií množí někdy až geometrickou řadou, projití článků nezbytných k výše zmíněném procesu by běžnému člověku zabralo více let, než je obvykle ochotný tématu věnovat. A z toho důvodu existují přehledové studie.

Přehledové studie jsou teoretické práce, které shrnují velké množství literatury ohledně nějakého tématu. Typickými zástupci tohoto druhu jsou takzvané narativní přehledové studie (často mají takovou podobu např. bakalářské práce), jejichž autoři zhodnocují literaturu kvalitativně, podle vlastního uvážení . Právě přílišná subjektivita narativních přehledových studií je kamenem úrazu. Poptávka po statistickém zhodnocení literatury nakonec dala v 70. letech vzniknout meta-analýzám. Počet užití meta-analýzy v psychologickém výzkumu roste od sedmdesátých let téměř geometrickou řadou (Rosenthal, 1991, podle Ferjenčík, 2000 ).

Provedení meta-analýzy

Vytvoření kvalitní meta-analýzy představuje dlouhý a náročný proces, pečlivě plánovaný a transparentně reportovaný. Jak bylo v dané meta-analýze postupováno, by mělo být jasně popsáno v části Metody. Klasická meta-analýza zahrnuje tyto kroky :

1. Formulování problému či výzkumné otázky.
2. Vyhledávání a identifikování relevantní literatury (např. prohledávání databází na základě určitých klíčových slov a slovních spojení).
3. Aplikování kritérií pro zahrnutí studie do meta-analýzy a výběr výzkumů (týkající se často kvalitativních charakteristik studie, např. provedení randomizace nebo dvojitě slepé studie).
4. Rozhodnutí o tom, které proměnné budou kódovány, a jejich kódování (obvykle jsou kódovány charakteristiky, ve kterých se studie liší, jako je počet probandů, použití konkrétních dotazníků, nebo zda byl článek publikován či ne). Kódování charakteristik studií umožňuje vzájemné statistické porovnání výzkumů s rozdílnými charakteristikami. Současně dává informaci pro případné vážení velikostí účinku studií při počítání výsledku meta-analýzy. Současně s kódováním proměnných se provádí převádění výsledků studií na jednotnou míru velikosti účinku (např. r nebo d; viz Meta-analýza).
5. Zvolení statistického nástroje a postupu pro zpracování dat. Vyhodnocení dat.

Typy meta-analýz

Kromě základního modelu (viz Provedení meta-analýzy) lze odlišit další čtyři druhy meta-analýz :

1. Kumulativní meta-analýza (cumulative meta-analysis), kde se vyhodnocují studie v určitém pořadí (např. v závislosti na kvalitě studie či roku vydání). Vždy po přidání nové studie se výsledky opět vyhodnocují. Kumulativní meta-analýzy jsou často prezentovány pomocí forest plot a lze díky tomu pozorovat změnu ve výsledcích primárních studií v čase.
2. Meta-analýza jednotlivých dat pacientů (individual patient data meta-analysis) je založena na klinických testech (clinical trials). Výzkumníci se pokouší dostat k původním datům studií a z nich vytvořit velký data set. Na tomto základě mohou testovat hypotézy s mnohem větší přesností, než s jakou operovaly primární výzkumy.
3. Srovnávací meta-analýza (network meta-analysis, multiple treatment či mixed treatment) zkoumá srovnání efektů, které nebyly provedeny v původních studiích. Příkladem může být vzájemné porovnávání dvou terapií, které byly původně testovány pouze proti placebo efektu.
4. Prospektivní meta-analýza (prospective meta-analysis) je nazývána Bastianem (2014) Rolls Roycem mezi meta-analýzami, a to díky jeho odolnosti vůči různým zkreslením (např. vůči publikačnímu zkreslení, heterogenitě studií, atd.). Primární studie jsou zde již prováděny s tím, že jejich výsledky budou na závěr meta-analyticky vyhodnoceny, bez ohledu na jejich výsledky. To výzkumníkům dovoluje dopředu sjednotit metodologické a statistické postupy, a zajišťuje vyšší validitu následující meta-analytické studie.

Silné stránky meta-analýzy

Oproti tradičním přehledovým studiím (někdy nazývaným „narativním“) má tento způsob zhodnocení literatury několik nesporných předností. Je systematický a transparentní z hlediska provádění vyhledávání literatury, jejího kódování i počítání výsledků, a tudíž nutně objektivnější (Ioannidis, 1996). V konečném důsledku dovoluje formulovat závěry o zkoumaném fenoménu ve statisticky testovatelných pojmech, což narativní přehledová studie neumožňuje. Kumulace primárních studií také umožňuje meta-analýze nasbírat rozsáhlý výběrový soubor , a zvýšit tak statistickou sílu svých závěrů.

Kritika meta-analýz

Vynikající publikace zabývající se meta-analýzami Introduction to Meta-analysis obsahuje shrnutí nejzásadnějších námitek vznesených na téma použití a užitečnosti meta-analýz.

Meta-analýza silně zjednodušuje

Kritika: Meta-analýzy provádějí zprůměrování výsledků a často při tom ignorují fakt, že se velikosti efektů (a další proměnné) mohou lišit studie od studie. Zjednodušení závěrů výzkumů do jediného čísla (výsledný odhad velikosti účinku) musí mít za následek silné zkreslení .

Odpověď: Cílem meta-analýz je ve skutečnosti provádět syntézu velikostí účinku, a ne pouze vytvořit průměr výsledků studií. V moderních meta-analýzách se často provádí vážení získaných velikostí účinku v závislosti na určitých charakteristikách studie (kvalita studie, kontrolování proměnných, velikost vzorku, atd.). Současně je kontroluje případná heterogenita zkoumaných studií. Závěry meta-analýz, které reportují pouze průměr velikostí účinku a ignorují heterogenitu, mohou být s úspěchem označeny za problematické .

Problém šuplíku a publikační zkreslení

Kritika: Problém šuplíku, také zásuvkový efekt či zásuvkový problém , je zkreslení reprezentující skutečnost, že výzkumy vykazující nulové nebo dokonce záporné výsledky (tedy opak toho, co bylo předpokládáno) bývají méně často reportovány. Hromadí se tak ve výzkumníkově „šuplíku“ a zůstávají nepublikovány. Širší pojetí této problematiky nese název publikační zkreslení. Problém šuplíku způsobuje, že se mezi publikované výzkumy dostane více těch, které našly statisticky významné výsledky. Jelikož meta-analýzy čerpají z databází obsahující publikované studie a k nepublikovaným se nedostanou, vzorek zkoumaných studií je tímto zkreslený. Zkreslený vzorek může dát pouze zkreslené výsledky .

Odpověď: Publikační zkreslení jako celek představuje ohrožení validity meta-analýz. Tomuto tématu se věnovala celá řada odborníků, a z jejich práce vzešla celá řada statistických a grafických metod, které umožňují velikost zkreslení odhadovat a případně jej kontrolovat. Mezi tyto metody patří funnel-plot , regresní analýzy , Failsafe N nebo metoda Trim and Fill . Současně lze riziko publikačního zkreslení snížit pomocí důkladného vyhledávacího procesu, pátráním po nepublikovaných výzkumech v šedé literatuře, konferenčních programech a registrech studií . Je důležité zmínit, že zatímco publikační zkreslení ohrožuje jakýkoliv druh přehledové literatury, meta-analýza má zdaleka nejlepší prostředky, jak se mu bránit .

Míchání jablek s hruškami

Kritika: Meta-analytici zahrnují do jedné analýzy rozdílné druhy studií. Výsledek meta-analýzy pak nutně ignoruje důležité specifické vlastnosti jednotlivých výzkumů. Jinými slovy, výzkumy zahrnuté do analýzy mají vysokou heterogenitu .

Odpověď: S určitou mírou heterogenity se musí vypořádat každá meta-analýza. K tomu slouží stanovení jasných kritérií pro zahrnutí studie do meta-analýzy a důkladné kódování celé řady proměnných charakterizujících studie. To umožňuje kontrolovat případný vliv rozdílů v metodologiích výzkumů na výsledek meta-analýzy. Často se meta-analýzy zabývají širšími otázkami, než konkrétní primární výzkumy (viz Typy meta-analýz). Právě zahrnutí rozmanitých studií umožňuje na tyto otázky odpovědět .

Odpad ve vstupu, odpad ve výstupu (GIGO – Garbage in, garbage out)

Kritika: GIGO je metafora přejatá z informační vědy. Představuje myšlenku, že pokud meta-analýza zahrne velké množství nekvalitních výzkumů, jejich chyby a zkreslení se projeví na výsledku meta-analýzy .

Odpověď: Stejně jako u předchozí problematiky, i zde hraje velikou roli stanovení jasných kritérií pro zahrnutí studie do meta-analýzy (např. existence kontrolního vzorku, kontrola na demands characteristics², atd.). Následně jsou studie kódovány, a kromě jednotlivých charakteristik zvyšující či snižující validitu studie může být hodnocena i celková kvalita studie. Bohužel, takové hodnocení je nutně subjektivní a nedá se vždy vztáhnout na objektivní kritéria. Pro relativizaci dopadu jednotlivých velikostí účinku na závěry meta-analýzy se provádí vážení velikostí účinku na základě kódovaných charakteristik (např. že studie s n=2000 bude mít větší vliv na výsledky meta-analýzy než studie s n=20) .

²Termín odkazující ke změně chování probandů na základě toho, jakou představu si vytvoří o účelu a cíli výzkumu (např. metody určené k vyvolání emocí u probandů vykazují silnější efekt, pokud probandi vědí, že je cílem vyvolat v nich nějakou emoci).

Ignorování důležitých studií

Kritika: Do meta-analýzy nejsou často zahrnuty důležité a veliké studie, které by docela určitě změnily její závěry. Kritika míří mimo jiné na fakt, že autoři meta-analýz identifikují velké množství relevantních výzkumů, ale do meta-analýzy jich zahrnou pouhý zlomek .

Odpověď: U všech systematických přehledových studií platí, že musí mít daná jasná kritéria pro rozhodnutí, zda výzkum zahrnout či nezahrnout do vzorku. Provedení důkladného vyhledávání studií a aplikování kritérií pro zahrnutí do meta-analýzy je nutnou součástí transparentního procesu. Kvůli takovému postupu nutně některé studie z výběru z nejrůznějších důvodů vypadnou. To snižuje heterogenitu zkoumaných studií a výsledky meta-analýzy jsou o to validnější .

A další...

Existuje ještě celá řada dalších kritik meta-analýz. Například to, že jsou někdy meta-analytické závěry v rozporu s velkoformátovými klinickými studiemi, nebo že je část meta-analýz prováděna nekvalitně . Meta-analýzy jsou obecně velice složité a samozřejmě i omylné. Prozatím jsou ovšem tím nejvhodnějším nástrojem pro systematický přehled literatury, který máme k dispozici .

Odkazy

Použitá literatura

• Bastian, H. (2014). 5 key things to know about meta-analysis. In Scientificamerican.com. Retrieved April 7, 2016, from http://blogs.scientificamerican.com/absolutely-maybe/5-key-things-to-know-about-meta-analysis/
• Borenstein, M., Hedges, L. V., Higgins, J., & Rothstein, H. R. (2009). Criticisms of Meta‐Analysis. Introduction to meta-analysis, 377-387.
• Card, N. A. (2012). Applied meta-analysis for social science research. Guilford Publications. Dostupné z: https://books.google.cz/books?id=GC42CwAAQBAJ&pg=PR6&dq=Applied+Meta-Analysis+for+Social+Science+Research+2012&hl=cs&sa=X&ved=0ahUKEwjTx6f67uzVAhVBfhoKHSgcCTEQ6AEIKTAA#v=onepage&q=Applied%20Meta-Analysis%20for%20Social%20Science%20Research%202012&f=false
• Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.
• Effect size. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Effect_size
• Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ: British Medical Journal (International Edition), 315(7109), 629-634.
• Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.
• Ferjenčík, J. (2000). Úvod do metodologie vědeckého výzkumu: Jak zkoumat lidskou duši. Praha: Portál.
• Glass, G. (1976). Primary, secondary and meta-analysis of research. Educational Researcher, 5, 3-8.
• Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.
• Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.
• Meta-analysis. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Meta-analysis
• Reichel, J. (2009). Kapitoly metodologie sociálních výzkumů (Vyd. 1.). Praha: Grada.
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological bulletin, 86(3), 638-641.
• Rosenthal, R. (1991). Meta-analytic procedures for social research (rev. ed.). Thousand Oaks, CA, US: Sage Publications, Inc.
• Rosenthal, R., & DiMatteo, M. R. (2001). Meta-analysis: Recent developments in quantitative methods for literature reviews. Annual review of psychology, 52(1), 59-82.
• Westermann, R., Spies, K., Stahl, G., & Hesse, F. (1996). Relative effectiveness and validity of mood induction procedures: a meta-analysis. European Journal of social psychology, 26, 557-580.

Externí odkazy a doporučená literatura

• K interpretaci Cohenova d včetně interaktivní vizualizace, jak funguje:

• http://rpsychologist.com/d3/cohend/

• Kalkulátory velikosti efektu:

• http://www.polyu.edu.hk/mm/effectsizefaqs/calculator/calculator.html

• Článek o tom, proč p-hodnota nestačí, a měla by být uváděna i velikost efektu:

• Maher, J. M., Markey, J. C., & Ebert-May, D. (2013). The Other Half of the Story: Effect Size Analysis in Quantitative Research. CBE Life Sciences Education, 12(3), 345–351. http://doi.org/10.1187/cbe.13-04-0082

• K publikačnímu zkreslení:

• Ben Goldacre - Battling bad science: Ben Goldacre je epidemiolog a ve videu hovoří o tom, jakým způsobem mohou být důkazy překroucené. Tento fakt demonstruje na tvrzeních z oblasti výživy a dostává se až ke způsobům zkreslení ve farmaceutickém průmyslu.
• https://www.ted.com/talks/ben_goldacre_battling_bad_science#t-840399

• Ben Goldacre - What doctors don't know about the drugs they prescribe: Video upozorňující na to, že je etickou povinností publikovat také studie, které vyšly negativně či neprůkazně. Nepublikování takových zjištění může mít vážné následky.
• https://www.ted.com/talks/ben_goldacre_what_doctors_don_t_know_about_the_drugs_they_prescribe

Související články

• 32. Etické zásady psychologického výzkumu

Klíčová slova

meta-analýza - velikost účinku - publikační zkreslení - analýza dat