Jedną z podstawowych umiejętności krytycznego myślenia w naszym nowoczesnym społeczeństwie jest uświadomienie sobie, że nie wszystkie badania naukowe są sobie równe. Badania rozciągają się do bezwartościowych do rygorystycznych i nie wszystkie „badania” są nawet rzeczywistymi badaniami lub przeglądem wcześniejszych wyników badawczych.
Ponadto pomocna jest umiejętność spojrzenia na badanie i ocenienia go z punktu widzenia podstawowych zasad jakości. Często będą tam szczegóły techniczne, które może rozpoznać tylko ekspert z danej dziedziny, a analiza statystyczna jest sama w sobie osobną specjalnością. Podstawowe koncepcje badawcze powinny jednak stosować się do każdego badania i przynajmniej dać jakieś pojęcie o tym, jak jest wiarygodne. Istnieją także inne ogólne czynniki, takie jak jakość pisma, w którym opublikowano badanie, źródło finansowania, historia badaczy i to, czy artykuł został kiedykolwiek wycofany. Wreszcie, każde indywidualne badanie musi zostać umieszczone w kontekście ogólnej literatury, nie zaś wybierane jak rodzynki z ciasta.
Badanie zaszczepieni kontra nieszczepieni
Ostatnio społeczność antyszczepionkowa rozsyła badanie na mediach społecznościowych, które pokazuje rzekomo, że dzieci zaszczepione mają częściej zaburzenia neurorozwojowe (neurodevelopmental disorders - NDD) niż dzieci niezaszczepione. Jest to sprzeczne z ogromną liczbą wcześniejszych badań, które pokazują, że jedyną różnicą zdrowotną między zaszczepionymi a mniej szczepionymi (mniej szczepionek i/lub podane później) jest, że mniej szczepione dzieci mają więcej infekcji, szczególnie infekcji, którym zapobiegają szczepienia.
Orac podaje dobrą historię i analizę tego badania. Zostało ono najpierw opublikowane w nisko ocenianym piśmie z otwartym dostępem, “Frontiers in Public Health”. Z jakiegoś powodu opublikowano tylko streszczenie. Potem, w następstwie krytyki jakości tego badania, wycofano je. Autorzy najwyraźniej od tego czasu próbowali je sprzedać gdzie indziej i znaleźli jeszcze niżej oceniane pismo, które zgodziło się je opublikować, „Journal of Translational Research”.
Główny autor badania, Anthony Mawson, jest wyraźnie entuzjastą poglądów antyszczepionkowych i tekst badania zdradza tę stronniczość. Finansowanie badania koordynowali aktywiści antyszczepionkowi.
Mamy więc wszystkie czerwone flagi wątpliwego, stronniczego badania o niskiej jakości, ale to właśnie jakość badania liczy się najbardziej, spójrzmy więc na nią. Oto opis metody:
Badanie zostało zaprojektowane jako badanie przekrojowe matek edukujących w domu o ich zaszczepionych i niezaszczepionych dzieciach biologicznych w wieku 6 do 12 lat. Ponieważ informacja o rodzinach z edukacją domową była nieosiągalna, nie było zdefiniowanej populacji lub ramy próby, na której można przeprowadzić losowe badanie i na podstawie której można ustalić odsetek odpowiedzi. Jednak celem naszego badania pilotażowego nie było zdobycie reprezentatywnej próby dzieci edukowanych w domu, ale dogodnej próby niezaszczepionych dzieci wystarczającej wielkości, by testować istotne różnice wyników między tymi grupami.
Wybraliśmy do badania (etap 1) cztery stany (Floryda, Luizjana, Missisipi i Oregon). NHERI zestawił listę organizacji edukacji domowej dla całych stanów i lokalnych, w sumie 84 na Florydzie, 18 w Luizjanie, 12 w Missisipi i 17 w Oregonie. Wstępne kontakty nawiązano w czerwcu 2012 r. NHERI skontaktował się z przywódcami każdej organizacji stanowej przez e-mail, prosząc o ich poparcie. Wysłano drugi e-mail, wyjaśniający cel i tło badania, który przywódcy organizacji mieli przekazać swoim członkom. (etap 2). Dostarczono link do kwestionariusza on line, gdzie nie proszono o żadne informacje identyfikujące respondenta. Z finansowaniem ograniczonym do 12 miesięcy staraliśmy się zdobyć tak wiele odpowiedzi, jak to możliwe, kontaktując się z rodzinami tylko pośrednio, poprzez organizacje edukacji domowej. Proszono biologiczne matki dzieci w wieku od 6 do 12 lat, by służyły jako respondentki w celu standaryzowania zbierania danych i żeby włączyć dane o czynnikach związanych z ciążą i historią narodzin, które mogą mieć związek z obecnym zdrowiem dzieci. Wybrano grupę wieku 6 do 12 lat, ponieważ większość zalecanych szczepień byłaby do tego czasu podana.
Oczywiste problemy powinny być natychmiast widoczne. Fakt, że postanowili skupić się na rodzinach z edukacją domową jest dziwny, a wyjaśniają to „wygodą” próby. Otwiera to jednak możliwość, że obiekty badania nie są reprezentatywne dla ogólnej populacji.
Największym problemem jednak jest to, że jest to badanie na samodobierającej się próbie. W rygorystycznie zaprojektowanym badaniu chodzi o kontrolowanie zmiennych. Jeśli więc chcemy wiedzieć jakie są ogólne efekty zdrowotne dla osób w pełni szczepionych kontra częściowo lub w ogóle nieszczepionych, musimy wyizolować szczepienie jako zmienną i kontrolować wszystkie inne możliwe zmienne.
Najlepszym sposobem zrobienia tego jest losowe wybranie obiektów badania, i albo podanie szczepionki, albo nie. Takie badanie jednak nigdy nie zostanie przeprowadzone, ponieważ szczepienia już są częścią standardowej opieki zdrowotnej i byłoby głęboko nieetyczne losowo przydzielić badanych do grupy, w której byliby pozbawieni standardowej opieki. Bez zapewnienia losowości mamy sytuację, w której rodzice decydują czy zaszczepić swoje dzieci, czy nie i jest wiele zmiennych, które mogą wpłynąć na tę decyzję, od różnych możliwości do posiadania przekonań antyszczepionkowych.
Choć idealne badanie nigdy nie zostanie przeprowadzone, istnieją sposoby otrzymania rozsądnie dobrych danych przy użyciu starannych metod. W takich badaniach jednak jest szczególnie ważne używanie rygorystycznych metod zdobywania danych, żeby najlepiej jak się daje kontrolować możliwe zmienne zakłócające.
To badanie jednak tego nie robi. Jest to sondaż niereprezentatywnej populacji nieokreślonej wielkości. Tak więc rodzice decydują, czy chcą, czy nie chcą odpowiedzieć w badaniu i oni są całkowicie odpowiedzialni za dostarczoną informację. Nie znamy odsetka odpowiedzi, bo nie wiemy, ilu rodziców otrzymało prośbę o udział w badaniu. Im niższy odsetek odpowiedzi, tym większy potencjalny efekt samodobierania się.
Samodobierający się respondenci, sami podający informację o nielosowo wybranych obiektach badania w niereprezentatywnej populacji nieokreślonych rozmiarów. Wszystko to składa się na bezwartościowy śmieć. Informacja w tym badaniu jest dosłownie bez wartości. Pojedynczo są to okropne błędy, wzięte razem są zabójcze. Dlatego to badanie zostało wycofane z pisma o otwartym dostępie i nienajlepszej reputacji.
I co odkryło to badanie? Dokładnie to, co autorzy i sponsorzy badania chcieli odkryć. Stronniczość jest zawsze problemem, ale jeśli badanie jest przejrzyste i rygorystyczne, niezbyt obchodzi mnie źródło finansowania. Kiedy badanie stosuje aż tak złe metody, nie ma powodu uważać, że wynik jest czymkolwiek innym jak odzwierciedleniem stronniczości.
To badanie pokazuje jednak jedną rzecz – że społeczność antyszczepionkowców jest gotowa rzucić się na każde badanie, niezależnie od tego, jak jest bezwartościowe, jeśli tylko pokazuje to, co chcą.
A tymczasem nadal zaprzeczają istnieniu badań populacji zaszczepionych kontra nieszczepionych dzieci (i wręcz zachwalają to badanie jako pierwsze tego rodzaju). To po prostu nie jest prawdą. Tutaj jest streszczenie poprzednich badań porównujących te populacje. Pokazują one, że dzieci zaszczepione są zdrowsze od dzieci nieszczepionych i nie mają zwiększonej częstości występowania NDD ani żadnych innych negatywnych skutków.
Jest to jeden z znaków probierczych pseudonauki i negacji – ignorowanie badań o wyższej jakości, wpychając równocześnie badania o niskiej jakości, bo pokazują to, co chcą zobaczyć.
Vaccinated vs Unvaccinated Survey
8 maja 2017
Tłumaczenie: Małgorzata Koraszewska
