1. Co mam analizować?

Przypuśćmy, że nagrałem się, jak rzucam monetą, a ona zamiast polecieć na którąś ze stron, stanęła na kancie. Coś ciekawego – nie zdarza się to zbyt często. A teraz wyobraźcie sobie, że nagrywam się tak od piętnastu minut i udało mi się to zrobić przy 137 próbie... Zmienia to perspektywę – nagle wcale nie wydaje się to takie specjalne.

Podobnie jest w statystyce. Zazwyczaj, kiedy przeprowadzamy test (np. test t Studenta), ma on 5% szans na wynik pozytywny wyłącznie z przypadku – taką wylosowaliśmy grupę i tyle. Pytanie: co się stanie, gdy przeprowadzimy 20 takich testów, z których każdy ma 5% szans na wynik pozytywny z przypadku? Nagle szansa, że przynajmniej jeden z nich będzie pozytywny, wynosi 64%!!! To, że coś mało prawdopodobnego zdarzy się przy dużej liczbie prób, wcale nie jest mało prawdopodobne.

Z tego powodu, analizując dane, powinniśmy wykonywać tylko tyle testów, ile jest konieczne do odpowiedzenia na postawione hipotezy i pytania badawcze. Testując wszystko ze wszystkim, szansa, że przy jednym z dziesiątek testów magiczne p<.05 wyskoczy „przypadkiem”, jest praktycznie pewna.

Znając temat pracy, cel, hipotezy i pytania badawcze oraz dokładnie rozumiejąc, co chcieliście sprawdzić, przeprowadzając to badanie, mogę dobrać tylko te testy, które rzeczywiście weryfikują wasze założenia. Dzięki temu unikamy sytuacji, w której testuje się „na oślep”, aż coś przypadkiem wyjdzie — czyli tzw. p-hackingu.

2. Na kim odbyło się badanie?

Załóżmy, że policzyłem średnią wieku i wyszło 42 lata. Niby nic niezwykłego. Ale jeśli dodamy, że badanie dotyczyło studentów, to od razu coś zaczyna nie grać. Najpewniej gdzieś popełniłem błąd — np. wgrałem zły arkusz do programu albo pomyliłem się w kodzie. Gdybym jednak nie znał informacji o badanej grupie, uznałbym, że średnia wieku 42 lata brzmi całkiem sensownie i nawet bym się nad tym nie zastanawiał.

Wiedząc, na jakiej grupie odbywało się badanie, jestem w stanie określić, czy wynik, który dostałem, jest realny, czy jednak coś tutaj poszło nie tak.

3. Na co patrzę, otwierając arkusz?

Podobnie jak w poprzednim przykładzie, jeśli otwieram arkusz i widzę same liczby bez żadnego kontekstu, trudno jest z nimi zrobić coś sensownego. Załóżmy, że trafiam na kolumnę „I_Th3”. Na pierwszy rzut oka (pomijając, że sam to wymyśliłem) nic mi to nie mówi. Widzę wartości 22, 31, 19 – ale nie wiem, jak zostały zmierzone ani w jakich jednostkach: w centymetrach, stopniach, czy jeszcze inaczej. W takiej sytuacji nawet jeśli chciałbym coś z tym policzyć, nie mam pojęcia, jaką analizę wybrać i czy wynik w ogóle miałby sens.

Natomiast jeśli dostanę informację, że chodzi o pomiar krzywizny kręgosłupa na poziomie Th3 przy użyciu inklinometru, to sprawa wygląda zupełnie inaczej. Wiem, że jednostką są stopnie i jeśli nagle pojawia się wynik 122, to od razu mogę podejrzewać błąd przy wprowadzaniu danych (albo że ktoś w drodze na badanie zaliczył czołówkę z tirem, jadąc rowerem). Dzięki temu wiem też, że mogę np. sprawdzić korelację kąta na poziomie Th3 z występowaniem dolegliwości bólowych pleców.

Wiedząc, co chcieliście zbadać, na kim to zbadaliście i w jaki sposób, jestem w stanie sobie wyobrazić, jak wyglądało od początku do końca Wasze badanie i wiem, jakich wyników mniej więcej mogę się spodziewać. Dzięki temu łatwo mi dobrać adekwatne analizy, a kiedy dostanę ich wyniki, wiem, czy są one realne, czy jednak coś po drodze poszło nie tak, a to minimalizuje szansę, że popełnię błąd i go nie wyłapię.

Tak więc do przeprowadzenia analizy statystycznej będę potrzebował:

Kiedy przygotujecie pliki, wstawiacie je do folderu na Dysku Google, a ja zabieram się do działania.