Contoh 3.5B Studi Parapsikologi

Dalam studi parapsikologi, penerima mencoba untuk mengidentifikasi gambar target yang ditransmisikan oleh pengirim dari empat kelompok gambar kemungkinan target. Seorang statistik Jessica Utts melaporkan bahwa dalam analisisnya dari 2.124 kali percobaan, ia mendapatkan sebanyak 709 kali benar. Uji untuk melihat apakah proporsi ini berhasil 709/2124 = 0,334 secara signifikan lebih besar dari 0,25 dan kita akan berakhir ketika statistik standar dari 8,94 dan nilai p sekitar 0.

Apakah statistik standar yang besar dapat berarti bahwa probabilitas transmisi yang sukses jauh lebih besar dari 0,25? Bukti sangat kuat tidak memberitahu kita berapa banyak lebih besar probabilitasnya. Kita bisa membangun interval kepercayaan untuk ini. Sebuah interval kepercayaan 95% untuk penelitian ini adalah 0,314-0,354. Apakah interval ini jauh lebih besar dari 0,25 ?

Sementara hasil ini menunjukkan bahwa paranormal melakukan lebih signifikan, mereka tidak melakukan hal itu jauh lebih baik. Misalnya, mereka tidak mendapatkan semua jawaban benar dalam kasus apa saja dan benar di setiap waktu. Signifikansi statistik (statistically significant) berarti bahwa hasil yang tidak mungkin terjadi secara kebetulan saja. Praktis penting (practically important) berarti bahwa perbedaan cukup besar untuk masalah di dunia nyata.

Meski hasil dari statistik ini adalah signifikansi statistik (statistically significant) apakah juga praktis penting (practically important)? Ini adalah suatu panggilan penilaian. Paranormal hanya mendapatkan 1/3 jawaban benar. Alasan dari semua ini adalah sangat signifikan karena kita memiliki ukuran sampel yang besar.

Cautions 

Kepentingan praktis tergantung konteks dan agak subyektif. Studi yang dirancang dengan baik mencoba untuk menyamakan signifikansi statistik (statiscally significant) dengan kepentingan praktis (practically important), tetapi tidak selalu. Lihatlah ukuran sampel. Jika sangat besar, diharapkan hasil yang signifikan. Jika sangat kecil, tidak mengharapkan hasil yang signifikan. (Banyak kesempatan yang hilang — Jenis kesalahan tipe II).

Power

Power adalah probabilitas benar menolak hipotesis nol. Power yang besar adalah hal yang baik, dan hal ini yang kita inginkan dalam studi kita. Uji power dipengaruhi oleh tingkat signifikansi dan ukuran sampel. Dengan menggunakan hasil tingkat signifikansi yang  besar, akan dihasilkan power yang lebih besar. (Kekurangannya adalah bahwa kita meningkatkan kesempatan untuk membuat kesalahan tipe I). Memiliki ukuran sampel yang lebih besar akan meningkatkan power. (Kekurangan dari model ini adalah bahwa ini dapat mengambil banyak waktu dan mahal). Power juga dipengaruhi oleh jarak antara nilai sebenarnya dari parameter dan nilai di bawah nol. Semakin jauh kedua hal ini, semakin besar power.