Statistical Sleuth: Validitas Inferensi Statistik dan Hubungannya dengan Disain Studi Pada Penelitian Eksperimental dan Observasional

Oleh: Ifdal

Abstrak
Sebagai salah satu sarana ilmiah, peran penting statistik dalam proses ilmiah tersebut tidak diragukan lagi. Diwakili oleh statistik inferensial ia merupakan alat bantu utama dalam proses ilmiah yang menggunakan penalaran induktif. Meskipun penting dan sangat berguna, namun penarikan kesimpulan secara induktif ini juga berbahaya serta tidak jarang salah dan menyesatkan karena kesimpulan yang ditarik memiliki ruang yang lebih luas dari premis-premis yang digunakan sehingga sebenarnya sesuatu yang baru telah ditambahkan kedalam kesimpulan tersebut.Oleh karena itu, kesimpulan induktif selalu dinyatakan dengan peluang karena memang didalamnya tidak ada suatu kepastian.
Statistical Sleuth adalah proses pencarian secara statistik dengan menggunakan strategi dan alat-alat statistik untuk menjawab pertanyaan-pertanyaan yang menjadi perhatian. Penyelidikan dimulai dengan mensketsakan proses penarikan inferensi sesuai disain studi yang digunakan sehingga bisa dibenarkan secara statistik serta memiliki validitas yang tinggi. Inferensi adalah suatu kesimpulan bahwa pola yang ditemukan dalam data juga terdapat dalam konteks yang lebih luas, sementara inferensi statistik merupakan inferensi yang dibenarkan oleh model probabilitas yang menghubungkan data tersebut dengan konteks yang lebih luas.
Dua bentuk inferensi statistik yang dibenarkan dengan penggunaan mekanisme random yang tepat adalah: 1) inferensi kausalitas, dan; 2) inferensi terhadap polpulasi. Inferensi kausalitas hanya dapat ditarik dari percobaan yang menggunakan mekanisme random yang menjamin bahwa subjek-subjek dengan perbedaan dan keistimewaan yang ada tercampur dalam kelompok perlakuan. Tetapi inferensi kausalitas tidak dapat ditarik dari studi observasional mengingat tidak mungkin untuk menyingkirkan berbagai kemungkinan bahwa variabel-variabel pengacaulah yang sebenarnya menyebabkan perbedaan hasil pengukuran diantara kelompok-kelompok penelitian pada studi observasional. Sementara inferensi terhadap populasi hanya boleh dilakukan pada studi yang menggunakan mekanisme penarikan sampel secara acak yang memberikan kepastian bahwa semua subpopulasi terwakili dalam sampel dengan proporsi yang secara kasar kira-kira sama dengan keseluruhan populasi.
Pengertian dan Kegunaan Statistik
Disadari atau tidak dalam praktek kehidupan sehari-hari seringkali kita memerlukan statistik sebagai alat yang berguna membantu kita dalam mengambil kesimpulan atau membuat keputusan yang tepat dan akurat. Dalam hal ini statistik menjadi alat, cara, atau sarana untuk mengolah dan menafsirkan data secara benar sehingga bisa dipertanggung jawabkan. Berbagai pengertian tentang statistik dapat kita temukan pada buku-buku teks statistik yang pada umumnya memberikan pengertian yang tidak jauh berbeda antara satu dengan lainnya. Seperti umpamanya Kerlinger (1996) mendefenisikan statistik sebagai teori dan metode analisis data kuantitatif yang diperoleh dari sampel dalam upaya menelaah dan membandingkan sumber-sumber keragaman fenomen, membantu pembuatan keputusan untuk menerima atau menolak relasi yang dihipotesiskan terdapat antara satu fenomen dengan lainnya dan menolong penyusunan kesimpulan yang andal dari pengamatan-pengamatan empiris.
Statistik merupakan cabang dari matematika terapan (Ritonga, 1987) yang menggunakan berbagai macam metode dan teknik dalam mengumpulkan, mengorganisir, mentabulasi, menganalisis, menginterpretasikan, menggambarkan dan menyajikan data. Secara garis besarnya, metode-metode statistik tersebut dapat dikelompokkan kedalam dua kelompok yaitu: 1) statistik deskriptif; dan 2) statistik inferensial (Walpole 1982). Statistik deskriptif didefenisikan sebagai metode-metode yang berkaitan dengan pengumpulan dan penyajian suatu gugus data sehingga memberikan informasi yang berguna. Sementara itu, statistik inferensial mencakup semua metode yang berhubungan dengan analisis sebagian data untuk kemudian sampai pada peramalan atau penarikan kesimpulan baik tentang sampel itu sendiri maupun mengenai keseluruhan gugus data induknya.
Berdasarkan defenisi tersebut diatas, Kerlinger (1996) kemudian juga merinci fungsi atau kegunaan statistik sebagai berikut:
1. Meringkas data dalam jumlah besar kedalam bentuk yang mudah dipahami dan ditangani;
2. Membantu menelaah atau mengkaji populasi dan sampel;
3. Membantu pembuatan keputusan;
4. Membantu pembuatan inferensi yang andal berdasarkan data amatan
Dari fungsi-fungsi tersebut diatas, fungsi statistik yang pertama dan kedua lebih banyak dimainkan oleh statistik deskriptif, sementara fungsi ketiga dan keempat lebih banyak diperankan oleh statistik inferensial. Pada bagian berikut ini akan kita lihat bahwa fungsi yang keempat diatas barangkali merupakan fungsi terpenting dari statistik sehubungan dengan posisinya sebagai salah satu sarana ilmiah yang berperan penting dalam pengembangan ilmu pengetahuan.
Statistik dan Pengembangan Ilmu Pengetahuan (Science)
Seperti telah disinggung diatas bahwa selain sebagai alat, cara, atau sarana untuk mengolah dan menafsirkan data, statistik juga merupakan salah satu sarana ilmiah yang penting (disamping bahasa, logika dan matematika) yang berperan sebagai alat yang membantu agar kegiatan ilmiah bisa berjalan dengan baik (Suriasumantri 1984). Bagi kegiatan ilmiah statistik merupakan pengetahuan yang berguna untuk melakukan penarikan kesimpulan secara induktif, yaitu suatu proses penarikan kesimpulan yang bersifat umum dari kasus-kasus yang bersifat individual. Dipihak lain, kesimpulan deduktif adalah kesimpulan yang bersifat khas dari pernyataan atau premis-premis yang bersifat umum. Dengan kata lain dapat dinyatakan dengan ringkas bahwa statistik berperan dalam berpikir secara induktif sementara matematika berperan dalam berpikir secara deduktif. Jika ditinjau dari pola berpikirnya maka ilmu merupakan gabungan dari berpikir deduktif dan induktif.
Kedua cara penarikan kesimpulan ini (deduktif dan induktif) memiliki perbedaan yang sangat nyata. Kesimpulan yang ditarik secara deduktif adalah benar sekiranya premis-premis yang digunakan benar dan prosedur penarikan kesimpulannya juga sah. Akan tetapi, dalam penarikan kesimpulan secara induktif meskipun premis-premis yang digunakan benar dan prrosedur penarikan kesimpulannya juga sah namun kesimpulan yang ditarik itu belum tentu benar (Suriasumantri 1984). Peringatan senada sebenarnya juga sudah disampaikan oleh Mills (1956) yang menegaskan bahwa pengambilan kesimpulan secara induktif ini meskipun sangat berguna namun sebenarnya juga berbahaya mengingat kesimpulan dari argumen induktif tersebut lebih luas daripada premis-premisnya sehingga sebenarnya sesuatu yang baru telah ditambahkan kedalam kesimpulan tersebut. Dengan demikian tidak ada suatu jaminan kepastian akan kebenaran dari kesimpulan yang ditarik secara induktif ini sehingga argumen-argumen induktif selalu dinyatakan dengan peluang (probabilitas). Oleh sebab itu maka penggeneralisasian kesimpulan yang diperoleh secara induktif ini mengandung bahaya yang besar sehingga harus dilakukan secara hati-hati.
Berdasarkan uraian diatas maka dapat disimpulkan bahwa kebenaran dan validitas suatu ilmu yang disusun menurut pola berpikir induktif ini sangat ditentukan oleh ketepatan penggunaan strategi dan alat-alat statistik dalam proses penarikan kesimpulan atau inferensi tersebut. Meskipun tanpa suatu kepastian namun dengan penggunaan statistik secara benar kita akan bisa mengambil kesimpulan yang mendekati kebenaran tentang apakah hubungan kausalitas antara dua faktor atau lebih bersifat kebetulan atau memang benar-benar terkait dalam suatu hubungan yang bersifat empiris. Penggunaan strategi dan alat-alat statistik secara tidak benar akan memperbesar peluang bagi kesimpulan atau inferensi yang salah pula serta akan menyesatkan bila kemudian dijadikan dasar suatu ilmu.
Inferensi yang andal seperti disebutkan diatas hanya bisa diperoleh dengan pengaplikasian alat-alat statistik terhadap data-data yang diperoleh dari studi dengan desain dan metoda yang tepat dan benar. Disinilah barangkali persoalan paling banyak yang dihadapi oleh para pengguna statistik selama ini yang cenderung hanya mengandalkan analisa statistik yang mutakhir semata tanpa memperhatikan desain studi yang sebenarnya sangat menentukan jenis analisa statistik dan inferensi yang tepat serta dapat dibenarkan. Sehingga dengan demikian perlu disadari bahwa inferensi-inferensi yang diperoleh dengan menggunakan teknik statistik yang mutakhir tersebut akan sama sekali tidak ada artinya kalau tidak bisa dibenarkan oleh desain studi yang digunakan.
Penarikan inferensi statistik yang tidak bisa dibenarkan oleh desain penelitian yang digunakan ini seringkali terjadi karena kebanyakan buku-buku teks statistik hanya mengeksplorasi penggunaan berbagai metode analisa statistik saja tanpa memberikan perhatian yang cukup pada desain studi yang menentukan dari mana serta bagaimana data tersebut diperoleh. Seperti diungkapkan Nurgiyantoro dkk (2000) statistik hanya dan hanya dapat mengolah angka namun kurang memperhatikan dari mana serta bagaimana angka-angka itu sendiri didapatkan. Disinilah keunggulan Statistical Sleuth yang menekankan hubungan antara proses inferensi statistik dengan desain penelitian yang digunakan sehingga inferensi yang diambil bisa dikatakan syah secara statistik karena dibenarkan oleh desain studi yang digunakan.
Peringatan senada sebenarnya telah dilontarkan oleh McCall (1923, dikutip dalam Campbell dan Stanley 1963) yang menyatakan bahwa “There are excellent books and courses of instruction dealing with the statistical manipulation of experimental data, but there is little help to be found on the methods of securing adequate and proper data to which to apply statistical procedures” Kondisi dimana sangat sedikitnya buku-buku yang membahas metode yang memastikan pengaplikasian prosedur statistik terhadap data yang cukup dan tepat inilah yang diduga telah menyebabkan terjadinya penggunaan statistik secara sembrono (haphazard) tanpa memperhatikan desain penelitian serta pengaruhnya terhadap validitas inferensi yang ditarik dari analisa statistik tersebut.
Statistical Sleuth: Penggunaan Statistik Secara Tepat dan Benar
Pada tahun 1997 Fred L. Ramsey dan Daniel W. Schafer untuk pertama kalinya mempublikasikan buku mereka yang berjudul The Statistical Sleuth yang kemudian banyak dipergunakan sebagai buku teks dalam mata kuliah statistik di perguruan tinggi. Secara etimologis kata-kata sleuth dalam bahasa Inggeris berarti suatu pencarian atau investigasi dengan cara seperti yang dilakukan seorang detektif (The New Oxford Dictionary of English). Statistical Sleuth, seperti ditegaskan oleh penulisnya, berarti pengujian data secara cermat untuk menjawab pertanyaan-pertanyaan yang menjadi perhatian atau dengan kata lain Statistical Sleuth merupakan proses pencarian secara statistik dengan menggunakan strategi dan alat-alat statistik untuk menjawab pertanyaan-pertanyaan yang menjadi perhatian (question of interest) serta panduan untuk menginterpretasikan dan mengkomunikasikan hasil-hasilnya.
Statistical Sleuth pada dasarnya diperuntukkan bagi mahasiswa pascasarjana yang sedang merancang, mengimplementasikan, menganalisa serta melaporkan penelitian mereka. Disamping itu, seperti buku-buku statistik pada umumnya, Statistical Slueth juga diperuntukkan bagi mereka yang ingin menggunakan metoda statistik untuk menganalisa data dari penelitian percobaan (experiment) dan observasi serta mereka yang ingin mengkomunikasikan hasil penelitiannya kepada orang lain. Tujuan utama dari buku ini yang juga sekaligus merupakan kekuatan dan keistimewaan Statistical Sleuth ini dibandingkan dengan buku-buku statistik lainnya seperti diungkapkan penulisnya adalah mengajarkan kepada para pembaca tentang pendekatan yang tepat dalam melakukan aspek-aspek statistik dari penelitian mereka.
Seperti dijelaskan dalam pengantar buku tersebut alat (tool) utama dari Statistical Sleuth ini adalah analisa regresi dengan menambahkan beberapa topik yang biasanya tidak dicakup dalam buku teks tentang regresi seperti; (1) Model Linear yang digeneralisasikan (Generalized Linear Models) termasuk didalamnya regresi logistic dan log-linear. Alat ini memungkinkan para peneliti untuk menganalisa berbagai macam persoalan yang sampai saat ini dianalisa dengan menggunakan alat yang tidak tepat (seperti ANOVA) atau dengan alat yang tepat akan tetapi sulit untuk dilakukan (seperti tabel kontingensi chi-squares). (2) Pengukuran berulang (Repeated Measures) dimana ada kecenderungan yang kuat bagi para peneliti untuk berpaling pada paket komputer yang memiliki Repeated Measures sehingga dirasakan perlu adanya kebutuhan akan panduan tentang strategi untuk mempertimbangkan data yang demikian. Disini statistik Sleuth menekankan pereduksian dimensionalitas yang dikontrol atau dikendalikan oleh pertanyaan dan data (question- and data-driven reduction of dimensionality). (3) Korelasi serial (Serial Correlation). Meskipun perlakuan penuh terhadap analisa time series diluar cakupan buku ini penyesuaian dan penyaringan terhadap aras paling fundamental (first-order) dari autoregresi akan memberikan alat yang dapat memperluas kegunaan teknologi regresi terhadap persoalan-persoalan yang melibatkan korelasi serial.
Semua alat-alat statistik (statistical tools) tersebut dibahas dalam hubungannya dengan upaya untuk menarik kesimpulan atau inferensi statistik secara benar. Oleh karena itu tulisan singkat ini akan lebih difokuskan pada persoalan pokok yang berhubungan dengan penarikan kesimpulan atau inferensi statistik. Fokus ini dipilih mengingat besarnya peluang bagi kesalahan penarikan inferensi statistik tersebut untuk terjadi serta pentingnya proses inferensi tersebut dalam pengembangan ilmu (science).
Statistical Sleuth menekankan hubungan yang erat antara inferensi, analisa statistik dan desain penelitian yang selama ini cenderung diabaikan atau digunakan secara tidak tepat. Meskipun, seperti yang dikatakan Nurgiyantoro diatas, statistik kurang memperhatikan dari mana dan bagaimana angka-angka itu diperoleh (atau dengan kata lain desain penelitian), namun bagi Ramsey dan Schafer penarikan suatu inferensi dari analisa statistik merupakan suatu proses yang terkait erat dengan serta ditentukan oleh desain penelitian yang menjelaskan dari mana serta bagaimana data tersebut diperoleh. Sehingga dengan demikian, validitas inferensi yang diperoleh benar-benar dapat dipertanggung jawabkan. Sekali lagi, disinilah kelemahan paling banyak dalam penggunaan statistik selama ini sehingga inferensi yang diperoleh seringkali tidak dapat dibenarkan secara statistik karena desain penelitian yang digunakan tidak memenuhi syarat untuk inferensi yang ditarik.
Sleuthing Penarikan Inferensi Statistik dan Desain Penelitian
Dalam upaya menjelaskan penggunaan statistik secara tepat dan benar sesuai dengan tujuan utama dari Statistical Sleuth tersebut diatas, Ramsey dan Schafer memulai proses penyelidikan (sleuthing) tersebut dengan mensketsakan proses penarikan suatu inferensi yang benar serta menjelaskan bagaimana desain yang digunakan sebenarnya sangat menentukan bentuk inferensi yang bisa ditarik sehingga bisa dibenarkan secara statistik serta memiliki validitas yang tinggi. Menurut mereka inferensi adalah suatu kesimpulan bahwa pola yang ditemukan dalam data juga terdapat dalam konteks yang lebih luas, sementara inferensi statistik adalah suatu inferensi yang dibenarkan oleh model probabilitas yang menghubungkan data tersebut dengan konteks yang lebih luas. Terdapat dua bentuk inferensi statistik yang dapat dibenarkan dengan penggunaan mekanisme random secara tepat yaitu:
1. Inferensi kausalitas atau sebab akibat (cause-and-effect inference), dan;
2. Inferensi terhadap polpulasi (inference to population)
Masing-masing inferensi statistik ini menuntut penggunaan mekanisme random yang berbeda untuk bisa dikatakan valid bila inferensi tersebut hanya didasarkan pada analisa statistik semata. Apabila hanya berlandaskan hasil analisa statistik semata maka inferensi tentang hubungan kausal atau sebab-akibat (cause-and-effect relationship) hanya dapat ditarik dari percobaan-percobaan yang menggunakan mekanisme random (random experiment), tetapi inferensi yang sama tidak bisa ditarik dari studi-studi observasional. Hal ini disebabkan karena dalam penelitian observasional tidak mungkin untuk menyingkirkan kemungkinan-kemungkinan bahwa sebenarnya variabel-variabel pengganggu atau pengacaulah (confounding variables) yang menyebabkan perbedaan hasil pengukuran diantara kelompok-kelompok penelitian. Suatu variabel pengganggu tidak hanya terkait pada keanggotaan kelompok studi tetapi juga pada hasil-hasilnya sehingga kehadiran variabel pengganggu tersebut menjadikan sangat sulit untuk membangun hubungan bahwa hasil yang diperoleh merupakan konsekuensi langsung dari status keanggotaan kelompok studi. Sebagai contoh; bila hanya berdasarkan analisa statistik semata maka sulit untuk menyimpulkan bahwa lebih tingginya gaji awal yang diterima laki-laki dibandingkan perempuan sebagai akibat dari perbedaan jenis kelamin karena banyak sekali pengaruh variabel pengganggu yang tidak bisa disingkirkan seperti pengaruh pendidikan, pengalaman kerja dan sebagainya.
Sementara itu bila hanya berdasarkan hasil analisa statistik semata maka inferensi terhadap populasi hanya dapat dilakukan pada studi-studi yang menggunakan mekanisme penarikan sampel secara acak (random sampling). Lalu kemudian apakah itu berarti bahwa penelitian observasional itu sama sekali tidak memiliki nilai atau peran dalam penelitian ilmiah? Menurut penulis penelitian observasional tetap memiliki nilai atau peran dalam suatu kajian ilmiah karena:
1. Membangun hubungan sebab-akibat tidaklah selalu merupakan tujuan sehingga studi observasional tetap bisa menghasilkan informasi yang penting tentang kelompok yang diamati tersebut Sebagai contoh, studi terhadap dampak suatu obat penurun tekanan darah pada orang Indonesia keturunan Cina dan orang Indonesia keturunan Arab umpamanya. Katakanlah hasil observasi menemukan bahwa keturunan Cina cenderung memperlihatkan respon yang berbeda terhadap obat tersebut, namun itu tidak membuktikan bahwa perbedaan tersebut disebabkan karena mereka keturunan Cina. Banyak faktor lain yang berpeluang menyebabkan terjadinya perbedaan tersebut seperti makanan umpamanya. Meskipun tidak bisa menarik kesimpulan kausalitas namun studi tersebut telah memberikan informasi yang berguna bagi dokter dalam merekomendasikan obat bagi orang-orang dari kedua kelompok tersebut.
2. Membangun hubungan sebab akibat mungkin dilakukan dengan cara yang lain seperti landasan teoritis yang kuat. Sebagai contoh umpamanya
3. Analisa data observasional mungkin bisa memberikan bukti menuju teori sebab-akibat serta merekomendasikan arah bagi penelitian dimasa mendatang
Meskipun tidak diragukan lagi bahwa studi-studi observasional tersebut sangat berguna namun praktek yang kurang tepat yang menyatakan atau mengimplikasikan (terkadang secara tidak kentara) hubungan sebab-akibat dari studi-studi observasional tersebut sangat banyak sekali ditemukan. Seperti telah dijelaskan diatas bahwa adalah tidak bisa menarik inferensi hubungan sebab-akibat pada studi-studi observasional dengan hanya mendasarkannya pada hasil analisa statistik semata.
Penarikan Inferensi dan Penggunaan Mekasnisme Random
Untuk bisa memahami serta mengkomunikasikan kesimpulan-kesimpulan statistik adalah sangat penting untuk mengerti apakah mekasisme random digunakan atau tidak, jika ya, maka apakah ia digunakan pada pemilihan sampel, pengalokasian kelompok penelitian, atau pada keduanya. Pertanyaan ini menyadarkan kita akan pentingnya pemahaman tentang mekanisme random itu sendiri. Secara garis besarnya, proses randomisasi akan menjamin bahwa subjek-subjek dengan karakteristik yang berbeda dicampurkan diantara kelompok-kelompok perlakuan sehingga dengan demikian faktor kebetulan yang mungkin muncul dalam hasil studi bisa dirangkap kedalam alat-alat statistik yang digunakan untuk mengekspresikan ketidakpastian.
Beberapa pengertian penting yang berhubungan dengan mekanisme random yang harus dimengerti dan dipahami dengan baik adalah; pertama, percobaan yang menggunakan mekanisme random (randomized experiment) dimana subjek-subjek yang telah dipilih dialokasikan kedalam kelompok-kelompok perlakuan secara acak dan inferensi hubungan sebab-akibat kemudian dapat ditarik dari percobaan semacam ini meskipun hanya berdasarkan hasil analisa statsistik semata. Disini tidak disebutkan tentang populasi serta pemilihan unit-unit sampel secara acak atau dengan kata lain yang menjadi kunci pokok dalam percobaan secara random ini adalah pengalokasian unit-unit terpilih secara acak kedalam kelompok-kelompok perlakuan. Suatu percobaan dengan dua kelompok perlakuan yang menggunakan mekanisme random diilustrasikan seperti terlihat dalam gambar 1 dibawah ini:

Gambar 1. Percobaan dengan dua kelompok perlakuan yang menggunakan mekanisme random (randomized experiment)
Pengertian kedua yang harus dipahami adalah percobaan dengan sampel yang ditarik secara acak (random sampling) guna memastikan bahwa semua sub-populasi bisa terwakili didalam sampel dengan proporsi yang kira-kira sama dengan yang terdapat pada keseluruhan populasi. Percobaan dengan menggunakan random sampling ini meliputi dua tahap penting yang harus dilakukan secara acak yaitu; a) pemilihan unit-unit sampel secara acak dari suatu populasi yang sudah ditentukan dengan jelas, dan b) pengalokasian unit-unit terpilih tersebut kedalam kelompok-kelompok perlakuan secara acak pula. Proses penarikan sampel secara acak ini untuk percobaan dengan dua perlakuan dapat diilustrasikan sebagai berikut:


Gambar 2. Percobaan dengan dua kelompok perlakuan yang menggunakan mekanisme pemilihan sampel secara acak (random sampling)
Berdasarkan pengertian tentang serta tahapan penggunaan mekanisme random dalam penelitian percobaan (experiment) tersebut diatas maka Ramsey dan Schafer kemudian menjelaskan inferensi yang dibenarkan untuk ditarik dari penelitian sesuai dengan tahapan mekanisme random yang digunakan dalam desain penelitian tersebut. Secara garis besarnya dapat dijelaskan bahwa proses randomisasi dalam suatu percobaan (randomized experiment) atau pengalokasian unit-unit sampel secara acak kedalam kelompok-kelompok perlakuan diasumsikan mampu memberikan jaminan terhadap validitas internal (internal validity) dari inferensi kausalitas (cause-and-effect inference) yang ditarik. Sementara itu, proses random sampling atau penarikan unit-unit sampel secara acak yang digunakan dalam suatu penelitian percobaan akan memberikan jaminan terhadap validitas eksternal (external validity) dari suatu inferensi yang ditarik dari unit-unit sampel sehingga bisa digeneralisasikan terhadap populasi (inference to population).
Secara singkat, kesimpulan tentang bentuk-bentuk inferensi statistik yang dibenarkan oleh desain penelitian tersebut ditampilkan dalam bentuk suatu matrik seperti terlihat dalam gambar 3 dibawah ini.






Gambar 3. Inferensi statistik yang dibenarkan oleh desain penelitian
Sampai disini bisa dimengerti bahwa dalam suatu penelitian observasi seringkali tidak praktis atau tidak mungkin untuk mendapatkan suatu sampel secara acak (random sampling) dari suatu populasi yang menjadi perhatian karena pengalokasian unit-unit sampel kedalam kelompok-kelompok yang diamati dan diperbandingkan biasanya terjadi diluar kontrol sipeneliti atau tidak dilakukan secara acak. Dengan alasan itu maka Ramsey dan Schafer tidak membenarkan untuk menarik inferensi dalam suatu penelitian observasi bila inferensi tersebut hanya berdasarkan atas analisa statistik saja. Seperti telah disinggung diatas, jika hubungan kausalitas atau sebab-akibat tetap ingin dibangun maka solusi yang ditawarkan untuk kondisi seperti ini adalah dengan cara lain seperti pembangunan landasan teoritis yang kuat tentang hubungan sebab akibat tersebut. Apa yang menyebabkan contoh tentang perbandingan gaji awal antara pekerja laki-laki dan perempuan diatas dikatakan tidak menggunakan mekanisme random sampling adalah karena pengalokasian unit-unit sampel kedalam kelompok-kelompok penelitian (laki-laki dan perempuan) tidak dilakukan secara acak atau terjadi diluar kontrol sipeneliti.
Memperkuat Desain Penelitian Untuk Meningkatkan Validitas Hasil
Dari apa yang dibicarakan diatas dapat diringkaskan bahwa sebenarnya kita berbicara tentang apa yang oleh Campbell dan Stanley (1963) disebut sebagai validitas hasil studi yang dibagi menjadi validitas internal dan eksternal. Validitas internal menyangkut kebenaran dan kekuatan hubungan kausalitas yang ditarik dari sekelompok sampel, sementara validitas eksternal berkaitan dengan kebenaran dan kekuatan generalisasi kesimpulan tersebut terhadap populasi. Salah satu pelajaran berharga yang bisa disimpulkan dari tinjauan sekilas terhadap Statistical Sleuth diatas adalah bahwa validitas kesimpulan atau inferensi statistik dari suatu penelitian sangat ditentukan oleh seberapa jauh desain penelitian yang digunakan mampu menyingkirkan penjelasan tandingan (rival explanations) dari variabel-variabel pengganggu yang bisa mengacaukan hubungan yang disimpulkan.
Terdapat 12 variabel yang bisa memberikan penjelasan tandingan yang akan mengacaukan validitas hasil penelitian. Campbell dan Stanley (1963) telah membahas penjelasan tandingan (rival explanations) yang bisa mengacaukan validitas internal dan eksternal suatu inferensi tentang hubungan sebab akibat pada penelitian eksperimen dan observasi. validitas internal suatu hasil penelitian Terdapat beberapa faktor yang dapat memperlemah sebagai berikut:
1. History, kejadian-kejadian tertentu yang terjadi diantara pengukuran pertama dan kedua selain dari variabel percobaan;
2. Maturation, proses didalam diri responden yang timbul sebagai akibat dari perjalanan waktu saja (tidak spesifik terhadap kejadian-kejadian tertentu), seperti semakin tua, semakin lapar, semakin lelah dan sebagainya;
3. Testing, pengaruh dari proses melakukan pengujian terhadap angka-angka dari pengukuran yang kedua;
4. Instrumentation, dimana perubahan dalam kalibrasi instrumen pengukuran atau perubahan dalam diri pengamat atau skor yang digunakan mungkin mengakibatkan perubahan dalam ukuran yang didapatkan;
5. Statistical regression, yang biasanya terjadi apabila kelompok-kelompok pengamatan dipilih atas dasar skornya yang ekstrim;
6. Bias yang diakibatkan oleh perbedaan pemilihan responden untuk kelompok pembanding;
7. Experimental mortality, perbedaan kehilangan responden dari kelompok pembanding;
8. Selection-maturation interaction, dsb, yang merupakan interaksi pengaruh dari dua atau lebih faktor-faktor tersebut diatas.
9. Dampak reaktif atau interaksi dari pengujian (reactive or interaction effect of testing) dimana pretes mungkin akan menurunkan sensitivitas atau responsibilitas responden terhadap variabel percobaan sehingga menyebabkan timbulnya perbedaan antara kelompok yang dilakukan pretes dengan yang tidak.
10. Pengaruh interaksi dari bias seleksi dan variabel percobaan
11. Pengaruh reaktif dari rancangan percobaan, yang dapat menghalangi generalisasi pengaruh variabel percobaan terhadap orang-orang yang diberikan ekspose tentang variabel percobaan tersebut dalam keadaan non-eksperimen.
12. Pengaruh perlakuan berganda, yang mungkin terjadi bila beberapa perlakuan diberikan terhadap responden yang sama karena biasanya pengaruh dari perlakuan sebelumnya tidak dapat dihapus.
Masing-masing desain penelitian memiliki kelemahan yang berbeda pula sehubungan dengan kemampuannya untuk menyingkirkan penjelasan tandingan tersebut diatas. Suatu desain penelitian mungkin mampu menyingkirkan satu atau beberapa dari penjelasan tandingan tersebut tapi tidak bisa menyingkirkan yang lainnya. Oleh karena itu pemilihan desain penelitian sangat menentukan validitas hasil yang akan diperoleh.
Catatan Penutup: Beberapa Implikasi dari Penerapan Statistical Sleuth Terhadap Kegiatan Penelitian Ilmiah
Sejalan dengan
Apa yang disajikan diatas hanyalah didasarkan pada sebahagian kecil saja dari Statistical Sleuth yang juga merupakan tinjauan yang paling mendasar dari buku itu terhadap penggunaan statistik dalam penarikan kesimpulan. Masih sangat banyak prinsip-prinsip penting dalam proses sleuthing itu sendiri yang tidak disinggung disini. Hal ini tidak berarti bahwa tulisan ini mengecilkan arti prinsip-prinsip tersebut melainkan hanya disebabkan karena keterbatasan ruang, waktu dan pemahaman penulis. Bila saja dengan bersenjatakan sedikit bahasan diatas kita mau membedah kembali kajian-kajian dalam bidang irigasi selama ini mungkin akan banyak ketidaksesuaian antara desain studi, analisa statistik, dan penarikan kesimpulan yang bisa kita temukan.Tentu saja ketidaksesuaian tersebut akan membawa kita untuk mempertanyakan kembali validitas hasil atau kesimpulan dari studi-studi tersebut. Sebaliknya, Statistical Sleuth ini juga mengingatkan kita untuk lebih berhati-hati dalam menyusun dan melaksanakan kajian sehingga kesalahan penggunaan statistik tidak akan terjadi lagi.

Daftar Bacaan:

Champbell, Donald T. and Julian C. Stanley. 1963. Experimental and Quasi-Experimental Designs for Research. Chicago, Rand McNally and Company.
Cobb, George W. 2000. Review of Books and Teaching Materials: The Statistical Sleuth. The American Statistician, Vol. 54. No.1.
Dreifus, Claudia. 2000. A Math Sleuth Whose Secret Weapon is Statistic: A conversation with Dr. Charles Brenner. The New York Times on the Web.
Kerlinger, Fred N. 1996. Asas-asas Penelitian Behavioral (Edisi Ketiga). Diterjemahkan oleh Landung R. Simatupang dan diedit oleh H.J. Koesoemanto. Yogyakarta, Gadjah Mada University Press.
Ledolter, Johannes. 2003. Review of Books and Teacing Materials: The Statistical Sleuth (2nd ed.). The American Statiscian Vol. 57. Iss. 2. pg. 145.
Mills, Frederick C. 1956. Introduction to Statistics. New York, Henry Holt and Company.
Ramsey, Fred L. dan Daniel W. Schafer. 2002. The Statistical Sleuth: A Course in Methods of Data Analysis (Second Edition). United States, Duxbury.
Ritonga, Abdulrahman. 1987. Statistik Terapan Untuk Penelitian. Jakarta, Lembaga Penerbit Fakultas Ekonomi Universitas Indonesia.
Suriasumantri, Jujun S. 1984. Filsafat Ilmu: Sebuah Pengantar Populer. Jakarta, Pustaka Sinar Harapan.
Walpole, Ronald E. 1982. Pengantar Statistika. Edisi Ke 3. Jakarta, PT Gramedia.

Dalam review yang dilakukan Cobb (2000) terhadap buku The Statistical Sleuth ini, ia mengemukakan 5 keutamaan yang membuat buku Statistical Sleuth ini berbeda dengan buku-buku teks statistik lainnya sebagai berikut:
1. Pada penggunaan kasus di setiap awal chapter yang dianggapnya menjadi kendaraan yang membawa pembaca pada penjelasan dan deskripsi yang komprehensif tentang suatu ide atau gagasan. Dengan kata lain, kasus-kasus tersebut menempatkan ide dari chapter tersebut dalam konteks contoh data yang ril.
2. Gaya expository yang digunakan dalam menjelaskan atau mendeskripsikan sesuatu yang seringkali lebih mengandalkan pada deskripsi verbal yang abstrak, sementara kebanyakan buku teks statistik lainnya lebih mengutamakan contoh-contoh numerik yang konkrit.
3. Penggunaan diagram beranotasi atau bercatatan yang didisain dengan baik yang sebahagiannya digunakan untuk menyimpulkan hasil-hasil yang penting.
4. Inferensial terapan. Penulis mengingatkan para pembacanya untuk tetap waspada dan berhati-hati terhadap apa yang dapat dan tidak dapat dipelajari dari data mereka. Dalam bagian inferensial penulis meminta pembaca untuk menilai seberapa bagus suatu dataset sesuai dengan dengan model probabilitas diatas mana perhitungan akan dilakukan.
5. Latihan-latihan. Hal terakhir yang membuat buku ini menjadi menarik adalah latihan-latihan yang diberikan pada setiap akhir chapter. Latihan tersebut bisa dikelompokkan menjadi tiga kelompok yaitu (a) latihan konseptual yang bisa dijawab dengan tanpa melakukan perhitungan apapun, (b) Latihan komputasional yang sebahagiannya didasarkan pada kasus-kasus setiap chapter dan sebahagiannya lagi dari dataset tambahan, dan (c) Data problem yang tidak bisa dipecahkan tanpa berpikir secara substantif tentang baris-baris cerita tersebut karena perintah diberikan dalam bahasa terapan, bukan dalam bahasa alat (tool).