Oleh: DR Syahganda Nainggolan, Sabang Merauke Circle
Pada saat Puskaptis mengumunkan hasil survei pilpres kemarin, dengan selisih elektabilitas 4 persen Jokowi unggul, dunia politik Indonesia geger. Para politisi mengomentari survei ini dengan beragam. Sebab, hasil survei ini berbeda dengan hasil survei lain.
Uniknya, sebagian 'pengasuh' lembaga survei untuk menjawabnya hasil survei ada yang malah sibuk sembari membuat meme. Sebagian politisi lainnya, menuduh hasil Puskaptis tidak dapat dipercaya. Kenapa, karena pada tahun 2014 Puskaptis gagal menunjukkan hasil survei dan quick count yang memenangkan Jokowi.
Namun, apa pun jadinya, percaya atau tidak percaya hasil survei tidak mungkin diserahkan penilaiannya pada statement politisi. Ketika Pew Reasearch, misalnya, salah satu lembaga survei terbesar di Amerika, gagal memprediksi kemenangan Hillary Clinton, direktur dan direktur riset serta dua orang senior methodologies melakukan pernyataan ke publik, 1) meminta maaf, 2) menjelaskan kemungkinan kesalahan methodologi dalam survei dan 3) akan membentuk kolaborasi besar antar lembaga riset/survei plus para ahli dari berbagai perguruan tinggi memeriksa kesalahan prediksi ini.Politisi di sana tidak berani menilai.
Kegalauan lembaga Pew sebenarnya mewakili puluhan lembaga survei lainnya, yang juga sama2 mengalami kegagalan memprediksi Hillary. Mereka gagal dalam memprediksi popular vote (prediksi kemenangan rata2 tiga persen untuk Hillary, ternyata 2%), gagal memprediksi electoral collage vote (prediksi Hillary unggul ternyata kalah, 232:306).
Beberapa polling khusus pada negara bagian, gagal memprediksi "state- level poll", khususnya "upper Midwest".
Pada tahun 2017, janji Pew research dituangkan dalam laporan "An Evaluation of 2016 Election Polls in the U.S.". Kolaborasi menchadapi evaluasi ini diikuti antara lain Courtney Kennedy ( Pew Research Center),Mark Blumenthal, (SurveyMonkey ), Scott Clement ( Washington Post), Joshua d Clinton ( Vanderbilt University), Claire Durand (University of Montreal), Charles Franklin, (Marquette University),
Kyley McGeeney ( Pew Research Center), Lee Miringoff (Marist College), Kristen Olson (University of Nebraska-Lincoln ), Doug Rivers ( Stanford University, YouGov),
Lydia Saad (Gallup), Evans Witt (Princeton Survey Research Associates),
Chris Wlezien ( University of Texas at Austin) sebagai tim ad hoc.
“The committee found that there were multiple reasons for the polling errors in 2016. Two factors for which we found some of the strongest support were real late change in voter preference and the failure of many polls to adjust their weights for the over-representation of college graduates, who tended to favor Clinton in key states,” kata Kennedy (Pew Research).
Pada saat lembaga survei gagal memprediksi kemenangan Ahok pada Pilkada di Jakarta, yang dipaparkan bulan demi bulan selama setahun, dan gagal total memprediksi variasi perolehan suara di pilkada Jabar dan Jateng 2018, malah ada lembaga mulai sibuk main "Meme" tanpa tanggung jawab seperti Pew Research, Gallup dll. Anehnya para poitisi tidak meributkannya, karena lembaga survei itu adalah lembaga survei yang diduga menjadi pendukungnya.
Lucunya malah pemilik lembaga survei berubah menjadi seolah-olah ahli metodologis. Ini misalnya ada yang menjelaskan ke publik bahwa kesalahan prediksi suara sebesar 20 persen untuk kasus pilkada Jawa Barat yang lalu, yakni soal perolehan suara kandidat Sudrajat-Syeikhu serta di Pilkada Jawa Tengah adalah karena perubahan sikap pemilih menjelang pilkada. Hanya itu saja. Tak ada alasan lain.
Bantahan pemilik lemaga survei itu seolah-olah sebuah kebenaran, padahal bercermin pada kasus survei oleh lembaga Pew Research membutuhkan waktu setengah tahun dengan melibatkan berbagai doktor ahli metodologis memeriksa kesalahan mereka.
Hal itu misalnya, soal keterlambatan waktu dalam menentukan pilihan (real late change in voter prefence), evaluasi Pew dkk ini memaparkan 17 kejadian besar sejak 1 Augustus sampai 8 November 2016, yang sangat mempengaruhi pilihan. Ini antara lain soal debat kandidat, pembocoran email-email pribadi Hillary Clinton oleh Wikilieks, pembocoran hubungan Trump dengan perempuan, dll. Jadi semua pernyataan tentang kekeliruan membutuhkan reason. Ini diperoleh selama 6 bulan penelitian.
Maka tentu saja pemilik lembaga survei nekat sendirian menjawab kesalahan prediksinya, karena rakyat pembaca kebanyakan tidak mengerti survei-survei dan kebenarannya. Sebaliknya, kalangan perguruan tinggi tutup mata. Kalau di Amerika, Inggris, dll negara maju, berbagai ahli atau dosen sibuk ikut memberi opini soal kemungkinan kesalahan survei. Apa yang dijelaskan si pemilik lembaga survei itu seolah-olah sah sebagai sebuah jawaban.
Lalu apakah para pemilik lembaga survei itu mengerti maksud kesalahan metodologis dalam survei kuantitatif? Allahua'lam.
Doktor Rizal Ramli yang tiga pekan lalu meminta saya menjelaskan soal lembaga survei ini mengatakan, "Syahganda jangan sampai survei-survei menjadi alat propagandis yang nantinya hasilnya menjadi justifikasi salah satu pihak."
Sebagai doktor ilmu sosial dengan disertasi menggunakan metodologi kuantitatif dan via survei, saya mengetahui kesulitan anak-anak ITB, misalnya, masuk kedunia survei opini. Karena ilmu statistik terapan di ITB hanya "dealing" dengan "exact number". Misalnya, ketika anak Geodesi melakukan pengukuran titik titik ketinggian bumi, meskipun datanya bisa ribuan atau jutaan data, data-data itu adalah eksak. Sedangkan survei sosial atau opini, membutuhkan pengetahuan dalam soal konsep sosial.
Survei opini terkait pilpres tentu lebih dinamis lagi. Karena perubahan-perubahan responden (response bias) dalam mensikapi sebuah survei semakin terjadi. Pew Research, misalnya, terus menerus melakukan studi ulang (survei) terhadap respons ini setelah pilpres, kepada responden yang sama.
Survei abal-abal
Sekarang pertanyaannya apakah hasil survei Puskaptis abal-abal dapat diterima? Jawabnya, para politisi perlu membaca hasil evaluasi pemilihan presiden Amerika 2016 itu secara teliti. Meski 104 halaman, jangan berharap mudah memahami terminologi yang muncul dalam riset itu.
Beberapa hal dari evaluasi kesalahan prediksi survei pilpres Amerika itu penting dipahami. 1) "Partisan bias", dalam evaluasi itu tidak ditemukan bias karena memihak calon. Bagaimana di kita? 2) mode survei di USA tidak tatap muka. Namun, mode survei by internet, interactive voice response, atau wawancara live phone serta kombinasinya tidak menunjukkan response bias terhadap isu "Shy Trump/Shy Conservative". 3) "Self administred survey vs. present in interviewer" juga menolak "spiral of silence hypothesis" (seperti shy Trump).
4) "Nondisclosure" alias yang kurang terbuka dalam survei ternyata mensupport secara seimbang antara Trump vs Hillary. 5) "effects of interviewer characteristics" di asumsikan semula mempengaruhi responden ternyata tidak terjadi. 6) "Weigting" khususnya "on education" yang diasumsikan "the more formal education a voter had, the more likely they were to vote for clinton" mempunyai effect, seperti di Michigan dari 13% yang buat keputusan di minggu terakhir kampanye, memilih Trump dengan margin 11 poin. 7) Ideologi/identitas penting terepresentasi dalam survei.
Dalam soal ini Pew memprediksi margin T-C -30%, hasil aktul hanya T-C -23%, terjadi perbedaan 7% (n=489), tidak ada perbedaan pada CNN (n=181), tidak ada perbedaan Survey Monkey (n=10.150), ada perbedaan 2% survei ABC (n=761).
8) ada masalah asumsi "Turn Out" atau jumlah partisipasi pemilih. Hal ini membutuhkan kemampuan validasi lembaga survei. 9) "Call back study", perlu melakukan studi ulang terhadap responden yang sama untuk mengetahui berbagai bias dalam survei yang dilakukan, segera setelah pilpres.
Belajar dari evalusi terhadap pilpres Amerika,
perlu berbagai doktor dan kalangan akademisi serta peneliti menentukan hal ini. Namun sebelum itu dilakukan berbagai hal yang perlu diukur di Indonesia adalah 1) sumber keuangan lembaga. 2) apakah lembaga survei merupakan konsultan kandidat. 3) seberapa terbuka lembaga survei menjelaskan ke publik dan masyarakat ilmiah terkait keilmiahan survei dan benar2 survei kelapangan?
Mengapa? Ini karena sumber keuangan lembaga dapat menentukan independensi lembaga survei ini. Semakin independen, semakin dapat dipercaya lembaganya. Kemudian, siapa menjadi konsultan siapa? Jika lembaga survei menjual jasa tapi bukan konsultan, kredibilitas lembaga masih dapat diterima.
Namun, jika sudah menjadi konsultan pemenangan, maka tentu tidak masuk akal bila lembaga survei tersebut bisa netral. Umumnya lembaga survei seperti ini yang menjadi konsultan lebih berfungsi sebagai alat propaganda.
Selanjutnya lagi soal keterbukaan menyangkut desain survei, konsep/teori, pengambilan sample, dan pelaksanaan di lapangan. Apakah person yang menjadi responden dapat dipublikasi ,siapa dan di mana? Sehingga memungkinkan "cross check" dilapangan dari masyarakat.
Sejauah ini kita melihat lembaga-lembaga survei di Amerika, yang dimulai oleh Pew Research dkk, dalam asosiasi AAPOR, telah membuka diri untuk diperiksa. Bagaimana di Indonesia? Maukah kita terbuka? Apakah para doktor ahli riset kuantitatif mau berpartisipasi?
Tanpa itu semua, penilaian para politisi terhadap Puskaptis mengalami kesalahan besar.
Atau apakah juga justru "counter" hasil survei Puskaptis terhadap hasil lembaga lain akan membongkar siapa sesungguhnya lembaga survei abal-abal itu?
Ikuti Whatsapp Channel Republika