PENGGUNAAN BENTUK SOAL PILIHAN GANDA

DALAM UJIAN

Wiwin Arbaini W

STAIN Curup Kab. Rejang Lebong, Bengkulu

Abstrak

Fleksibilitas dan kualitas bentuk soal pilihan ganda dapat mengukur jenjang kemampuan yang lebih kompleks dengan efektif, berbeda dengan soal obyektif lainnya yang hanya mampu mengukur jenjang kemampuan pengetahuan, pemahaman, dan aplikasi saja. Soal pilihan ganda sering digunakan dalam pengukuran pada skala besar dan standar nasional, baik pada lembaga pendidikan maupun bukan lembaga pendidikan yang sifatnya kompetitif. Seperti: UAN, UMPTN, dan pada kegiatan tes lainnya. Dengan adanya kritik tajam terhadap soal pilihan ganda yang tidak memenuhi syarat sebagai tes yang baik, maka suatu keharusan dilakukan upaya pembenahan dimulai dari penulisan soal hingga penganalisisan soal. Terdapat delapan variasi pokok yang popular soal pilihan ganda: 1) jawaban benar, 2) jawaban paling tepat, 3) pernyataan tak lengkap, 4) negatif, 5) analisis konteks, 6) alternative tak lengkap, 7) kombinasi, 8) kompleks. Beberapa keunggulan dan keterbatasan soal pilihan ganda, keunggulannya: cocok untuk mengukur ruang lingkup yang luas dan beragam secara komprehensif, mengukur semua jenjang kemampuan menurut taksonomi Bloom, dapat disusun yang reliabilitasnya memadai, karena jumlah soal yang cukup banyak, dapat disekor dengan mudah dan cepat, baik dengan mesin maupun secara manual. Keterbatasannya: dalam menulis soal bentuk pilihan ganda yang baik tidaklah mudah, terutama dalam hal menyediakan pengecoh (distraktor) yang berfungsi, maka ada kecenderungan penulis soal hanya menulis soal-soal yang mengukur jenjang yang rendah pada taksonomi Bloom, kurang mencerminkan kemampuan siswa yang sesungguhnya, dan siswa akan sangat dibatasi dalam pengembangan ide-ide baru, kemampuan berbahasa, menampilkan berbagai pengetahuan yang dimilikinya, bahkan kreativitasnya. Untuk memenuhi syarat tes yang baik, dilakukan analisis soal dengan tujuan mengadakan identifikasi butir soal yang baik, kurang baik, dan butir soal jelek, sehingga dapat diperoleh informasi tentang kejelekan sebuah soal dan “petunjuk” untuk mengadakan perbaikan. Pada tulisan ini dikemukakan cara analisis yang dianggap paling sederhana yaitu tanpa menggunakan rumus, kalkulator bahkan tanpa peralatan computer, analisis cukup dengan membuat table dan grafik, mengacu pada konsep bahwa soal yang baik adalah soal yang mampu membedakan kelompok atas dan kelompok bawah.

Kata kunci: soal pilihan ganda, syarat tes yang baik, variasi soal, keunggulan dan keterbatasan, analisis soal.

PENDAHULUAN

Peranan bentuk soal pilihan ganda (Multiple Choice Test) di Indonesia makin besar. Beberapa lembaga pendidikan sepertinya sebagian besar evaluasi hasil belajar dilakukan melalui penerapan tes berbentuk soal pilihan ganda. Demikian pula upaya untuk mengungkapkan potensi atau kemampuan belajar siswa juga dilakukan dengan menerapkan alat uji yang berbentuk soal pilihan ganda. Dewasa ini dalam kegiatan-kegiatan berskala besar, seperti Ujian Nasional (UN), Ujian Masuk Perguruan Tinggi Negeri (UMPTN), ujian saringan calon mahasiswa program Pasca Sarjana, seleksi calon penerima beasiswa belajar keluar negeri, seleksi Calon Pegawai Negeri Sipil, dilaksanakan hampir seluruhnya dengan menerapkan tes yang berbentuk soal pilihan ganda.

Dalam tulisan ini akan dikemukakan secara ringkas berbagai variasi bentuk soal pilihan ganda beserta contoh-contohnya. Selanjutnya akan dikemukakan pula keunggulan dan keterbatasan bentuk soal pilihan ganda dalam penerapannya untuk ujian, dan penulis sajikan juga cara sederhana dalam menganalisis bentuk soal pilihan ganda, dengan tujuan agar soal yang digunakan betul-betul soal yang berkualitas yang valid (sahih), handal, mampu mengukur apa yang hendak diukur dalam penilaian tersebut.

SOAL BENTUK PILIHAN GANDA (MULTIPLE CHOICE TEST)

Tes merupakan sebagai himpunan pertanyaan yang ha-rus dijawab, pernyataan yang harus dipilih/ditanggapi, atau merupakan tugas-tugas yang harus dilakukan oleh orang yang dites (testee) dengan tujuan untuk mengukur aspek perilaku tertentu dari orang yang dikenai tes (Nofijanti, L. dkk, 2008:3-1).

Tes Obyektif adalah tes yang dalam pemeriksaannya dapat dilakukan secara obyektif. Hal ini memang dimaksudkan untuk mengatasi kelemahan-kelemahan dari tes bentuk essay. Dalam penggunaan tes obyektif ini jumlah soal yang diajukan jauh lebih banyak daripada tes essay. Kadang-kadang untuk tes yang berlangsung selama 60 menit dapat diberikan 30-40 buah soal.

Berbeda dengan soal-soal obyektif lainnya yang hanya mampu mengukur jenjang kemampuan pengetahuan, pemaham-an, aplikasi. Soal pilihan ganda ini dapat mengukur jenjang kemampuan yang lebih komplek. Fleksibilitas dan kualitas soal mampu mengukur jenjang kemampuan yang lebih komplek dengan efektif, karena itu sering digunakan untuk pengukuran dengan standar nasional.

Multiple Choice Test terdiri atas suatu keterangan atau pemberitahuan tentang suatu pengertian yang belum lengkap. Dan untuk melengkapinya harus memilih satu dari beberapa kemungkinan jawaban yang telah disediakan. Multiple choice test atau soal bentuk pilihan ganda pada dasarnya terdiri dari dua bagian; yaitu batang tubuh soal (stem), yang berupa pertanyaan pengantar atau pernyataan tidak lengkap, dan dua atau lebih kemungkinan jawaban atau alternative (option). Secara teknis jawaban yang benar disebut jawaban atau kunci jawaban (key) dan yang lainnya disebut jawaban disebut pengecoh (penggoda, penyesat, pengganggu) di dalam bahasa Inggris disebut dis-tractors.

a. Jenis Analisis Konteks

Soal bentuk pilihan ganda jenis ini menuntut peng-ambil tes untuk memahami seluruh konteks soal yang biasa-nya mempunyai format formal, kemudian mengambil kesim-pulan darinya. Contoh: analisis cukup dengan membuat table dan grafik, mengacu pada konsep bahwa soal yang baik adalah soal yang mampu membedakan kelompok atas dan kelompok bawah.

1. Barang siapa tidak kehilangan sesuatu, dia masih mempunyai sesuatu itu.

Si Ani tidak kehilangan tahi lalat. Jadi, si Ani masih mempunyai tahi lalat

Penalaran di atas itu

A. Benar

B. Salah pada premis mayor

C. Salah pada premis minor

D. Salah pada kesimpulan

E. Tak dapat ditentukan, benar atau salah.

Jawaban = E

b. Jenis Alternative Tak-Lengkap

Kadang-kadang penulis soal berpendapat bahwa apabila kemungkinan jawaban itu ditulis lengkap akan terlalu jelas bagi pengambil tes, oleh karena itu soal tersebut tidak akan berfungsi sebagaimana diharapkan. Oleh karena itu kemungkinan jawaban ditulis tidak lengkap agar pengambil tes lebih “berfikir” dalam memilih jawaban yang benar. Contoh:

1. Nama murid Socrates yang terkenal bermula dengan huruf:

A. A sampai E

B. F sampai J

C. K sampai O

D. P sampai T

E. U sampai Z.

Jawaban = D (Plato),

Contoh lain:

2. Apabila anda menghitung akar 26, angka berapakah yang terdapat pada decimal kedua?

A. 5

B. 6

C. 7

D. 8

E. 9.

Jawaban = E (√26 = 5.099)

c. Jenis Kombinasi

Bentuk soal pilihan-ganda jenis kombinasi ini terdiri dari batang tubuh soal diikuti oleh sejumlah kemungkinan jawaban di antaranya satu atau lebih benar. Contoh:

PETUNJUK

Untuk soal-soal berikut ini pilihlah:

A. Jika (1), (2), dan (3) betul;

B. Jika (1) dan (3) betul

C. Jika (2) dan (4) betul;

D. Jika (4) saja yang betu;

E. Jika semuanya betul

Menurut bacaan di atas kelestarian lingkungan hidup di Indonesia terancam punah karena…

(1) Jumlah penduduk yang banyak

(2) Tingkat kelahiran yang lebih tinggi daripada ting-kat kematian.

(3) Struktur umur yang muda

(4) Pertumbuhan penduduk yang tinggi tanpa diikuti peningkatan produksi pangan.

Jawaban = A

d. Jenis Kompleks

Soal bentuk pilihan-ganda jenis kompleks terdiri atas pernyataan mengenai hubungan sebab-akibat, dan si peng-ambil tes diminta memilih dari kemungkinan jawaban yang berkenaan dengan benar-tidaknya sebab, benar-tidaknya akibat, dan ada tidaknya hubungan sebab akibat itu. Contoh:

PETUNJUK

Untuk soal-soal berikut setiap sol terdiri dari tiga bagian, yaitu: PERNYATAAN, kata SEBAB, dan ALASAN, yang disusun berurutan. Pilihlah:

A. Jika pernyataan betul, alasan betul, keduanya menunjukkan hubungan sebab-akibat.

B. Jika pernyataan betul dan alasan betul, tetapi ke-duanya tidak menunjukkan hubungan sebab-aki-bat.

C. Jika pernyataan betul dan alasan salah.

D. Jika pernyataan salah dan alasan betul.

E. Jika pernyataan dan alasan kedua-duanya salah.

Hasil penelitian di Indonesia relative kecil

SEBAB

Para sarjana Indonesia tidak mendapat pendidikan me-ngenai bagaimana caranya meneliti.

Jawaban = C

Kiranya jelas bahwa satu soal pilihan ganda jenis kompleks ini sebenarnya terdiri atas beberapa soal yang terjalin menjadi satu. Untuk dapat menjawabnya dituntut berfungsinya beberapa jenjang kompetensi sekaligus. Kedelapan macam/jenis bentuk soal pilihan ganda yang telah disajikan di atas adalah jenis-jenis yang pokok. Para penulis soal dapat memperkayanya dengan variasi lain.

Cara Mengolah Skor Tes Bentuk Pilihan Ganda

Untuk mengolah skor dalam tes bentuk pilihan ganda ini digunakan 2 macam rumus:

a). Dengan denda, dengan rumus:

W

S = R ———–

0 – 1

S = skor yang diperoleh (Raw Score)

R = jawaban yang betul

W = jawaban yang salah

O = banyaknya option

1 = bilangan tetap

Contoh: murid menjawab betul 17 soal dari 20 soal. Soal bentuk multiple choice ini dengan menggunakan option sebanyak 4 buah.

3

Skor = 17 ——- = 16

4 1

b) Tanpa denda, dengan rumus: S = R

BEBERAPA ISSUE AKADEMIK-TEKNIS DALAM SOAL BEN-TUK PILIHAN GANDA

Ada sejumlah “issue” yang telah dijadikan bahan kajian oleh para ahli di bidang pengukuran psikologis. Beberapa “issue” akan dikemukakan di sini, sekedar untuk ilustrasi.

Jumlah Kemungkinan Jawaban

Di Indonesia pada kegiatan berskala besar, seperti pe-nyelenggaraan UMPTN, dan UN, selalu menggunakan soal bentuk pilihan ganda dengan lima kemungkinan jawaban. Demikian pula tes-tes yang diproduksi oleh ETS dan ACT pada umumnya juga menggunakan lima kemungkinan jawaban. Apakah lima kemungkinan jawaban itu yang paling tepat. Ternyata tidak demikian bila digunakan criteria yang diajukan oleh Tversky (1964:158) yaitu; (a) test power, (2) test discrimination capacity, dan (3) test information. Menurut Tversky soal-soal yang memberi kontribusi optimal pada ketiga criteria itu adalah soal-soal yang menggunakan tiga kemungkinan jawaban. Hasil-hasil penelitian mengenai hal ini tidak seragam. Beberapa penelitian mendukung konsep Tversky, seperti misalnya penelitian Costin (1970)) Hogben (1973), beberapa penelitian lain tidak mendu-kung, misalnya penelitian Ebel (1969), Mattson (1965).

Kaitan Dengan Reliabilitas Tes

Pada umumnya skor untuk masing-masing soal adalah 1 (jika benar) atau 0 (jika salah). Serlin dan Kaiser (1978) menemukan bahwa sekiranya lebih dari satu kemungkinan jawaban yang benar (dengan skor berjenjang) maka koefisien reliabilitas akan meningkat. Wilson (1982) menunjukkan bahwa dengan bentuk soal yang lazim, diskor 1 atau 0, koefisien reliabilitas juga akan tinggi sekiranya taraf kesukaran p ada di sekitar 0.50.

Response Biases

Penelitian-penelitian mengenai kecendrungan memilih kemungkinan jawaban tertentu karena penampilan soalnya (response bias) telah banyak dilakukan. Kecenderungan itu ternyata tertuju pada: 1) kemungkinan jawaban yang lebih panjang dari kemungkinan yang lainnya, 2) kemungkinan jawaban yang berbunyi “semua yang tersebut di atas”, dan 3) kemungkinan yang disebut pertama (A) relative kurang sering dipilih.

Subjective Judgment Mengenai Karakteristik Soal Pilihan Ganda

Sekelompok pakar diminta membuat pendapat (subjecti-ve judgment) mengenai karakteristik soal-soal pilihan ganda dalam hal (1) taraf kesukaran, (2) kompleksitas bahasa, (3) relevansi isi, (4) kesesuaian dengan response set, dan (5) kompleksitas proses. Hasil-hasil penelitian ini ternyata masih beragam (Green, 1983: Quereshi dan Fisher, 1977; Ryan, 1968).

Apakah yang telah disajikan di atas sekedar merupakan ilustrasi untuk menunjukkan bahwa secara teoretis banyak sekali hal yang dapat diangkat menjadi bahan kajian mengenai bentuk soal pilihan ganda ini.

CARA SEDERHANA ANALISIS SOAL BENTUK PILIHAN GANDA

Tidak ada usaha guru yang lebih baik selain usaha untuk selalu meningkatkan mutu tes yang disusunnya. Namun hal ini tidak dilaksanakan karena kecenderungan seseorang untuk ber-anggapan bahwa yang menjadi hasil karyanya adalah yang terbaik, atau setidak-tidaknya sudah cukup baik.

Tabel 1. Berisi data peserta tes yang disusun berdasarkan urutan subyeknya.

SUBYEK

1

2

3

4

5

6

7

8

9

10

11

12

S

1

0

1

1

0

1

0

0

0

1

1

1

1

O

2

1

1

1

0

1

0

1

1

1

1

1

0

A

3

1

1

0

1

1

1

1

1

1

1

1

0

L

4

1

1

0

0

0

0

0

1

1

1

1

0

5

0

0

0

1

0

1

1

1

1

0

1

0

6

1

1

0

0

1

0

1

0

1

1

1

0

7

1

1

0

1

1

1

0

1

1

1

1

0

8

1

1

0

0

0

0

0

1

1

0

0

0

9

0

0

1

1

0

1

1

1

1

1

1

1

10

0

0

0

0

0

0

0

0

0

0

0

0

6

7

3

4

5

4

5

6

9

7

8

2

Artinya data dapat diurutkan berdasarkan absensi kelas atau nomor tes. Baris paling atas adalah nomor subjek. Kolom paling kiri adalah nomor soal

Tabel 2. Berisi data peserta tes, tetapi telah diurutkan skor perolehannya. Dari kecil ke besar. Kemudian di bagi menjadi tiga kelompok: KA (kelompok atas), KS (Kelompok sedang), dan KB (Kelombok Bawah)

S U B J E K ———————-à

< kel bawah >

< kel sedang >

< kel atas >

12

3

4

6

5

7

8

1

2

10

11

12

Total

S

1

1

1

0

0

1

0

0

0

1

1

1

1

7

O

2

0

1

0

0

1

1

1

1

1

1

1

1

9

A

3

0

0

1

1

1

1

1

1

1

1

1

1

9

L

4

0

0

0

0

0

0

1

1

1

1

1

1

6

5

0

0

1

1

0

1

1

0

0

0

1

1

4

6

0

0

0

0

1

1

0

1

1

1

1

1

7

7

0

0

1

1

1

0

1

1

1

1

1

1

9

8

0

0

0

0

0

0

1

1

1

0

0

1

4

9

1

1

1

1

0

1

0

0

0

1

1

1

7

10

0

0

0

0

0

0

0

0

0

0

0

0

0

Total

2

3

4

4

5

5

6

6

7

7

8

9

Table 2, data diurutkan berdasarkan skor, dibagi menjadi 3 kelompok. Subyek 5, 7, 8, dan 1 kelompok sedang (KS). Subyek no.2, 9, 10, dan 11 kelompok atas (KA), dan subyek no. 3, 4, 6, dan 12 kelompok bawah (KB). Selanjutnya untuk melihat kualitas soal dengan cara membandingkan respon kelompok bawah (KB) dan kelompok atas (KA) menggunakan diagram balok di bawah ini, soal yang baik tentunya harus dapat membedakan KA dan KB. Jawaban KA harus lebih banyak dari KB. Melihat diagram no.1 adalah soal yang baik (dapat diterima), soal no.5 dan no.9 adalah kurang baik. Soal no.5 tidak dapat membedakan KA dan KB, dan soal no.9 KB lebih baik dari KA.

Diagram Balok tanpa memasukkan data KS (Kelompok Sedang)

Respon untuk soal no.1 Respon untuk soal no.5

1 1 0 0

1 0 0 0

1 1 1 1

0011

0110

0011

5

2,5

2

Y

1,5

KB

KA

1

0,5

0

4

Y

3

KA

2

1

KB

0

X X

Respon untuk soal no.9

1 1 11

0100

0111

5

4

Y

3

KB

2

KA

1

0

Jika kita ingin melakukan analisis soal dengan lebih teliti, dapat pula dimasukkan kelompok tengah/sedang (KS), lihat diagram balok di bawah ini.

Diagram Balok dengan memasukkan data KS (Kelompok Sedang)

Respon untuk soal no.1 Respon untuk soal no.5

5

4

Y

3

KA

2

KS

1

KB

0

X X

2,5

2

Y

1,5

KB

KS

KA

1

0,5

0

Respon untuk soal no.9

5

4

Y

3

KB

2

KA

1

KS

0

X

Bila soal yang kita buat mempunyai pola seperti gambar 5 di bawah ini maka soal tersebut mempunyai diskriminasi yang positif, mampu membedakan siswa yang berkemampuan rendah dan berkemampuan tinggi. Bila polanya seperti gambar 1, 2, 3, dan 4 pada gambar di bawah ini maka soal tersebut merupakan soal yang tidak baik. Soal no.6 dan soal no.7 tidaklah merupakan soal yang jelek, namun soal ini masih perlu dipertimbangkan untuk dipakai. Soal no.6 tidak dapat membedakan KB dan KS, namun dapat membedakan KB bersama KS dan KA. Soal no.7 dapat membedakan KB dengan KS dan KA, namun tidak dapat membedakan KS dengan KA.

Soal dengan pola respon 5, menandakan soal tersebut mampu membedakan KB, KS dan KA. Jumlah yang menjawab benar pada KA lebih banyak dari KS dan KB. Soal demikian ini dapat dikatakan sebagai soal yang baik.

Soal yang mempunyai pola respon 1, menunjukkan bahwa tidak ada perbedaan jumlah respon baik pada KA, KS, dan KB. Soal demikian tidak memberikan informasi. Dengan kata lain soal ini tidak mampu memberikan informasi perbedaan KA, KS, dan KB. Soal demikian dikategorikan soal yang tidak baik.

Soal yang mempunyai pola respon 2, menunjukkan KB mencapai skor yang lebih banyak dibandingkan KS. KS mencapai skor lebih banyak dari KA. Soal ini menyalahi aturan bahwa kelompok atas harus mempunyai jumlah jawaban yang benar lebih banyak dari KB. Dengan demikian soal dengan pola 2 dikatakan soal jelek.

Soal yang mempunyai pola respon 3, merupakan soal yang tidak baik, terlihat bahwa KS lebih tinggi skornya dibandingkan KA dan KB, soal demikian tersebut tidak stabil. Demikian juga soal dengan pola 4 adalah soal yang tidak baik, terlihat bahwa KS lebih rendah dari KB dan KA, soal demikian tidak stabil.

Soal yang mempunyai pola respon 5 merupakan soal yang terbaik, KA lebih tinggi dari KS dan KB dan jumlah skornya sama.

Untuk soal no.6, sekalipun soal ini tidak sesmpurna pola 5, tetapi sudah mampu membedakan KB, KS, dan KA. Dengan demikian soal masih dapat diterima. Demikian pula pola soal no.7, sekalipun soal tersebut tidak dapat membedakan KA dan KS tetapi masih mampu membedakan KB dan KA.

Gambar/Pola 1

DITOLAK

2

Gambar/Pola 2

DITOLAK

Gambar/Pola 3

DITOLAK

Gambar/Pola 4

DITOLAK

Gambar/Pola 5

DITERIMA

Gambar 6

DITERIMA/DITOLAK

Gambar/Pola 7

DITERIMA/DITOLAK

Dengan menggunakan model pola kita dapat menetapkan suatu pola diterima atau ditolak berdasarkan bentuk pola, berikut:

Contoh Soal:

Bila skor KB = 10, KS = 15 dan KA = 2

Soal demikian sesuai dengan pola 5 maka soal ini diterima. Dengan demikian bila ingin menganalisis soal, kita cukup membuat garis- yang menggambarkan respon KB, KS, dan KA. Langkah selanjutnya untuk menerima atau menolak soal adalah dengan mencocokkannya dengan 7 pola di atas.

SIMPULAN DAN SARAN

Simpulan

Berdasarkan uraian di atas, dapat disimpulkan bahwa soal bentuk pilihan ganda telah mulai dikenal di Indonesia sejak tahun 1960-an. Namun sepanjang pengamatan penulis pengenal-an masyarakat, juga masyarakat pendidik, terhadapnya masih sangat dangkal. Kiranya masih banyak hal yang perlu dilakukan guna memanfaatkan secara optimal soal-soal bentuk pilihan ganda itu.

Berbagai variasi soal pilihan ganda yang pokok dan popular antara lain: 1) jawaban benar, 2) jawaban paling tepat, 3) pernyataan tak lengkap, 4) negatif, 5) analisis konteks, 6) alternative tak lengkap, 7) kombinasi, 8) kompleks. Para penulis soal dapat memperkaya dengan variasi yang lain.

Beberapa keunggulan dan keterbatasan soal pilihan ganda, keunggulannya: cocok untuk mengukur ruang lingkup yang luas dan beragam secara komprehensif, mengukur semua jenjang kemampuan menurut taksonomi Bloom, dapat disusun yang reliabilitasnya memadai, karena jumlah soal yang cukup banyak, dapat diskor dengan mudah dan cepat, baik dengan mesin maupun secara manual.

DAFTAR PUSTAKA

Aiken, L.R. (1982). Writing Multiple Choice Items to Measure High Order Educational Objectives. Educational and Psychological Measurement, 42, 803-806.

Arikunto, S.(1989). Dasar-dasar Evaluasi Pendidikan. Jakarta: Bina Aksara, XI,161-172.

Green, K.E. (1983). Subjective Judgment of Multiple Choice Characteristics. Educational and Psycological Measurement, 43, 563-570.

Joesmani.(1988). Pengukuran dan Evaluasi dalam Pengukuran. Jakarta: Depdikbud Dirjen PT.

Mentzer, T.L.(1982). Response Biases in Multiple Choice Item Files. Educational and Psycological Measurement, 42, 437-448.

Muller, D.J.(1975). An Assessment of the Effectiveness of Complex Alternatives in Multple Choice Achievement Test Items. Educational and Psycological Measurement, 35, 135-145.

Nofijanti, L. dkk..(2008). Evaluasi Pembelajaran edisi pertama paket 1-14. Lapis PGMI: Learning Assistance Program for Islamic Schools.

Straton, R.G.(1980). A Comparison of Two, Three, and Four Choice Items Test Given a Fixed Total Number of Choices. Educational and Psycological Measurement, 40, 357-365.

Suryabrata, S.(1987). Pengembangan Tes Hasil Belajar. Jakarta: Rajawali.

Wilson, V.L.(1982). Maximizing Reliability in Multiple Choice Questions. Educational and Psycological Measurement, 42, 69-72.