Daftar Isi
Cekricek.id — Ada satu butir di ujian Bahasa Inggris Niaga Universitas Terbuka yang bercerita tentang inflasi, kebijakan moneter, dan peran bank sentral. Butir itu dipasang untuk menguji bahasa Inggris, bukan ekonomi. Namun peserta laki-laki lebih sering menjawabnya benar daripada peserta perempuan yang kemampuan bahasanya setara, dan peserta dari Jawa lebih sering benar daripada peserta dari luar Jawa pada tingkat kemampuan yang sama. Kejanggalan semacam itu punya nama sendiri dalam pengukuran pendidikan, bisa dilihat sebagai gambar, dan bisa diuji apakah ia kebetulan atau bukan. Yang menjadi persoalan sesudahnya bukan hitungannya, melainkan apa yang boleh disimpulkan dari hitungan itu.
Perhitungannya termuat dalam Is there any item or test bias in the Business English Test at Universitas Terbuka?, ditulis Agus Santoso, Timbul Pardede, dan Dyah Paminta Rahayu dari Universitas Terbuka bersama Heri Retnawati, Munaya Nikma Rosyada, dan Rugaya Tuanaya dari Universitas Negeri Yogyakarta, Rimajon Sotlikova dari Webster University in Tashkent, serta Begimbetova Guldana Atymtaevna dari Abai Kazakh National Pedagogical University. Artikel itu dimuat jurnal Diksi volume 33 nomor 2 terbitan 2025, dan seluruh isinya bertumpu pada satu perangkat soal yang sudah dipakai sungguhan untuk menentukan nilai ribuan mahasiswa.
Nama gejalanya differential item functioning, biasa disingkat DIF, dan terjemahan bebasnya adalah butir yang bekerja tidak sama untuk kelompok yang berbeda. Ini bukan pertanyaan tentang kelompok mana yang lebih pandai. Kalau dua peserta punya kemampuan setara pada hal yang sedang diukur tetapi peluang mereka menjawab benar sebuah butir ternyata berbeda, yang bermasalah adalah butirnya, bukan pesertanya. DIF menjadi persoalan serius karena hasil ujian lalu tidak lagi mencerminkan kemampuan yang hendak diukur, padahal nilai itu dipakai untuk mengambil keputusan tentang orangnya, mulai dari lulus atau mengulang sampai lama waktu studi.
Cara Kurva Peluang Menandai Butir yang Berat Sebelah
Mekanismenya berdiri di atas teori respons butir. Setiap peserta lebih dulu diberi satu bilangan kemampuan, lambangnya theta, yang dihitung dari seluruh jawabannya, bukan dari satu soal. Setiap butir kemudian digambar sebagai kurva: sumbu datar berisi tingkat kemampuan, sumbu tegak berisi peluang menjawab benar. Kurva itu digambar dua kali, satu untuk tiap kelompok yang dibandingkan. Kalau kedua kurva bertindih di sepanjang rentang, butirnya adil. Kalau keduanya merenggang pada rentang kemampuan tertentu, ada yang tidak beres, dan perenggangan itulah wujud kasatmata DIF. Besar kecilnya jarak antara dua kurva itu yang kemudian diuji dengan angka.
Bahan yang dipakai berasal dari ujian akhir semester Januari 2024 mata kuliah Bahasa Inggris Niaga berkode ADBI4201, Program Studi Administrasi Bisnis, Fakultas Hukum, Ilmu Sosial, dan Ilmu Politik Universitas Terbuka. Pesertanya 6.619 orang, terdiri atas 2.168 laki-laki dan 4.451 perempuan; 3.853 di antaranya berasal dari Jawa dan 2.766 dari luar Jawa. Yang dianalisis 28 butir. Koefisien alfanya 0,791, angka yang oleh tim itu dibaca sebagai konsistensi internal yang memadai, artinya butir-butir tersebut secara umum mengukur hal yang sama. Uji asumsi lain juga dijalankan lebih dulu: sebaran nilai eigen memperlihatkan satu faktor dominan, sehingga syarat satu dimensi dianggap terpenuhi.
Baca juga Generasi Sandwich dalam Novel Dompet Ayah Sepatu Ibu
Sebelum kurva bisa dipercaya, modelnya harus dipilih lebih dulu, dan pemilihan itu sendiri sudah menyisakan pertanyaan. Tim menguji lima model dan menghitung berapa butir yang cocok pada masing-masing. Model Rasch hanya cocok untuk dua butir, model satu parameter juga dua, model dua parameter 17, model tiga parameter 22, dan model empat parameter 23. Model empat parameter akhirnya dipakai karena paling banyak menampung butir, meski itu berarti masih ada lima butir yang tidak benar-benar pas dengan model yang dipilih untuk seluruh analisis, dan kelimanya tetap ikut dihitung.
Sesudah model ditetapkan, selisih antara dua kurva diuji kemaknaannya dengan perbandingan rasio kemungkinan, memakai perangkat lunak R. Hasilnya tegas: 26 dari 28 butir menunjukkan DIF berdasarkan jenis kelamin, dan hanya dua butir yang lolos, yaitu butir berkode b11 dan b23, keduanya dengan nilai p di atas 0,05. Untuk asal wilayah, 25 butir menunjukkan DIF. Angka itu tidak berarti 26 butir terlalu sulit bagi perempuan atau 25 butir terlalu sulit bagi peserta luar Jawa. Artinya lebih sempit: butir-butir tersebut tidak berperilaku sama di dua kelompok peserta yang kemampuannya sudah disetarakan lebih dulu.
Bentuk perenggangannya pun tidak seragam. Sebagian besar butir memperlihatkan DIF seragam, yaitu satu kelompok selalu diuntungkan di semua tingkat kemampuan. Sebagian kecil, yang oleh tim ditunjuk sebagai butir b2, b5, b6, b28, dan b30 pada analisis wilayah, memperlihatkan DIF tidak seragam: keuntungannya berpindah tangan tergantung tingkat kemampuan pesertanya. Butir jenis kedua ini yang paling menyusahkan, sebab tidak bisa diperbaiki dengan sekadar mengurangi bobot butir atau membuang satu pihak dari perbandingan, karena arah keberpihakannya sendiri berpindah di sepanjang rentang kemampuan.
Ketika Krisis 1997 Ikut Masuk ke Dalam Soal
Butir 17 dipakai tim itu sebagai contoh paling terang. Isinya menyangkut krisis moneter 1997 sampai 1998, sasaran inflasi, dan bank sentral. Pada tingkat kemampuan rendah, kurva kelompok laki-laki terangkat di atas kurva kelompok perempuan, dan jaraknya cukup lebar untuk terlihat tanpa alat bantu. Penjelasan yang ditawarkan tim adalah kebiasaan membaca: topik ekonomi dan keuangan lebih sering diakses laki-laki, sehingga isi bacaan pada soal itu terasa lebih akrab. Penjelasan tersebut bersandar pada literatur yang mereka kutip, bukan pada pengukuran di dalam penelitian ini sendiri, sehingga statusnya dugaan yang masuk akal, bukan hasil hitungan.
Butir yang sama juga menampilkan jarak antara peserta Jawa dan peserta luar Jawa. Alasannya, menurut tim itu, berkaitan dengan pengalaman langsung: guncangan krisis 1997 sampai 1998 terasa lebih keras di Jawa sebagai pusat kegiatan ekonomi, sehingga peserta dari sana punya rujukan yang lebih dekat ketika membaca soal tentang sasaran inflasi. Di luar butir 17, tim menyebut tiga faktor lain yang mereka anggap bekerja pada tingkat wilayah: perbedaan akses terhadap sumber belajar, latar budaya yang menentukan rujukan sehari-hari, dan bahasa pengantar yang dipakai peserta di luar ruang ujian, yang di Jawa dianggap lebih dekat dengan ragam bahasa pada soal.
Baca juga Tindak Tutur di Balik 215 Ulasan Google Kampus
Perlu ditegaskan bahwa ketiga faktor itu tidak diukur dalam penelitian ini. Yang diukur hanya jawaban benar dan salah, lalu diolah menjadi kurva. Penjelasan mengapa kurva merenggang adalah tafsir, bukan temuan. Uraian tim tentang perbedaan minat, gaya belajar, dan kemampuan verbal antara laki-laki dan perempuan seluruhnya bersandar pada rujukan penelitian lain di bidang psikologi dan pendidikan. Data mereka sendiri tidak memuat variabel apa pun tentang kebiasaan membaca, jurusan asal, pekerjaan, atau tempat tinggal peserta, sehingga tafsir tersebut tidak bisa diuji dengan bahan yang ada, dan pembaca hanya bisa menerimanya sebagai pinjaman dari kepustakaan lain.
Mengapa Bias Butir Tidak Selalu Tampak di Nilai Akhir
Bagian yang paling mudah disalahpahami dari penelitian ini adalah bahwa bias pada tingkat butir dan bias pada tingkat tes bisa menunjuk arah yang berbeda. Untuk melihat tingkat tes, tim menggambar kurva jenis lain: hubungan antara kemampuan dan perkiraan skor total, sekali lagi dipisah menurut kelompok. Kurva ini disebut differential test functioning. Bentuknya menjumlahkan seluruh butir sekaligus, termasuk butir yang menguntungkan satu kelompok dan butir yang menguntungkan kelompok lawan, sehingga sebagian dari ketidakadilan itu saling menghapus sebelum sampai ke angka akhir yang dilihat mahasiswa di kartu hasil studinya.
Hasil penjumlahan itu memang tidak sejalan dengan hasil per butir. Pada tingkat butir, tim menyimpulkan bias condong ke kelompok laki-laki. “Kami menemukan bias itu memihak kelompok laki-laki,” tulis tim tersebut dalam pembahasan. Namun pada tingkat tes, kurva kelompok perempuan justru sedikit lebih tinggi di rentang kemampuan rendah, lalu kedua kurva merapat di rentang menengah dan bertemu di rentang tinggi. Keunggulan kecil itu habis begitu kemampuan peserta naik, dan pada peserta terbaik kedua kelompok diperkirakan memperoleh skor total yang sama persis. Tim menyebut selisih itu tipis, tetapi tetap mencatatnya.
Baca juga Separuh Museum Indonesia Belum Menilai Koleksinya
Untuk asal wilayah, polanya justru terbalik. Di rentang kemampuan rendah kedua kurva hampir menempel, dan jarak baru muncul di rentang menengah sampai tinggi, dengan peserta Jawa berada sedikit di atas. Tim menyebut selisih pada tingkat tes ini kecil, tetapi tetap mencatatnya karena dapat memengaruhi cara nilai dibaca. Di sinilah letak jebakan yang sesungguhnya bagi siapa pun yang mengurus ujian: sebuah tes bisa tampak nyaris adil pada nilai akhir sementara sebagian besar butir penyusunnya bekerja tidak sama untuk dua kelompok peserta, dan pemeriksaan yang berhenti di nilai akhir tidak akan pernah menemukannya.
Di Mana Hitungan Itu Berhenti Menjelaskan
Hitungan tersebut berhenti pada beberapa titik yang diakui sendiri oleh penulisnya. Pada analisis berdasarkan wilayah, tiga butir tidak dapat ditentukan status DIF-nya karena uji kecocokannya tidak menghasilkan nilai yang bisa dibaca, dan tabelnya menuliskan ketiganya sebagai undetermined. Tim juga menyatakan bahwa perbedaan pada tingkat tes menurut wilayah masih memerlukan penyelidikan lanjutan untuk memastikan ujian tersebut tidak memihak satu kelompok. Dua pengakuan itu membatasi seberapa jauh angka 26 dan 25 boleh dibawa oleh pembacanya, dan keduanya ditulis di dalam artikelnya sendiri, bukan ditemukan dari luar.
Batas berikutnya berasal dari bentuk datanya. Yang diperiksa satu mata kuliah, satu perangkat soal, satu masa ujian. Temuan ini tidak mengatakan apa-apa tentang mata kuliah lain di Universitas Terbuka, apalagi tentang ujian di perguruan tinggi lain. Wilayah pun dipilah menjadi dua kotak besar saja, Jawa dan luar Jawa, sehingga perbedaan di dalam masing-masing kotak, antara kota besar dan pelosok misalnya, tidak terbaca sama sekali. Temuan sejenis di tempat lain pun sudah ada: Ahmadi dan Jalili pada 2014 menemukan DIF terkait lokasi dan jenjang pendidikan pada tes membaca di Iran, dan Roever pada 2007 menemukan butir yang bekerja berbeda bagi peserta berlatar Asia dan Eropa.
Yang ditawarkan tim sebagai jalan keluar bersifat teknis dan berurutan: mengenali lalu merevisi butir yang menunjukkan bias, meminta panel ahli menimbang kesetaraan gender dan konteks kewilayahan pada setiap butir sebelum soal dipakai, dan menjalankan analisis teori respons butir sebagai penyaring rutin. Mereka menambahkan satu hal yang bukan soal statistik, yaitu pelatihan bagi penyusun soal agar butir yang dibuat tidak bertumpu pada pengalaman satu kelompok saja. Saran terakhir ini yang paling sulit dijalankan, karena menyangkut kebiasaan menulis dan pengalaman hidup penyusunnya, bukan rumus yang bisa dijalankan ulang di komputer.
Kembali ke butir tentang bank sentral itu. Ia mungkin ditulis dengan niat baik, sebagai bacaan bisnis yang wajar bagi mahasiswa administrasi niaga. Persoalannya memang tidak pernah terletak pada niat penyusunnya. Sebuah butir soal selalu membawa serta dunia yang mengelilinginya: berita yang pernah dibaca, krisis yang pernah dirasakan, percakapan yang pernah didengar di meja makan. Ujian bahasa yang tidak menyadari muatan itu akan terus mengukur dua hal sekaligus, dan hanya melaporkan satu di antaranya sebagai nilai.
