Chatbot Sering Benar soal Chikungunya, tapi Bahasanya Rumit

Sebuah chatbot bisa menjawab benar sebagian besar soal ujian tentang chikungunya, lalu menuliskan penjelasan yang terlalu berat untuk dibaca orang kebanyakan. Kedua hal itu muncul bersamaan dalam satu penelitian yang sama. Ketepatan dan kemudahan dibaca ternyata tidak selalu berjalan beriringan. Jawaban yang benar belum tentu menjadi jawaban yang bisa dipahami dan dijalankan oleh orang awam.

Untuk melihat jarak antara benar dan mudah itu, sebuah tim peneliti di Tiongkok menguji empat chatbot kecerdasan buatan yang banyak dipakai publik: ChatGPT, DeepSeek, Gemini, dan Claude. Mereka tidak hanya bertanya apakah jawabannya tepat. Mereka juga menimbang apakah jawaban itu bisa dipercaya, mencantumkan sumber, dan cukup sederhana untuk materi kesehatan masyarakat. Hasilnya menunjukkan kemajuan yang nyata pada satu sisi, dan kekurangan yang bertahan pada sisi lain.

Penelitian itu ditulis Qi Zhuang dari Department of Urology, Medical School, South China Hospital, Shenzhen University, Tiongkok, dan rekan. Laporannya berjudul Are AI chatbots ready for chikungunya public education? Evidence on validity, reliability, and readability dan terbit di jurnal BMC Public Health volume 26 tahun 2026. Para penulis menegaskan sejak awal bahwa hasil mereka bukan bukti kesiapan chatbot untuk dipakai dalam layanan kesehatan masyarakat, dan bukan pula dukungan untuk platform mana pun.

Cara Chatbot Diuji dengan Soal yang Diulang Tiga Kali

Para peneliti memilih chikungunya karena salah paham publik bisa langsung memengaruhi pencegahan dan pengenalan dini. Penyakit ini disebabkan virus chikungunya yang ditularkan terutama oleh nyamuk Aedes aegypti dan Aedes albopictus, dengan gejala demam tinggi mendadak, nyeri sendi berat, ruam, dan lelah. Kematian jarang terjadi, tetapi keluhan sendinya bisa berlarut. Pada 2025 penyakit ini meluas, termasuk penularan lokal di Tiongkok dengan sekitar 8.000 kasus di Guangdong, di Prancis 383 kasus, dan di Italia 167 kasus.

Menurut para peneliti, informasi yang keliru bisa melemahkan upaya menghindari gigitan nyamuk, menunda pengenalan gejala penting, dan mengaburkan beda chikungunya dengan dengue. Karena itu mereka menyiapkan dua ujian. Yang pertama berupa 50 soal pilihan ganda, masing-masing ditanyakan tiga kali ke enam versi chatbot dengan riwayat percakapan dihapus setiap kali. Yang kedua berupa 13 pertanyaan yang banyak dicari publik, disusun panel dokter penyakit infeksi dari 25 kueri teratas Google Trends 2020 sampai 2025.

Baca juga Lansia Sarang Kosong di Tiongkok Mengusir Sepi Lewat Chatbot AI

Ke-13 pertanyaan itu dipilih agar jelas bagi pembaca awam. Isinya mulai dari apa itu chikungunya, bagaimana penularannya, di mana penyakit ini banyak ditemukan, apa gejalanya, bagaimana diagnosis dan pengobatannya, sampai apakah sudah ada vaksin. Tiga pertanyaan terakhir menanyakan cara membedakan chikungunya dari demam dengue, penyakit virus Zika, dan malaria. Jawaban empat chatbot atas pertanyaan inilah yang kemudian dinilai mutunya dan dihitung tingkat keterbacaannya.

Versi Baru Menjawab Lebih Tepat daripada Pendahulunya

Pada ujian pilihan ganda, DeepSeek-V3.2 meraih rata-rata jawaban benar tertinggi, yaitu 86,7 persen. Angka terendah dicatat ChatGPT-4o dengan 72,0 persen, sementara model lain berada di kisaran tengah dengan hasil yang mirip. Variasi antarputaran kecil, dengan simpangan paling besar 2,3 poin persen, dan tidak ada sama sekali pada DeepSeek-R1. Menurut para peneliti, ini menandakan jawaban yang stabil ketika soal yang sama ditanyakan ulang.

Yang menarik justru perbandingan di dalam satu keluarga produk. ChatGPT-5 rata-rata menjawab benar 77,3 persen, naik 5,3 poin persen dari ChatGPT-4o, dan tingkat salahnya turun dari 28,0 persen menjadi 22,7 persen. DeepSeek-V3.2 mencapai 86,7 persen dibandingkan 78,0 persen pada DeepSeek-R1, naik 8,7 poin persen. Tingkat salahnya menyusut dari 22,0 persen menjadi 13,3 persen.

Karena itu para peneliti membaca adanya pola yang konsisten: generasi yang lebih baru menjawab soal dengan lebih tepat daripada pendahulunya. Gemini 2.5 Pro dan Claude Sonnet 4.5 hanya diuji dalam satu versi, sehingga tidak masuk perbandingan semacam ini. Persoalannya, ketepatan rata-rata yang tinggi masih menyisakan kesalahan yang letaknya tidak sepenuhnya acak.

Empat Soal yang Tak Pernah Terjawab Benar

Ketika jawaban yang salah ditelusuri, ada empat soal yang tidak pernah dijawab benar oleh keenam chatbot di semua percobaan. Soal pertama menanyakan gejala klinis khas demam chikungunya. Soal kedua tentang ambang pengendalian nyamuk untuk menyatakan sebuah wabah sudah berakhir. Soal ketiga tentang beda kriteria kasus suspek dengan kriteria diagnosis yang sudah dikonfirmasi, dan soal keempat tentang penanganan peradangan otot jantung atau gagal jantung yang terkait chikungunya.

Menurut para peneliti, kesalahan itu mengumpul pada bidang yang menuntut pengetahuan pedoman yang persis, cara mendiagnosis dengan menyingkirkan kemungkinan lain, atau keputusan penanganan yang bergantung pada keadaan pasien. Para penulis menyimpulkan, dalam terjemahan bebas, “Pola ini menunjukkan bahwa bahkan ketika akurasi faktual secara keseluruhan relatif tinggi, chatbot mungkin tetap rentan di bidang yang bergantung pada standar kesehatan masyarakat yang persis, penalaran diagnosis berbasis penyingkiran, atau penilaian pengobatan yang bernuansa.”

Baca juga Demam Berdarah Guangzhou Terkait Pohon Rindang di Tujuan Warga

Jawaban Dinilai Dokter, Sumbernya Jarang Disebut

Untuk 13 pertanyaan publik, dua dokter penyakit infeksi menilai tiap jawaban tanpa mengetahui chatbot mana yang menulisnya. Mereka memakai empat alat ukur mutu informasi kesehatan: DISCERN, EQIP, GQS, dan patokan JAMA. Skor keempatnya berbeda bermakna antarchatbot. DeepSeek-V3.2 meraih rata-rata tertinggi di semua alat ukur, misalnya 42,23 pada DISCERN dibandingkan 34,00 sampai 35,54 pada tiga chatbot lainnya.

Pada GQS, alat ukur mutu keseluruhan, DeepSeek-V3.2 mencatat 3,85, Gemini 2.5 Pro 3,54, Claude Sonnet 4.5 3,31, dan ChatGPT-5 3,08. Gambaran per pertanyaan juga serupa: keunggulan DeepSeek-V3.2 muncul di sebagian besar butir, bukan hanya pada beberapa pertanyaan. Namun ada satu angka yang rendah untuk semua chatbot, dan angka itu menyangkut keterbukaan sumber.

Patokan JAMA memeriksa empat hal: siapa penulisnya, dari mana sumbernya, kapan diperbarui, dan siapa pemiliknya. Rata-rata skornya hanya 0,54 untuk DeepSeek-V3.2, 0,31 untuk ChatGPT-5, dan 0,08 untuk Claude Sonnet 4.5 maupun Gemini 2.5 Pro. Para peneliti menjelaskan, sebuah jawaban bisa tampak lengkap dan berguna, tetapi tetap rendah nilainya di JAMA bila tidak menyebut sumber atau tanggal pembaruan.

Bahasa yang Melampaui Tingkat Kelas Enam

Sisi kedua dari teka-teki di awal tulisan ini ada pada keterbacaan. Di Amerika Serikat, AMA dan NIH menganjurkan materi kesehatan untuk pasien ditulis setara tingkat kelas enam. Para peneliti mengukur jawaban berbahasa Inggris dengan enam indeks. Lima di antaranya memperkirakan tingkat kelas sekolah yang dibutuhkan untuk memahami teks, dengan acuan di bawah 6, sedangkan FRES berskala 0 sampai 100 dan dianggap memadai mulai angka 80.

Tak satu pun chatbot mendekati acuan itu. Skor FRES rata-rata DeepSeek-V3.2 adalah 50,15, ChatGPT-5 40,77, Gemini 2.5 Pro 36,31, dan Claude Sonnet 4.5 34,92. Pada indeks FKGL, angkanya berkisar dari 9,40 untuk DeepSeek-V3.2 hingga 12,69 untuk Gemini 2.5 Pro, semuanya di atas angka 6. DeepSeek-V3.2 menghasilkan teks yang paling mudah, Gemini 2.5 Pro yang paling rumit, sementara ChatGPT-5 dan Claude Sonnet 4.5 berada di tengah.

Bagi para peneliti, jarak ini bukan perkara gaya bahasa semata. Mereka menulis bahwa “keterbacaan teks bukan sekadar soal gaya; ia memengaruhi pemahaman, kepercayaan, dan kemungkinan pengguna menerjemahkan informasi menjadi perilaku pencegahan atau pencarian perawatan yang tepat.” Kesimpulan itu sama di keenam indeks meski arah skornya berbeda, sehingga sulitnya bacaan mereka anggap temuan umum, bukan kebetulan satu alat ukur.

Bahasa Soal Ikut Menentukan Peringkat

Peringkat ujian pilihan ganda juga perlu dibaca bersama susunan soalnya. Dari 50 soal, 40 berbahasa Tionghoa dan 10 berbahasa Inggris, dan setiap soal diajukan dalam bahasa aslinya. Semua chatbot lebih akurat pada soal berbahasa Inggris. DeepSeek-V3.2 menjawab benar 83,3 persen soal berbahasa Tionghoa, sementara model lain 68,3 sampai 73,3 persen.

Pada soal berbahasa Inggris, DeepSeek-V3.2 dan DeepSeek-R1 sama-sama menjawab benar 30 dari 30 percobaan, disusul ChatGPT-5 dengan 29 dari 30. Karena soal berbahasa Tionghoa mencakup 80 persen ujian, para penulis mengakui peringkat keseluruhan lebih banyak dipengaruhi soal berbahasa Tionghoa. Mereka juga menegaskan penelitian ini tidak menilai netralitas politik, perlindungan privasi, praktik pemindahan data, maupun keberterimaan lembaga.

Baca juga Imigran India di Jepang: Makin Melek Kesehatan, Makin Jarang Puas

Alat Bantu yang Tetap Perlu Diawasi

Penulis paper mencatat sejumlah keterbatasan. Ke-13 pertanyaan dan 50 soal belum mencakup semua kasus klinis, dan hasilnya terikat pada versi model serta kondisi akses pada 2025 yang terus berubah. Indeks keterbacaan juga tidak mengukur pemahaman nyata pasien, sedangkan data Google Trends tidak mewakili kelompok rentan, pembaca berliterasi rendah, atau orang dengan akses internet terbatas.

Dari temuan itu, mereka menyarankan fitur keterbukaan bawaan pada jawaban kesehatan: penulis atau pemilik yang terlihat, tanggal pembaruan, dan sitasi yang jelas. Mereka juga mengusulkan kendali tingkat bacaan otomatis, penulisan ulang dengan bahasa sederhana, serta penjelasan berlapis berupa pesan singkat dengan rincian tambahan. Chatbot dapat membantu menyusun draf pesan atau daftar tanya jawab, tetapi materi akhir untuk publik tetap ditinjau dokter atau lembaga kesehatan.

Dalam kesimpulannya, para penulis mencatat versi chatbot yang lebih baru memang lebih tepat menjawab soal, tetapi tanda keterbukaan sumbernya rendah dan tak satu pun memenuhi acuan bacaan tingkat kelas enam. Mereka menulis, “Keluaran chatbot karena itu sebaiknya diperlakukan sebagai pelengkap, bukan pengganti, komunikasi kesehatan masyarakat tentang chikungunya yang sudah mapan dan materi edukasi yang ditinjau klinisi.”