JAKARTA, BakabaNews — Layanan kecerdasan buatan dipasarkan dengan tarif yang sama untuk semua orang, tetapi biaya sesungguhnya tidak dirasakan sama oleh semua penutur bahasa. Pengguna berbahasa Indonesia membayar lebih mahal untuk pekerjaan yang sama, dan sejumlah pengujian menunjukkan jawaban yang mereka terima cenderung kurang akurat.
Keduanya berakar pada hal teknis yang jarang dibahas: cara model memecah teks, dan komposisi data yang dipakai melatihnya.
Satu kalimat, jumlah potongan berbeda
Model bahasa tidak membaca huruf atau kata, melainkan token — potongan teks hasil pemecahan oleh komponen bernama tokenizer. Tagihan layanan AI dihitung per token, begitu pula batas panjang percakapan yang bisa ditampung.
Masalahnya, tokenizer umumnya dibangun dari data yang didominasi bahasa Inggris. Bahasa lain akhirnya dipecah menjadi potongan yang lebih kecil dan lebih banyak untuk menyampaikan makna yang sama.
Pengukuran dalam riset Komodo yang terbit pada Maret 2024 memberi angka konkret. Dengan tokenizer Llama-2, teks bahasa Indonesia membutuhkan rata-rata 2,858 token per kata, sementara bahasa Inggris hanya 1,666 token per kata. Selisihnya sekitar 1,7 kali lipat — teks Indonesia menghabiskan sekitar 72 persen lebih banyak token untuk isi yang setara.
Konsekuensinya berlapis. Biaya per satuan makna naik dengan proporsi yang sama. Waktu tunggu bertambah karena token yang diproses lebih banyak. Dan jendela percakapan efektif menyusut: batas token yang sama menampung dokumen berbahasa Indonesia yang jauh lebih pendek daripada dokumen Inggris.
Ketimpangan ini bukan khas Indonesia saja. Penelitian tim Universitas Oxford yang dipresentasikan pada konferensi NeurIPS 2023 menemukan teks yang sama, diterjemahkan ke berbagai bahasa, dapat menghasilkan panjang token yang berbeda hingga 15 kali lipat. Para penulisnya menyebut dampaknya secara eksplisit: biaya tidak setara, latensi lebih tinggi, dan ruang konteks lebih sempit bagi penutur bahasa yang dirugikan.
Bahasa daerah menanggung beban serupa. Pengukuran yang sama mencatat rata-rata 2,658 token per kata untuk bahasa-bahasa daerah Indonesia — masih jauh di atas bahasa Inggris.
Diuji dengan soal sekolah Indonesia
Soal akurasi, ada tolok ukur yang dirancang khusus. IndoMMLU, yang dipublikasikan pada konferensi EMNLP 2023, menguji model dengan 14.981 soal dari 64 mata pelajaran, mulai jenjang sekolah dasar sampai ujian masuk perguruan tinggi. Sekitar 46 persen soalnya menyasar kemampuan berbahasa Indonesia serta sembilan bahasa dan budaya daerah.
Hasil pengujian terhadap GPT-3.5 kala itu: nilai keseluruhan 53,2 persen, dengan pola yang menurun tajam seiring naiknya jenjang.
- Sekolah dasar: 76,3 persen
- Sekolah menengah pertama: 67,8 persen
- Sekolah menengah atas: 52,8 persen
- Ujian masuk perguruan tinggi: 43,7 persen
Dengan ambang kelulusan 65 persen yang dipakai penelitian tersebut, model hanya lolos di tingkat sekolah dasar — dan judul makalahnya memang menyatakan hal itu secara terbuka. Pada bagian soal bahasa dan budaya daerah, nilainya turun ke 39,3 persen, mendekati tebakan acak.
Angka ini perlu dibaca dengan konteksnya. Pengujian dilakukan pada 2023 terhadap model generasi saat itu, dan model-model yang lebih baru hampir pasti mencatat hasil lebih tinggi. Yang bertahan adalah polanya: semakin dalam materi menyentuh konteks lokal, semakin lebar jaraknya dengan performa berbahasa Inggris. Model yang sama dilaporkan mencatat sekitar 70 persen pada tolok ukur MMLU berbahasa Inggris pada periode yang sama.
Model yang disesuaikan unggul jauh
Perbandingan pada tolok ukur SEA-HELM, yang dikembangkan AI Singapore untuk bahasa-bahasa Asia Tenggara, memperlihatkan seberapa besar pengaruh penyesuaian regional. Model umum berukuran 8 miliar parameter mencatat nilai 46,7 untuk bahasa Indonesia, sementara model berukuran setara yang dilatih khusus untuk kawasan ini mencapai 65,1.
Menariknya, bahasa Indonesia justru bahasa yang paling baik ditangani model umum di antara bahasa-bahasa Asia Tenggara, karena jejak datanya di internet paling banyak. Bahasa Tamil dan Filipina jatuh jauh lebih dalam. Artinya, kesenjangan yang dialami pengguna Indonesia masih tergolong ringan dibandingkan tetangganya.
Tolok ukur yang berat sebelah
Ada persoalan lebih halus pada cara kemampuan model diukur. Proyek Global MMLU yang terbit Desember 2024 memeriksa 42 bahasa dan menemukan sekitar 28 persen soal pada tolok ukur MMLU membutuhkan pengetahuan yang terikat budaya tertentu. Dari soal-soal berpengetahuan geografi, 84,9 persen menyangkut Amerika Utara atau Eropa.
Temuan itu berarti nilai MMLU yang sekadar diterjemahkan ke bahasa Indonesia cenderung melebih-lebihkan kemampuan sesungguhnya dalam konteks Indonesia. Peringkat model pun jauh lebih goyah pada soal-soal bermuatan budaya dibandingkan soal netral.
Yang bisa dilakukan pengguna
Beberapa langkah praktis mengikuti temuan di atas:
- Perlakukan fakta lokal sebagai bagian paling rawan. Nama pejabat, peraturan daerah, sejarah lokal, dan istilah bahasa daerah termasuk yang paling sering keliru. Verifikasi ke sumber resmi.
- Perhitungkan biaya token. Bagi pengembang yang memakai layanan berbayar, anggarkan sekitar 1,6 sampai 1,75 kali jumlah token dibandingkan perkiraan berbasis bahasa Inggris.
- Pertimbangkan model yang disesuaikan untuk kawasan ini bila pekerjaannya menyangkut bahasa daerah atau konteks lokal.
- Sediakan konteksnya sendiri. Menempelkan dokumen sumber ke dalam percakapan jauh lebih andal daripada mengandalkan ingatan model tentang Indonesia.
Perkembangan di dalam negeri berjalan ke arah yang sama. Sejumlah proyek terbuka seperti IndoNLU, NusaX, NusaCrowd, dan Cendol dibangun justru untuk menutup jarak ini, dengan menyediakan data dan tolok ukur bagi bahasa Indonesia dan bahasa-bahasa daerah yang selama ini kurang terwakili.
Angka pada artikel ini merujuk publikasi ilmiah yang disebutkan beserta tahun terbitnya. Karena model dan tokenizer terus berubah, hasil pengujian terbaru dapat berbeda.
