PORTALVIRAL.ID — Google merilis Android Bench 2.0, tolok ukur baru yang menguji model AI pada tugas pengembangan Android kompleks yang bisa memakan waktu berhari-hari. Dari sejumlah model terbaru yang diuji, GPT-6 Astra memimpin dengan tingkat kelulusan 28%, sementara Gemini 3.8 Flash dari Google sendiri hanya mencetak 8%.
Google memperbarui tolok ukurnya untuk menilai seberapa mampu model bahasa besar dan agen AI menangani pekerjaan pengembangan Android di dunia nyata. Versi pertama Android Bench diperkenalkan awal tahun ini untuk mengukur performa AI pada tugas pengembangan Android.
Pembaruan ke Android Bench 2.0 membawa serangkaian tugas yang jauh lebih rumit. Salah satu tambahan terbesar adalah apa yang disebut Google sebagai long-horizon tasks (LHT).
Tugas Berhari-hari Jadi Standar Baru
LHT merupakan pekerjaan pengembangan yang jauh lebih kompleks, jenis tugas yang bisa memakan waktu seorang insinyur manusia beberapa hari hingga sepekan untuk menyelesaikannya. Google menilai tolok ukur AI coding generasi awal terlalu berfokus pada perubahan kecil dan bertahap.
Android Bench 2.0 menaikkan standar itu lewat tugas seperti meningkatkan dependensi, menambahkan fitur besar baru, bahkan membangun aplikasi Android dari nol. Tugas-tugas semacam ini lebih mencerminkan pekerjaan pengembangan perangkat lunak yang sesungguhnya.
Cara Penilaian Berubah
Google juga mengubah metode penilaian model. Alih-alih sepenuhnya mengandalkan sistem lulus atau gagal, Android Bench 2.0 memakai continuous scoring.
Menurut Google, pendekatan ini memberi indikasi yang lebih bermakna soal seberapa baik sebuah model bekerja, bahkan ketika model itu tidak berhasil menyelesaikan tugasnya secara penuh. Penilaian berjenjang semacam ini penting karena tugas pengembangan jarang selesai dalam satu langkah.
Papan Peringkat: GPT-6 Astra di Puncak
Google sudah menguji sejumlah model AI terbaru dengan tolok ukur baru ini. Model yang diuji antara lain Gemini 3.8 Flash, GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol, dan Claude Opus 5.
Hasilnya, GPT-6 Astra berada di puncak dengan tingkat kelulusan 28%. Gemini 3.8 Flash hanya mencetak 8%.
- GPT-6 Astra: tingkat kelulusan 28%
- Gemini 3.8 Flash: tingkat kelulusan 8%
- Model lain yang diuji: Claude Fable 5.1, GPT-5.6 Sol, Claude Opus 5
Angka tersebut menunjukkan bahwa tugas pengembangan Android berskala besar masih menjadi tantangan berat bagi model AI mana pun. Bahkan model dengan performa terbaik baru menuntaskan kurang dari sepertiga tugas yang diberikan.
Untuk Apa Hasil Ini Dipakai
Google menyebut pengujian model terhadap dataset LHT memberi pemahaman lebih baik soal kekuatan dan kelemahan masing-masing model. Hasil ini juga dimaksudkan memberi panduan praktis bagi pengembang soal model mana yang lebih cocok untuk berbagai tugas pengembangan Android.
Papan peringkat Android Bench 2.0 sudah tersedia. Google berencana terus memperluasnya dengan lebih banyak model dan hasil seiring waktu.
Bagi pengembang aplikasi di Indonesia, tolok ukur semacam ini bisa jadi acuan memilih asisten AI untuk pekerjaan coding sehari-hari. Namun perlu dicatat, hasil benchmark tidak selalu sejalan dengan pengalaman nyata di lapangan.
