Di tengah klaim gencar bahwa AI akan segera mampu melakukan riset ilmiah secara mandiri, sebuah benchmark baru yang dipublikasikan pada Agustus 2026 justru menunjukkan gambaran yang jauh lebih rendah hati tentang kemampuan model bahasa besar saat ini dalam bernalar secara ilmiah.
Apa Itu Benchmark Reconstruction
Benchmark yang diberi nama "Reconstruction" ini dirancang dengan pendekatan yang cukup unik: alih-alih menguji model dengan soal-soal sains yang sudah baku, benchmark ini meminta model AI untuk menyusun ulang ide inti sebuah paper riset hanya dengan bermodalkan daftar pustaka atau bibliografi paper tersebut — tanpa membaca isi paper aslinya sama sekali.
Cara Kerja Pengujian
Logika di balik metode ini masuk akal: jika sebuah model benar-benar memahami lanskap riset di suatu bidang, ia semestinya bisa menyimpulkan kontribusi orisinal sebuah paper hanya dari pola referensi yang dikutipnya — sebagaimana peneliti manusia berpengalaman kerap bisa menebak arah sebuah studi baru hanya dari daftar rujukannya. Model AI diberi daftar pustaka lengkap dari paper-paper ilmiah nyata, lalu diminta merekonstruksi gagasan utama yang kemungkinan besar dibahas dalam paper tersebut.
Hasil yang Mengejutkan
Hasilnya jauh dari mengesankan. Model AI frontier terbaik, saat diuji sendirian, hanya mampu merekonstruksi ide riset dengan akurasi antara 3% hingga 15% saja. Bahkan ketika peneliti mencoba pendekatan yang lebih canggih — sebuah pipeline multi-agen dengan format turnamen ala Swiss yang mengombinasikan penilaian dari beberapa model sekaligus dan mengambil "top 4" hasil terbaik — akurasinya hanya naik ke angka 42%, masih jauh dari mendekati kemampuan penalaran ilmiah tingkat pakar.
Kenapa Ini Penting bagi Klaim "AI Bisa Melakukan Riset"
Temuan ini menjadi pengingat penting di tengah gencarnya narasi industri bahwa asisten AI sudah atau segera akan mampu menjalankan proses riset ilmiah secara otonom, mulai dari merumuskan hipotesis hingga merancang eksperimen. Benchmark Reconstruction menunjukkan bahwa kemampuan menyusun narasi yang terdengar meyakinkan berbeda jauh dengan kemampuan benar-benar memahami dan menempatkan sebuah gagasan riset dalam konteks bidang keilmuan yang lebih luas — sebuah bentuk penalaran tingkat tinggi yang tampaknya masih menjadi titik lemah model saat ini.
Keterbatasan dan Kritik terhadap Metode Ini
Seperti benchmark AI pada umumnya, pendekatan Reconstruction juga memiliki keterbatasan. Kualitas hasil sangat bergantung pada bidang keilmuan yang diuji — riset di bidang yang datanya melimpah di internet mungkin lebih mudah "ditebak" polanya dibanding bidang yang lebih niche. Selain itu, kemampuan merekonstruksi ide dari bibliografi hanyalah satu aspek sempit dari keseluruhan proses riset ilmiah yang sesungguhnya, yang juga mencakup perancangan eksperimen, analisis data, dan interpretasi hasil di dunia nyata.
Kesimpulan
Benchmark Reconstruction menawarkan tolok ukur baru yang lebih menantang untuk mengukur pemahaman kontekstual AI terhadap lanskap riset ilmiah, dan hasil awalnya menunjukkan bahwa jarak antara kemampuan model bahasa saat ini dengan penalaran ilmiah tingkat pakar masih cukup lebar — meski skor gabungan multi-agen mengindikasikan bahwa pendekatan kolaboratif antar-model bisa menjadi salah satu jalan untuk mempersempit jarak tersebut secara bertahap.
Sumber & Referensi
- Artificial Intelligence News, "AI News | Latest News | Insights Powering AI-Driven Business Growth" — artificialintelligence-news.com