Computer Use adalah kemampuan AI agent untuk mengoperasikan komputer layaknya manusia: melihat tangkapan layar, menggerakkan kursor, mengklik tombol, mengisi formulir, dan mengetik teks, guna menyelesaikan tugas di aplikasi desktop atau situs web yang tidak menyediakan API terstruktur untuk diakses secara langsung.
Pendekatan ini berbeda dari cara AI agent bekerja secara konvensional, yang biasanya berinteraksi dengan sistem eksternal melalui pemanggilan fungsi (function calling) atau API terdefinisi. Banyak aplikasi lama, sistem internal perusahaan, atau situs web tertentu tidak menyediakan API semacam itu, sehingga satu-satunya cara berinteraksi adalah lewat antarmuka visual yang sama seperti yang digunakan pengguna manusia.
Secara teknis, model AI dengan kemampuan computer use menerima tangkapan layar sebagai input, menganalisisnya menggunakan kemampuan visual (vision), lalu menghasilkan keputusan berupa koordinat klik, teks yang perlu diketik, atau tombol yang perlu ditekan. Siklus ini—melihat layar, memutuskan tindakan, mengeksekusi, lalu melihat hasilnya kembali—berulang hingga tugas yang diminta selesai, sehingga membutuhkan model dengan kemampuan penalaran visual dan perencanaan yang kuat.
Kemampuan ini membuka potensi otomatisasi untuk skenario yang sebelumnya sulit diotomatisasi, seperti mengisi formulir di sistem legacy perusahaan, menguji aplikasi secara otomatis dengan meniru interaksi pengguna nyata, atau menyelesaikan tugas administratif lintas aplikasi yang berbeda-beda. Namun, computer use juga membawa risiko keamanan yang lebih tinggi dibanding pemanggilan API terstruktur, karena agent memiliki akses yang jauh lebih luas dan kurang terbatas—sehingga penerapannya umumnya memerlukan sandboxing dan pengawasan (human-in-the-loop) yang lebih ketat.