Quantization adalah teknik optimisasi yang mengurangi presisi numerik yang digunakan untuk menyimpan parameter (bobot) sebuah model AI, dengan tujuan memperkecil ukuran model dan mempercepat proses inferensi, biasanya dengan sedikit pengorbanan pada akurasi.
Secara default, banyak model AI dilatih dan disimpan menggunakan format angka presisi tinggi seperti 32-bit floating point (FP32), yang mampu merepresentasikan nilai dengan sangat detail namun membutuhkan ruang penyimpanan dan daya komputasi besar. Quantization mengonversi angka-angka ini ke format dengan presisi lebih rendah, seperti 16-bit, 8-bit, atau bahkan 4-bit, yang membutuhkan ruang jauh lebih kecil.
Analogi sederhananya seperti mengompresi foto beresolusi sangat tinggi menjadi ukuran file lebih kecil untuk dikirim lewat pesan singkat—detail yang sangat halus mungkin sedikit berkurang, namun gambar secara keseluruhan tetap jelas dan dapat dikenali dengan baik, sementara ukuran filenya jauh lebih ringkas dan cepat diproses.
Manfaat utama quantization adalah memungkinkan model AI besar berjalan pada perangkat keras dengan sumber daya terbatas—termasuk laptop konsumen, smartphone, atau bahkan perangkat edge—yang sebelumnya tidak mampu menjalankan model dalam presisi penuh karena keterbatasan memori. Model yang telah di-quantize juga umumnya berjalan lebih cepat karena operasi komputasi pada angka presisi rendah membutuhkan lebih sedikit siklus pemrosesan.
Trade-off utama quantization adalah potensi penurunan akurasi model, karena informasi detail pada bobot asli yang presisi tinggi ikut hilang dalam proses kompresi. Namun, penelitian dan teknik quantization modern telah berkembang pesat sehingga penurunan performa pada level quantization moderat (seperti 8-bit) sering kali nyaris tidak terasa dalam penggunaan praktis, menjadikan teknik ini sangat populer untuk deployment model AI di dunia nyata, terutama untuk aplikasi on-device dan edge AI.