LoRA (Low-Rank Adaptation) adalah teknik fine-tuning yang efisien secara komputasi, dirancang untuk menyesuaikan model AI besar pada tugas atau domain spesifik tanpa perlu melatih ulang seluruh miliaran parameter model. Teknik ini diperkenalkan oleh peneliti Microsoft pada 2021 dan sejak itu menjadi salah satu metode fine-tuning paling populer, terutama bagi individu dan organisasi dengan sumber daya komputasi terbatas.
Alih-alih memperbarui seluruh bobot (weights) model asli yang jumlahnya bisa mencapai miliaran parameter, LoRA membekukan (freeze) bobot model asli sepenuhnya dan hanya melatih sepasang matriks tambahan berukuran jauh lebih kecil yang disisipkan ke dalam arsitektur model. Matriks tambahan berukuran kecil (disebut "low-rank") ini yang menangkap penyesuaian yang diperlukan untuk tugas baru, sementara pengetahuan umum model asli tetap dipertahankan sepenuhnya.
Analogi sederhananya: alih-alih menulis ulang seluruh buku teks untuk menambahkan bab baru, LoRA seperti menambahkan lembar catatan tempel (sticky notes) berisi informasi tambahan pada halaman-halaman tertentu, tanpa mengubah isi buku aslinya sama sekali.
Keunggulan utama LoRA adalah efisiensi drastis—parameter yang perlu dilatih bisa berkurang hingga ribuan kali lipat dibanding fine-tuning penuh, sehingga proses pelatihan dapat dilakukan dengan GPU tunggal dalam hitungan jam, bukan cluster GPU besar selama berhari-hari. Selain itu, karena bobot model asli tidak diubah, satu model dasar dapat memiliki banyak "adapter" LoRA berbeda untuk tugas-tugas berbeda, yang dapat dipertukarkan dengan cepat tanpa perlu menyimpan salinan penuh model untuk setiap tugas.
LoRA banyak digunakan untuk menyesuaikan model bahasa dengan gaya penulisan tertentu, model generasi gambar dengan gaya seni spesifik, atau model yang perlu memahami terminologi khusus suatu industri—semua dengan biaya komputasi yang jauh lebih terjangkau dibanding fine-tuning penuh secara tradisional.