Large Language Model (LLM) adalah jenis model machine learning yang dilatih dengan data teks dalam jumlah sangat besar — sering kali mencapai triliunan kata — untuk memahami dan menghasilkan bahasa manusia. LLM adalah fondasi dari sebagian besar aplikasi Generative AI modern, termasuk ChatGPT, Gemini, dan Claude.
Karakteristik utama LLM adalah ukurannya yang sangat besar, baik dari segi jumlah parameter (bisa mencapai puluhan hingga ratusan miliar) maupun volume data pelatihan (hingga puluhan terabyte teks). Arsitektur yang paling umum digunakan untuk LLM adalah Transformer, yang menggunakan mekanisme self-attention untuk memahami hubungan antara kata-kata dalam suatu kalimat, terlepas dari jaraknya.
LLM bekerja dengan cara memprediksi kata berikutnya dalam sebuah urutan berdasarkan konteks yang diberikan. Misalnya, jika diberikan kalimat "Hari ini cuaca sangat...", LLM akan memprediksi kata yang paling mungkin mengikuti, seperti "cerah", "panas", atau "dingin", berdasarkan pola yang dipelajari dari data pelatihan. Proses ini diulang ribuan kali untuk menghasilkan teks yang koheren dan relevan.
Kemampuan LLM tidak terbatas pada menghasilkan teks. Model ini juga dapat meringkas dokumen panjang, menerjemahkan antar bahasa, menjawab pertanyaan, menulis kode program, dan mengekstrak informasi dari teks. LLM modern bahkan dapat memahami nuansa bahasa seperti sarkasme, ironi, dan konteks budaya, berkat pelatihan pada data yang beragam.
Namun, LLM juga memiliki keterbatasan. Mereka tidak memiliki pemahaman sejati tentang dunia; mereka hanya memodelkan pola statistik dalam bahasa. Mereka juga dapat menghasilkan halusinasi, bias, dan informasi usang karena data pelatihan mereka memiliki batas waktu. Untuk mengatasi ini, LLM sering dikombinasikan dengan teknik lain seperti fine-tuning dan RAG.
Perkembangan LLM berlangsung sangat cepat. Dari model dengan ratusan juta parameter beberapa tahun lalu, kini kita memiliki model dengan triliunan parameter. Ukuran context window juga terus berkembang, memungkinkan LLM memproses dokumen yang semakin panjang. Di masa depan, LLM diperkirakan akan menjadi lebih efisien, lebih murah, dan lebih mampu, membuka kemungkinan aplikasi yang saat ini masih sulit dibayangkan.