Context Window adalah jumlah maksimum informasi teks (diukur dalam token) yang dapat "dilihat" dan diproses oleh model AI dalam satu waktu. Konsep ini paling relevan dalam konteks Large Language Models (LLM), di mana context window berfungsi sebagai memori jangka pendek model.
Bayangkan Anda sedang membaca sebuah buku, tetapi Anda hanya diizinkan untuk mengingat beberapa paragraf terakhir yang Anda baca. Itulah analogi sederhana dari context window. Model AI hanya dapat mempertimbangkan informasi yang berada dalam jendela ini saat menghasilkan respons. Jika percakapan atau dokumen melebihi batas context window, model akan mulai "melupakan" informasi yang lebih awal, yang dapat menyebabkan respons menjadi kurang relevan atau kehilangan konteks.
Ukuran context window diukur dalam token — unit dasar teks yang dapat berupa kata, bagian dari kata, atau bahkan karakter. Semakin besar context window, semakin banyak informasi yang dapat diproses model secara bersamaan. Model-model modern seperti GPT-4 atau Claude memiliki context window yang sangat besar, mencapai puluhan ribu hingga ratusan ribu token, memungkinkan mereka untuk memproses seluruh buku atau dokumen panjang dalam satu kali permintaan.
Context window memiliki implikasi praktis yang signifikan. Dalam rekayasa prompt, perancang prompt harus mengoptimalkan input mereka agar tetap berada dalam batas context window sambil tetap menyertakan semua informasi penting. Untuk aplikasi seperti chatbots atau asisten virtual, context window yang lebih besar memungkinkan percakapan yang lebih panjang dan lebih koheren karena model dapat "mengingat" apa yang dibicarakan sebelumnya.
Namun, context window yang lebih besar juga memiliki konsekuensi: semakin banyak token yang diproses, semakin tinggi biaya komputasi dan waktu respons. Oleh karena itu, pengembang harus menyeimbangkan ukuran context window dengan kebutuhan aplikasi dan efisiensi biaya. Di masa depan, penelitian terus berupaya memperluas context window tanpa meningkatkan biaya komputasi secara signifikan, membuka kemungkinan untuk aplikasi AI yang lebih canggih dan kontekstual.