Token adalah unit terkecil teks yang diproses oleh model AI, khususnya Large Language Models. Token adalah "bahan baku" yang digunakan model untuk memahami dan menghasilkan bahasa. Ketika Anda memberikan input ke AI, teks tersebut dipecah menjadi token-token; ketika AI merespons, ia menghasilkan token-token yang kemudian disusun menjadi kalimat yang koheren.
Token dapat berupa berbagai bentuk tergantung pada bahasa dan model. Untuk bahasa Inggris, satu token biasanya setara dengan sekitar 4 karakter atau ¾ kata. Misalnya, kata "hello" mungkin satu token, sementara "unbelievable" mungkin dipecah menjadi beberapa token ("un", "believ", "able"). Untuk bahasa Indonesia atau Mandarin, satu token sering setara dengan satu kata atau satu karakter. Perbedaan ini penting karena biaya penggunaan API AI sering dihitung per token — semakin banyak token, semakin mahal.
Proses pemecahan teks menjadi token dilakukan oleh komponen yang disebut tokenizer. Tokenizer memiliki aturan tertentu tentang bagaimana memecah teks, dan aturan ini berbeda antar model. Misalnya, tokenizer GPT-4 berbeda dengan tokenizer Claude. Inilah sebabnya jumlah token untuk teks yang sama bisa berbeda antar model.
Token memiliki peran sentral dalam ekosistem AI modern. Biaya penggunaan model AI sering dihitung berdasarkan jumlah token input dan output. Context window diukur dalam token. Kecepatan pemrosesan model sering diukur dalam token per detik. Token adalah "mata uang" AI — unit dasar yang digunakan untuk mengukur, menghargai, dan memperdagangkan layanan AI.
Memahami token penting untuk penggunaan AI yang efisien. Prompt yang panjang dan bertele-tele menghabiskan lebih banyak token, sehingga lebih mahal dan lebih lambat. Sebaliknya, prompt yang ringkas namun informatif menghemat token. Inilah sebabnya prompt engineering juga melibatkan optimasi token — menyampaikan informasi sebanyak mungkin dengan token sesedikit mungkin.
Token juga relevan untuk aplikasi di luar teks. Dalam computer vision, token dapat mewakili bagian dari gambar (patch). Dalam audio, token dapat mewakili segmen suara. Konsep token sebagai unit dasar pemrosesan semakin universal di berbagai modalitas AI, mencerminkan pergeseran menuju arsitektur AI yang lebih terpadu.