Apa sebenarnya Token? Memahami Dasar-dasar Penting dalam AI

1. Model besar AI sama sekali tidak bisa langsung memproses teks asli yang kita masukkan, semua proses pertama adalah mengubah teks menjadi Token
2. Singkatnya, Token adalah unit terkecil yang dipisahkan sebelum teks diberikan ke model
3. Satu Token bisa berupa satu kata utuh, bagian dari kata, tanda baca, bahkan hanya spasi
4. Kata yang umum biasanya hanya akan dipisahkan menjadi 1 Token, sedangkan kata yang panjang atau jarang digunakan sering dipisahkan menjadi bagian yang lebih kecil, misalnya encoding bahasa Inggris akan dipisahkan menjadi dua bagian: encod+ing
5. Berikut adalah referensi konversi umum: 1 Token kira-kira setara dengan 4 karakter Inggris, atau 3/4 kata Inggris; namun angka ini tidak tetap, bisa berubah tergantung bahasa dan tokenizer yang digunakan
6. Proses lengkapnya adalah seperti ini: pertama memecah teks menjadi Token, lalu memetakan setiap Token ke ID angka yang sesuai, kemudian mengubah ID menjadi vektor yang bisa dikenali model, setelah tiga langkah ini, model baru akan mulai memproses kontenmu secara resmi
7. Ada juga yang sering didengar, yaitu "jendela konteks", yang juga diukur menggunakan Token—batas atas Token dalam jendela tersebut secara langsung menentukan berapa banyak konten yang bisa "diingat" oleh model dalam satu percakapan
8. Terakhir, yang pasti banyak orang pedulikan: Token juga adalah satuan utama dalam penilaian biaya AI generatif, uang yang kita keluarkan untuk menggunakan AI biasanya dihitung berdasarkan jumlah Token yang digunakan

Apa yang disebutkan di atas hanyalah puncak gunung es, logika dasar di balik Token jauh lebih menarik dari yang kamu bayangkan.