Speculative Decoding pada LLM: Mempercepat Generasi Token tanpa Mengorbankan Kualitas

Respons model bahasa besar (LLM) sering terasa lambat bukan karena seluruh komputasi berat, melainkan karena token dihasilkan secara berurutan. Setelah satu token dipilih, model biasanya menjalankan langkah berikutnya dengan mempertimbangkan token yang sudah ada. Speculative decoding mencoba mempercepat proses ini dengan meminta model yang lebih kecil membuat beberapa tebakan token, lalu model utama memeriksa tebakan tersebut sekaligus.

Teknik ini menarik untuk layanan chatbot, asisten pemrograman, dan aplikasi generatif yang membutuhkan respons cepat. Namun, peningkatan kecepatannya tidak otomatis terjadi pada semua model atau perangkat. Hasilnya bergantung pada kecocokan model draft, biaya verifikasi, panjang tebakan, dan pola permintaan pengguna.

Apa Itu Speculative Decoding?

Speculative decoding adalah strategi inferensi yang memisahkan proses pembuatan kandidat token dari proses pemeriksaan. Model kecil—sering disebut draft model—menghasilkan rangkaian kandidat dengan biaya komputasi relatif rendah. Model utama atau target model kemudian mengevaluasi kandidat itu dalam satu langkah verifikasi yang dapat memanfaatkan komputasi paralel.

Gagasan utamanya bukan mengganti model utama dengan model kecil. Model target tetap menentukan hasil akhir. Pada algoritma yang dirancang dengan benar, kandidat dapat diterima atau dikoreksi sehingga distribusi keluaran tetap sesuai dengan model target, bukan sekadar meniru tebakan model draft.

Bagaimana Alurnya Bekerja?

1. Menyusun kandidat. Model draft memprediksi beberapa token berikutnya berdasarkan konteks yang tersedia. Karena ukurannya lebih kecil, tahap ini diharapkan lebih murah daripada memanggil model utama berulang kali.
2. Memverifikasi kandidat. Model target menghitung probabilitas untuk kandidat dalam satu rangkaian. Banyak implementasi memproses bagian ini secara paralel, sehingga biaya pemeriksaan beberapa token dapat lebih rendah daripada menghasilkan semuanya satu per satu.
3. Menerima atau mengoreksi. Token yang memenuhi aturan penerimaan dipertahankan. Jika sebuah kandidat tidak cocok dengan mekanisme verifikasi, algoritma memilih token koreksi sesuai prosedur yang menjaga karakteristik distribusi model target.
4. Mengulang proses. Sistem melanjutkan dari konteks terbaru. Sebagian token kandidat bisa diterima dalam satu putaran, lalu model draft kembali membuat kandidat untuk putaran berikutnya.

Jumlah token yang diterima setiap putaran tidak tetap. Jika model draft cukup selaras dengan model target untuk tugas tersebut, beberapa token dapat lolos sekaligus. Jika banyak tebakan ditolak, biaya tambahan model draft dan verifikasi mungkin mengurangi keuntungan.

Mengapa Teknik Ini Bisa Lebih Cepat?

Dalam generasi autoregresif biasa, model besar perlu menjalankan langkah berulang untuk menghasilkan token demi token. Pada banyak perangkat, langkah kecil yang berulang dapat dibatasi oleh latensi memori dan peluncuran kernel, bukan hanya kemampuan komputasi mentah. Speculative decoding memberi kesempatan kepada model target untuk memeriksa beberapa kandidat dalam satu tahap, sehingga jumlah putaran serial dapat berkurang.

Meski begitu, kecepatan tidak cukup dinilai dari satu angka. Time to first token mengukur waktu sebelum jawaban mulai muncul, sedangkan inter-token latency menunjukkan jarak waktu antartoken setelah generasi dimulai. Tokens per second membantu melihat laju keluaran, dan throughput batch menunjukkan jumlah permintaan yang dapat dilayani bersamaan. Teknik yang meningkatkan laju token belum tentu memperbaiki semua metrik tersebut.

Memilih Model Draft dan Panjang Kandidat

Model draft idealnya ringan, cepat, dan menghasilkan distribusi token yang cukup dekat dengan model target pada jenis prompt yang benar-benar digunakan. Model yang terlalu kecil mungkin menghasilkan banyak kandidat keliru; model yang terlalu besar dapat menghabiskan waktu yang seharusnya dihemat. Karena itu, ukuran parameter saja tidak cukup untuk menentukan pasangan terbaik.

Panjang kandidat juga perlu diuji. Rangkaian yang panjang berpotensi mengurangi jumlah putaran serial jika tingkat penerimaannya tinggi, tetapi verifikasi yang lebih besar dapat membuang komputasi ketika banyak kandidat ditolak. Mulailah dengan konfigurasi konservatif, ukur tingkat penerimaan, lalu bandingkan beberapa panjang kandidat pada kumpulan prompt yang mewakili penggunaan nyata.

Langkah Pengujian Sebelum Produksi

1. Tetapkan baseline. Jalankan model target tanpa speculative decoding dengan perangkat keras, presisi numerik, panjang konteks, dan beban yang sama.
2. Pilih prompt representatif. Sertakan pertanyaan pendek, penulisan panjang, kode, serta prompt yang memakai konteks besar. Pola penerimaan kandidat bisa berbeda antarjenis tugas.
3. Uji beberapa konfigurasi. Bandingkan model draft, panjang kandidat, ukuran batch, dan batas token keluaran. Jangan mengubah banyak variabel sekaligus jika ingin memahami penyebab perubahan.
4. Catat metrik lengkap. Ukur tokens per second, waktu token pertama, latensi antartoken, tingkat penerimaan, penggunaan memori GPU, konsumsi daya jika tersedia, dan throughput pada beban bersamaan.
5. Validasi kualitas dan biaya. Pastikan implementasi verifikasi benar, hasil keluaran memenuhi kebutuhan aplikasi, dan biaya menjalankan dua model tidak menghapus manfaat performa.

Kesimpulan

Speculative decoding dapat mempercepat generasi ketika token kandidat dari model draft cukup sering diterima oleh model target. Keuntungannya tidak universal: ukur latensi dan throughput bersama penggunaan memori serta biaya dua model, dan pastikan implementasi verifikasi menjaga kualitas keluaran sesuai kebutuhan.