Speculative Decoding pada LLM: Mempercepat Generasi Token tanpa Mengorbankan Kualitas
Kenali speculative decoding pada LLM, cara model draft dan model target bekerja bersama, metrik pengujian, manfaat, serta batasan implementasinya.
Speculative Decoding