WebNN API: Menjalankan Inferensi AI di Browser dengan Akselerasi Perangkat
Kenali WebNN API, cara kerjanya, batas dukungan browser, dan langkah praktis menilai apakah inferensi AI di perangkat cocok untuk aplikasi web.
Inferensi AI
Continuous Batching pada LLM: Cara Meningkatkan Throughput Inferensi AI
Continuous batching membantu server LLM melayani banyak permintaan dengan menjadwalkan ulang batch pada setiap langkah generasi. Pelajari cara kerja, manfaat, risiko, dan metrik untuk mengujinya.
KV Cache pada LLM: Menghemat Memori dan Mempercepat Inferensi AI
Panduan memahami KV cache pada large language model, mengapa memori GPU cepat penuh, cara memperkirakan kebutuhannya, serta strategi cache untuk inferensi yang efisien.