Memilih model kecerdasan buatan tidak cukup dengan melihat demo yang mengesankan atau angka benchmark yang tinggi. Model yang bagus untuk merangkum dokumen belum tentu aman untuk menilai kelayakan kredit, memproses data kesehatan, atau menjawab pertanyaan pelanggan. Salah satu dokumen yang membantu memahami konteks tersebut adalah model card: ringkasan terstruktur mengenai tujuan, evaluasi, batasan, dan penggunaan yang disarankan dari sebuah model.
Model card bukan jaminan bahwa model bebas bias atau aman untuk semua situasi. Nilainya terletak pada informasi yang bisa diperiksa sebelum tim memutuskan untuk menguji, mengintegrasikan, atau menolak sebuah model.
Apa itu model card AI?
Model card adalah dokumentasi yang menjelaskan karakteristik model machine learning beserta konteks evaluasinya. Dokumen ini idealnya menyebutkan siapa yang mengembangkan model, versi yang didokumentasikan, tugas yang dirancang untuk ditangani, data atau metode evaluasi yang digunakan, serta keterbatasan yang diketahui. Bentuk dan kelengkapannya berbeda-beda antarpenyedia; tidak semua model card memiliki tingkat detail yang sama.
Jangan menyamakannya dengan kartu produk atau lembar pemasaran. Dokumentasi yang berguna tidak hanya menyebut kemampuan, tetapi juga menjelaskan kondisi ketika performa menurun, kelompok pengguna yang belum cukup diuji, dan penggunaan yang tidak dianjurkan.
Bagian penting yang perlu diperiksa
1. Tujuan penggunaan dan penggunaan di luar cakupan
Periksa apakah model memang dibuat untuk tugas yang dibutuhkan. Model bahasa umum, misalnya, mungkin cocok untuk membuat draf atau mengelompokkan teks, tetapi belum tentu layak mengambil keputusan otomatis yang berdampak besar. Cari bagian intended use, batas penggunaan, serta apakah model dirancang untuk penelitian, eksperimen, atau layanan produksi.
2. Versi model dan riwayat perubahan
Nama model saja tidak cukup. Versi, tanggal rilis, konfigurasi, dan metode pemanggilan dapat memengaruhi hasil. Pastikan dokumentasi cocok dengan model yang benar-benar digunakan. Jika penyedia memperbarui model tanpa mempertahankan perilaku yang sama, hasil pengujian lama mungkin tidak lagi mewakili sistem saat ini.
3. Data dan proses pengembangan
Model card dapat menjelaskan sumber data, periode pengumpulan, proses penyaringan, atau pendekatan pelatihan. Informasinya kadang terbatas karena alasan privasi, keamanan, atau kekayaan intelektual. Catat apa yang dijelaskan dan apa yang tidak diketahui; jangan menganggap data yang tidak disebutkan berarti tidak bermasalah.
4. Hasil evaluasi dan metrik
Periksa tugas uji, ukuran sampel, tolok ukur pembanding, dan metrik yang digunakan. Akurasi keseluruhan dapat menutupi kesalahan pada kategori tertentu. Untuk model klasifikasi, precision dan recall mungkin lebih informatif daripada satu angka akurasi. Untuk model generatif, evaluasi perlu mencakup kualitas jawaban, ketepatan fakta, konsistensi, dan perilaku saat menerima masukan yang tidak biasa.
Angka benchmark hanya dapat dibandingkan jika metode pengujian, versi model, dan kondisi pengukuran cukup sebanding. Skor tinggi pada kumpulan data publik juga tidak otomatis berarti model akan unggul pada bahasa, istilah, atau dokumen milik organisasi sendiri.
5. Keterbatasan, bias, dan risiko
Carilah catatan tentang halusinasi, data yang kurang terwakili, bahasa yang didukung, sensitivitas terhadap prompt, risiko privasi, atau kemungkinan keluaran berbahaya. Perhatikan juga apakah pengujian dilakukan pada kelompok pengguna dan skenario yang relevan. Jika dokumentasi tidak membahas risiko yang penting bagi kasus penggunaan, perlakukan itu sebagai ketidakpastian yang perlu diuji, bukan sebagai bukti bahwa risiko tidak ada.
Langkah praktis mengevaluasi model card
- Tetapkan tugas secara spesifik. Uraikan siapa yang memakai model, masukan yang akan diberikan, keluaran yang diharapkan, dan konsekuensi jika jawabannya salah.
- Cocokkan konteks. Bandingkan bahasa, jenis dokumen, panjang masukan, lingkungan operasional, serta kebutuhan privasi dengan informasi dalam dokumentasi.
- Periksa bukti evaluasi. Catat metrik, metode, dataset, versi model, dan kondisi pengujian. Minta informasi tambahan jika klaim performa tidak disertai konteks yang memadai.
- Uji dengan data representatif. Buat kumpulan uji yang sah dan tidak memuat data sensitif tanpa izin. Sertakan kasus normal, kasus sulit, masukan ambigu, serta contoh yang berpotensi memicu kesalahan.
- Tentukan pengawasan manusia. Untuk keputusan berisiko tinggi, jangan hanya mengandalkan model card. Tetapkan siapa yang meninjau keluaran, bagaimana koreksi dilakukan, dan kapan sistem harus menolak atau meneruskan kasus kepada petugas.
- Dokumentasikan keputusan. Simpan versi model, tanggal penilaian, hasil pengujian internal, risiko yang diterima, dan kondisi yang mengharuskan evaluasi ulang.
Tanda bahaya dalam dokumentasi
Berhati-hatilah jika model card hanya berisi klaim promosi, tidak mencantumkan versi, menggunakan skor tanpa menjelaskan metode, atau mengabaikan risiko yang jelas relevan dengan aplikasi. Tanda bahaya lain adalah klaim “aman untuk semua penggunaan”, tidak ada penjelasan batasan, atau tidak tersedia cara melaporkan masalah. Kekurangan dokumentasi tidak otomatis membuktikan model buruk, tetapi membuat keputusan penerapan menjadi lebih sulit dipertanggungjawabkan.
Contoh penerapan sederhana
Misalnya, sebuah tim ingin memakai model untuk membantu menjawab pertanyaan dari dokumentasi internal. Model card dapat membantu memeriksa dukungan bahasa, batas konteks, evaluasi faktualitas, dan batasan penggunaan. Tim kemudian menguji pertanyaan yang benar-benar muncul di lingkungan kerja, memeriksa apakah jawaban menyertakan rujukan yang tepat, serta mengukur seberapa sering model mengarang informasi ketika dokumen tidak menyediakan jawaban. Jika hasilnya belum memadai, model hanya digunakan untuk menyusun draf yang harus diperiksa staf, bukan mengirim jawaban otomatis.
Model card bukan sertifikat keamanan
Model card merupakan salah satu sumber bukti, bukan pengganti penilaian risiko, pengujian keamanan, perlindungan data, atau pemantauan setelah peluncuran. Sistem yang menggabungkan model dengan pencarian dokumen, alat eksternal, dan basis data memiliki risiko tambahan yang tidak selalu tercakup dalam dokumentasi model dasarnya. Evaluasi juga perlu diulang ketika model, prompt, data, atau alur aplikasi berubah secara material.
Kesimpulan
Membaca model card dengan teliti membantu tim memahami apa yang diketahui, apa yang belum diketahui, dan kondisi penggunaan yang masuk akal. Fokuslah pada tujuan, versi, metode evaluasi, keterbatasan, serta risiko yang relevan dengan kebutuhan nyata. Setelah itu, validasi klaim melalui pengujian internal dan tetapkan pengawasan yang proporsional terhadap dampak kesalahan. Dengan cara ini, pemilihan AI menjadi keputusan berbasis bukti, bukan sekadar mengikuti demo atau popularitas model.
Referensi
- Google Research — Model Cards
- Hugging Face — Model Cards documentation
- NIST — AI Risk Management Framework