Data Drift pada Machine Learning: Cara Mendeteksi dan Menanganinya

Model machine learning tidak bekerja di ruang hampa. Pola perilaku pengguna, kondisi pasar, perangkat, hingga cara data dikumpulkan dapat berubah dari waktu ke waktu. Model yang awalnya akurat pun bisa mulai membuat prediksi yang kurang tepat ketika data di dunia nyata tidak lagi menyerupai data saat pelatihan. Perubahan seperti ini dikenal sebagai data drift.

Data drift bukan selalu tanda bahwa model rusak. Ia merupakan sinyal bahwa asumsi yang mendasari sistem perlu diperiksa kembali. Dengan pemantauan yang terencana, tim dapat mengetahui kapan perubahan masih wajar dan kapan model perlu dievaluasi, disesuaikan, atau dilatih ulang.

Apa Itu Data Drift?

Data drift adalah perubahan karakteristik data yang diterima sistem setelah model diterapkan. Misalnya, model prediksi permintaan toko daring dilatih menggunakan pola belanja hari biasa. Ketika kampanye besar dimulai, komposisi produk, nilai transaksi, dan waktu pembelian berubah. Data baru itu dapat berbeda cukup jauh dari data pelatihan sehingga prediksi model menjadi kurang dapat diandalkan.

Istilah ini sering dibahas bersama concept drift, tetapi keduanya tidak persis sama. Data drift biasanya merujuk pada perubahan distribusi fitur atau masukan, sedangkan concept drift merujuk pada perubahan hubungan antara masukan dan hasil yang ingin diprediksi. Keduanya bisa terjadi bersamaan. Contohnya, perilaku pelanggan berubah dan alasan yang dahulu membuat pelanggan membatalkan pesanan tidak lagi sama.

Mengapa Data Drift Terjadi?

• Perubahan perilaku: kebiasaan pelanggan, pola pencarian, atau preferensi pengguna bergeser seiring waktu.
• Perubahan lingkungan: musim, kondisi ekonomi, aturan, atau kampanye pemasaran mengubah pola yang sebelumnya dipelajari model.
• Perubahan sistem pengumpulan data: pembaruan aplikasi, sensor, formulir, atau pipeline dapat mengubah format dan distribusi nilai.
• Perubahan populasi: model yang semula digunakan untuk satu kelompok pengguna mulai diterapkan pada kelompok yang berbeda.
• Masalah kualitas data: nilai kosong, duplikasi, keterlambatan, dan kesalahan pencatatan dapat tampak seperti perubahan pola yang sesungguhnya.

Tanda-Tanda yang Perlu Dipantau

Penurunan akurasi merupakan tanda yang penting, tetapi tidak selalu langsung terlihat. Dalam banyak aplikasi, label atau hasil sebenarnya baru tersedia beberapa jam, hari, bahkan minggu setelah prediksi dibuat. Karena itu, pemantauan sebaiknya mencakup indikator awal yang dapat dihitung tanpa menunggu label.

• Distribusi fitur berubah: rata-rata, rentang, frekuensi kategori, atau proporsi nilai kosong berbeda dari pola acuan.
• Skor model bergeser: probabilitas prediksi menjadi jauh lebih tinggi atau rendah dibandingkan periode normal.
• Data operasional memburuk: jumlah permintaan turun mendadak, latensi naik, atau fitur penting tidak lagi tersedia.
• Metrik hasil menurun: setelah label tersedia, precision, recall, MAE, atau metrik lain turun melewati ambang yang telah ditetapkan.
• Kelompok tertentu terdampak: performa keseluruhan tampak stabil, tetapi hasil untuk wilayah, perangkat, atau segmen pengguna tertentu menurun.

Cara Mendeteksi Data Drift Secara Praktis

1. Tetapkan data acuan

Simpan ringkasan statistik dari data pelatihan atau periode produksi yang terbukti sehat. Catat distribusi fitur numerik dan kategoris, tingkat nilai kosong, rentang waktu, serta versi pipeline yang menghasilkan data tersebut. Data acuan perlu mewakili kondisi yang memang ingin dilayani, bukan sekadar kumpulan data terbesar yang tersedia.

2. Bandingkan jendela waktu

Bandingkan data terbaru dengan data acuan menggunakan jendela waktu yang masuk akal untuk kasus penggunaan. Sistem pembayaran mungkin perlu dipantau per jam, sedangkan prediksi permintaan musiman dapat lebih bermakna jika dibandingkan dengan periode yang setara. Hindari menyimpulkan adanya masalah hanya dari satu lonjakan singkat yang masih berada dalam variasi normal.

3. Gunakan metrik yang sesuai

Untuk fitur numerik, tim dapat memeriksa perubahan rata-rata, median, kuantil, atau memakai uji statistik seperti Kolmogorov–Smirnov. Untuk kategori, bandingkan proporsi setiap kategori atau gunakan ukuran jarak distribusi yang sesuai. Population Stability Index (PSI) juga sering dipakai sebagai indikator perubahan distribusi, tetapi ambang batasnya bukan hukum universal. Pilih metode berdasarkan ukuran data, jenis fitur, dan biaya kesalahan.

4. Pantau kualitas prediksi setelah label tersedia

Perubahan distribusi masukan tidak otomatis berarti performa memburuk. Sebaliknya, distribusi yang terlihat stabil tidak menjamin model tetap akurat. Saat hasil sebenarnya tersedia, hitung metrik yang relevan dan pisahkan hasil berdasarkan segmen penting. Dengan cara ini, tim dapat membedakan perubahan data dari penurunan kualitas prediksi yang benar-benar memengaruhi pengguna.

Apa yang Harus Dilakukan Saat Drift Terdeteksi?

• Periksa kualitas pipeline terlebih dahulu. Pastikan tidak ada perubahan skema, satuan, zona waktu, proses penggabungan, atau sumber data yang tidak terdokumentasi.
• Nilai dampaknya. Periksa fitur mana yang berubah, seberapa besar perubahan itu, serta kelompok pengguna dan keputusan yang terdampak.
• Bandingkan dengan konteks bisnis. Lonjakan karena promosi yang sudah direncanakan mungkin memerlukan penyesuaian sementara, bukan pelatihan ulang langsung.
• Uji kandidat perbaikan. Jika perlu, latih model dengan data yang lebih baru lalu bandingkan dengan model produksi pada data evaluasi yang terpisah.
• Siapkan pemulihan. Catat versi model dan data, simpan metrik sebelum perubahan, dan sediakan cara kembali ke model sebelumnya jika kandidat baru lebih buruk.

Jangan melatih ulang model secara otomatis setiap kali satu metrik melewati ambang. Data baru bisa mengandung gangguan, manipulasi, atau bias yang belum dipahami. Untuk sistem berisiko tinggi, perubahan model sebaiknya melalui evaluasi, persetujuan, dan pemantauan setelah penerapan.

Checklist Pemantauan yang Sehat

Sebelum menjalankan model dalam skala besar, pastikan tim memiliki pemilik yang bertanggung jawab atas alert, ambang yang ditinjau secara berkala, log versi data dan model, serta prosedur eskalasi ketika hasil memburuk. Alert yang terlalu sering akan diabaikan; alert yang terlalu jarang dapat membuat masalah terlambat diketahui. Mulailah dengan beberapa fitur dan metrik yang paling berpengaruh, kemudian perluas berdasarkan temuan operasional.

Jika aplikasi menggunakan pencarian dokumen atau AI generatif, perubahan sumber pengetahuan juga perlu dievaluasi. Baca panduan Nazuaf tentang cara kerja dan batasan RAG dalam AI untuk memahami mengapa kualitas sumber serta proses retrieval ikut memengaruhi jawaban yang dihasilkan.

Kesimpulan

Data drift adalah perubahan pada data nyata yang dapat mengurangi relevansi model machine learning, tetapi deteksinya perlu dibedakan dari penurunan performa yang benar-benar terukur. Bangun data acuan, pantau distribusi dan kualitas pipeline, ukur hasil saat label tersedia, lalu telusuri penyebab sebelum mengambil tindakan. Pendekatan ini membantu tim menjaga model tetap berguna tanpa melakukan pelatihan ulang yang tidak perlu atau mengabaikan perubahan yang berdampak besar.