Asisten AI yang membaca PDF, email, halaman web, atau file kantor tidak hanya menerima instruksi dari pengguna. Isi dokumen juga dapat memuat teks yang mencoba memengaruhi model, misalnya meminta aturan sebelumnya diabaikan atau informasi dikirim ke tempat lain. Ini adalah salah satu bentuk prompt injection. Konten eksternal harus diperlakukan sebagai data yang dianalisis, bukan sumber wewenang baru.
Kenali jalur risikonya
Instruksi dapat muncul sebagai teks terlihat, teks kecil pada gambar, komentar tersembunyi, maupun isi halaman yang diambil sistem pencarian. Risiko meningkat ketika model diberi alat untuk membuka URL, mengirim email, membaca penyimpanan internal, menjalankan kode, atau mengubah data. Sistem perlu membatasi dampak jika model salah menafsirkan konten.
Pisahkan data dari izin
Jelaskan bahwa dokumen eksternal tidak dapat mengubah kebijakan, hak akses, atau tujuan tugas. Namun, jangan mengandalkan prompt saja. Terapkan izin di lapisan aplikasi: model hanya boleh membaca dokumen yang berhak diakses pengguna, dan setiap aksi sensitif harus diperiksa server. Jangan menaruh rahasia API atau kredensial di konteks model yang tidak memerlukannya.
Batasi alat dan data
Berikan izin minimum untuk setiap tool. Asisten yang hanya merangkum dokumen tidak perlu dapat mengirim pesan atau menghapus file. Jika aksi eksternal diperlukan, pisahkan rekomendasi dari eksekusi dan minta persetujuan pengguna dengan ringkasan yang jelas. Gunakan allowlist tujuan jaringan, validasi argumen di server, serta pembatasan jumlah dan ukuran permintaan.
Uji sistem secara berulang
Buat pengujian berisi dokumen normal, instruksi konflik, tautan mencurigakan, dan permintaan ekstraksi data di luar tugas. Ukur apakah sistem mengikuti tujuan awal, apakah tool dipanggil tanpa perlu, dan apakah data lintas pengguna bocor. Catat temuan tanpa menyimpan informasi pribadi yang tidak dibutuhkan. Evaluasi ini melengkapi, bukan menggantikan, pengujian keamanan perangkat lunak biasa.
Checklist sebelum rilis
- Dokumen diperlakukan sebagai data tidak tepercaya.
- Otorisasi diperiksa di server untuk setiap akses.
- Tool memiliki izin minimum dan validasi input.
- Tindakan sensitif memerlukan persetujuan jelas.
- Pengujian mencakup prompt injection dan kebocoran data.
Tujuannya bukan menjanjikan model yang tak pernah tertipu, melainkan merancang sistem yang tetap aman ketika model membuat keputusan salah.
PENGALAMAN BARU Coba tampilan baru Penasaran dengan pengalaman membaca Nazuaf versi modern? Coba tampilan baru yang dirancang agar nyaman dibaca dari ponsel dan pc. Buka versi modern dan lanjutkan membaca artikel ini. Jelajahi tampilan baru Nazuaf versi modern · Ketuk kartu untuk mencoba