Keamanan Chatbot AI: 7 Hal yang Sering Terlewat
Chatbot AI sudah berpindah dari demo ke jalur layanan utama. Ia menjawab pelanggan, membaca dokumen internal, dan memanggil API atas nama pengguna. Posisi itu membuatnya jadi pintu masuk yang menarik untuk disalahgunakan.
Kegagalan keamanan chatbot AI jarang terjadi karena modelnya sendiri. Sumber masalah biasanya ada di sekeliling model: instruksi sistem yang disimpan apa adanya, log yang menampung seluruh percakapan, tool yang bisa dipanggil tanpa batas, dan keluaran yang langsung dieksekusi oleh aplikasi.
Berikut tujuh titik lemah yang sering terlewat, dikelompokkan dalam lima bagian, masing-masing dengan perbaikan konkret. Prinsip kerjanya satu: perlakukan model sebagai komponen yang bisa salah, bukan sebagai penjaga.
1. Instruksi sistem yang dianggap brankas
Instruksi sistem sering ditulis seperti dokumen internal. Di dalamnya ada aturan bisnis, nama tabel, alur eskalasi, kadang kunci atau token. Penulisnya mengira teks itu tidak akan pernah terbaca pengguna.
Anggapan itu tidak berlaku. Instruksi sistem bisa bocor lewat permintaan yang dirancang khusus, dan teknik ini dikenal sebagai prompt stealing. Isi prompt yang terbaca memberi penyerang peta sistem Anda: endpoint apa yang dipanggil, data apa yang boleh diambil, dan batas mana yang paling longgar.
Perbaikannya: pindahkan semua rahasia ke variabel lingkungan di server, jangan pernah ke dalam prompt. Tulis instruksi sistem seolah akan dibaca publik. Tambahkan pemeriksaan input dan output yang tidak bergantung pada kepatuhan model. Untuk menguji kebocoran seperti ini, AISG menyediakan probe prompt stealing lewat promptmap pada plan Expert.
2. Data pribadi yang berakhir di log dan penyimpanan
Dua titik lemah di bagian ini saling berkaitan: log dan penyimpanan percakapan. Banyak implementasi menyimpan isi permintaan dan jawaban lengkap untuk keperluan debugging. Isinya sering memuat nama, nomor telepon, alamat, nomor identitas, atau data kesehatan.
Penyimpanan percakapan di basis data menambah lapisan risiko lain. Riwayat yang bisa dibaca seluruh tim internal, tabel tanpa pembatasan akses, atau cadangan yang tidak pernah dibersihkan membuat data bertahan jauh lebih lama dari yang dibutuhkan.
Perbaikan yang bisa dikerjakan minggu ini:
- Redaksi data pribadi sebelum log ditulis, bukan sesudah.
- Tetapkan masa simpan pendek dan hapus otomatis. Log debug tidak perlu abadi.
- Pisahkan akses: tim produk tidak otomatis boleh membaca isi percakapan pengguna.
- Simpan hanya metadata yang diperlukan untuk analisis, misalnya jumlah token dan status.
3. Tool yang dipanggil tanpa batas izin
Kemampuan memanggil tool membuat chatbot berguna sekaligus berbahaya. Model memilih fungsi dan menyusun argumennya. Kalau fungsi itu bisa menghapus data, mengirim email, atau mengubah status pesanan, maka keputusan model berujung pada aksi nyata.
Kesalahan umum: satu akun layanan dengan izin lebar dipakai untuk semua pengguna, argumen tidak divalidasi, dan tidak ada konfirmasi untuk aksi yang merusak.
Perbaikan yang terbukti:
- Batasi setiap tool ke satu operasi tertentu. Jangan sediakan fungsi "query database" serbaguna.
- Validasi argumen dengan skema ketat, termasuk tipe, panjang, dan rentang nilai.
- Ikat izin ke identitas pengguna, bukan ke identitas aplikasi.
- Minta konfirmasi manusia untuk aksi yang tidak bisa dibatalkan.
- Catat setiap pemanggilan tool beserta argumennya agar bisa ditelusuri.
4. Riwayat panjang yang membawa rahasia
Jendela konteks yang lebar terasa seperti fitur. Dalam praktik, riwayat percakapan panjang menyimpan banyak hal: potongan dokumen, kredensial yang ditempel pengguna, dan data dari sesi sebelumnya bila memori tidak dipisahkan.
Risikonya berlipat saat konteks dibagikan antar pengguna atau antar sesi. Satu pengguna bisa menerima ringkasan yang mengandung data pengguna lain. Perbaikannya: batasi panjang riwayat, ringkas dengan membuang bagian sensitif, dan pisahkan memori per pengguna. Jangan simpan rahasia di riwayat hanya karena model dianggap butuh konteks.
5. Keluaran yang dieksekusi dan biaya yang membengkak
Keluaran model adalah teks yang tidak tepercaya. Kalau aplikasi merendernya sebagai HTML tanpa escape, hasilnya adalah celah injeksi skrip. Kalau keluaran dijalankan sebagai perintah shell atau kueri basis data, dampaknya lebih jauh lagi. Render sebagai teks, escape karakter khusus, dan jalankan aksi sensitif di balik allowlist.
Sisi lain yang sering luput adalah biaya. Endpoint tanpa kuota bisa dipakai berulang untuk menghabiskan saldo token, atau memicu perulangan tool yang mahal. Batas per pengguna, batas token per permintaan, dan peringatan anggaran adalah kontrol keamanan, bukan sekadar kontrol biaya.
Pemindaian otomatis memberi indikasi, bukan bukti eksploitasi. Temuan tetap perlu divalidasi manusia sebelum dipakai mengambil keputusan.
Kesimpulan
Tujuh titik di atas punya pola yang sama: model diperlakukan sebagai penjaga, padahal ia komponen yang bisa salah. Kunci dan rahasia pindah ke server, log diredaksi sebelum ditulis, tool dibatasi izin dan skema, riwayat dipisahkan per pengguna, dan keluaran tidak pernah dieksekusi mentah. Semua itu perbaikan rekayasa biasa, bukan hal eksotis.
Untuk pemeriksaan awal, fitur free URL scan AISG berjalan di server tanpa perlu akun maupun instalasi. Tanpa bukti kepemilikan domain, hasilnya terbatas pada TLS dan header keamanan. Setelah kepemilikan terbukti, pemeriksaan ditambah CORS, file terbuka seperti /.env dan /.git/config, aset klien, rahasia inline, serta DNS email. Perlu diingat batasnya: free URL scan tidak menguji otorisasi endpoint, aturan Firebase atau Supabase, malware, maupun perubahan file. Pemindaian menunjukkan indikasi; validasi dan perbaikan tetap di tangan tim Anda.