← Back to Home
KEAMANAN AI · SECURITY

Keamanan Chatbot AI: 7 Hal yang Sering Terlewat

6 November 2026 · 5 min read · AISG Editorial

Chatbot AI sudah berpindah dari demo ke jalur layanan utama. Ia menjawab pelanggan, membaca dokumen internal, dan memanggil API atas nama pengguna. Posisi itu membuatnya jadi pintu masuk yang menarik untuk disalahgunakan.

Kegagalan keamanan chatbot AI jarang terjadi karena modelnya sendiri. Sumber masalah biasanya ada di sekeliling model: instruksi sistem yang disimpan apa adanya, log yang menampung seluruh percakapan, tool yang bisa dipanggil tanpa batas, dan keluaran yang langsung dieksekusi oleh aplikasi.

Berikut tujuh titik lemah yang sering terlewat, dikelompokkan dalam lima bagian, masing-masing dengan perbaikan konkret. Prinsip kerjanya satu: perlakukan model sebagai komponen yang bisa salah, bukan sebagai penjaga.

1. Instruksi sistem yang dianggap brankas

Instruksi sistem sering ditulis seperti dokumen internal. Di dalamnya ada aturan bisnis, nama tabel, alur eskalasi, kadang kunci atau token. Penulisnya mengira teks itu tidak akan pernah terbaca pengguna.

Anggapan itu tidak berlaku. Instruksi sistem bisa bocor lewat permintaan yang dirancang khusus, dan teknik ini dikenal sebagai prompt stealing. Isi prompt yang terbaca memberi penyerang peta sistem Anda: endpoint apa yang dipanggil, data apa yang boleh diambil, dan batas mana yang paling longgar.

Perbaikannya: pindahkan semua rahasia ke variabel lingkungan di server, jangan pernah ke dalam prompt. Tulis instruksi sistem seolah akan dibaca publik. Tambahkan pemeriksaan input dan output yang tidak bergantung pada kepatuhan model. Untuk menguji kebocoran seperti ini, AISG menyediakan probe prompt stealing lewat promptmap pada plan Expert.

2. Data pribadi yang berakhir di log dan penyimpanan

Dua titik lemah di bagian ini saling berkaitan: log dan penyimpanan percakapan. Banyak implementasi menyimpan isi permintaan dan jawaban lengkap untuk keperluan debugging. Isinya sering memuat nama, nomor telepon, alamat, nomor identitas, atau data kesehatan.

Penyimpanan percakapan di basis data menambah lapisan risiko lain. Riwayat yang bisa dibaca seluruh tim internal, tabel tanpa pembatasan akses, atau cadangan yang tidak pernah dibersihkan membuat data bertahan jauh lebih lama dari yang dibutuhkan.

Perbaikan yang bisa dikerjakan minggu ini:

3. Tool yang dipanggil tanpa batas izin

Kemampuan memanggil tool membuat chatbot berguna sekaligus berbahaya. Model memilih fungsi dan menyusun argumennya. Kalau fungsi itu bisa menghapus data, mengirim email, atau mengubah status pesanan, maka keputusan model berujung pada aksi nyata.

Kesalahan umum: satu akun layanan dengan izin lebar dipakai untuk semua pengguna, argumen tidak divalidasi, dan tidak ada konfirmasi untuk aksi yang merusak.

Perbaikan yang terbukti:

  1. Batasi setiap tool ke satu operasi tertentu. Jangan sediakan fungsi "query database" serbaguna.
  2. Validasi argumen dengan skema ketat, termasuk tipe, panjang, dan rentang nilai.
  3. Ikat izin ke identitas pengguna, bukan ke identitas aplikasi.
  4. Minta konfirmasi manusia untuk aksi yang tidak bisa dibatalkan.
  5. Catat setiap pemanggilan tool beserta argumennya agar bisa ditelusuri.

4. Riwayat panjang yang membawa rahasia

Jendela konteks yang lebar terasa seperti fitur. Dalam praktik, riwayat percakapan panjang menyimpan banyak hal: potongan dokumen, kredensial yang ditempel pengguna, dan data dari sesi sebelumnya bila memori tidak dipisahkan.

Risikonya berlipat saat konteks dibagikan antar pengguna atau antar sesi. Satu pengguna bisa menerima ringkasan yang mengandung data pengguna lain. Perbaikannya: batasi panjang riwayat, ringkas dengan membuang bagian sensitif, dan pisahkan memori per pengguna. Jangan simpan rahasia di riwayat hanya karena model dianggap butuh konteks.

5. Keluaran yang dieksekusi dan biaya yang membengkak

Keluaran model adalah teks yang tidak tepercaya. Kalau aplikasi merendernya sebagai HTML tanpa escape, hasilnya adalah celah injeksi skrip. Kalau keluaran dijalankan sebagai perintah shell atau kueri basis data, dampaknya lebih jauh lagi. Render sebagai teks, escape karakter khusus, dan jalankan aksi sensitif di balik allowlist.

Sisi lain yang sering luput adalah biaya. Endpoint tanpa kuota bisa dipakai berulang untuk menghabiskan saldo token, atau memicu perulangan tool yang mahal. Batas per pengguna, batas token per permintaan, dan peringatan anggaran adalah kontrol keamanan, bukan sekadar kontrol biaya.

Pemindaian otomatis memberi indikasi, bukan bukti eksploitasi. Temuan tetap perlu divalidasi manusia sebelum dipakai mengambil keputusan.

Kesimpulan

Tujuh titik di atas punya pola yang sama: model diperlakukan sebagai penjaga, padahal ia komponen yang bisa salah. Kunci dan rahasia pindah ke server, log diredaksi sebelum ditulis, tool dibatasi izin dan skema, riwayat dipisahkan per pengguna, dan keluaran tidak pernah dieksekusi mentah. Semua itu perbaikan rekayasa biasa, bukan hal eksotis.

Untuk pemeriksaan awal, fitur free URL scan AISG berjalan di server tanpa perlu akun maupun instalasi. Tanpa bukti kepemilikan domain, hasilnya terbatas pada TLS dan header keamanan. Setelah kepemilikan terbukti, pemeriksaan ditambah CORS, file terbuka seperti /.env dan /.git/config, aset klien, rahasia inline, serta DNS email. Perlu diingat batasnya: free URL scan tidak menguji otorisasi endpoint, aturan Firebase atau Supabase, malware, maupun perubahan file. Pemindaian menunjukkan indikasi; validasi dan perbaikan tetap di tangan tim Anda.

Bacaan lanjutan: prompt stealing: instruksi rahasia bisa dicuri · jailbreak LLM vs guardrail: siapa yang menang. Mau memeriksa aplikasi sendiri? free URL scan — tanpa akun.
Chatbot Keamanan AI Data Pribadi LLM

Start with the first step.

Start free on Community — local scan, no credit card.

Start Scanning
Early access: AISG is currently in early-access mode — the Community plan is free to start. Scans must be performed only against targets you are authorized to assess — results are indicative and require human review (see Trust & Legal).