Softonic melaporkan minggu ini bahwa OpenAI dan Anthropic bersama-sama mengungkapkan sejumlah kelemahan agen AI, dan pertanyaan tanggung jawab yang mengikutinya adalah cerita sebenarnya. Jika agen pengkodean menghapus direktori karena halaman web menyuruhnya melakukan itu, seseorang harus bertanggung jawab atas itu. Respons yang tepat dari pengguna desktop bukan untuk berhenti menjalankan agen. Ini untuk menjalankan mereka di belakang guardrail. Kami menguji 7 aplikasi yang memfilter input dan output agen, mengisolasi eksekusi mereka, dan mencatat apa yang mereka lakukan, sehingga ketika sesuatu salah kami dapat menunjuk pada prompt yang tepat yang menyebabkannya.
Apa yang perlu diperhatikan dalam aplikasi keamanan agen AI
Keselamatan agen terbagi menjadi tiga masalah: apa yang dibaca agen, apa yang dilakukan agen, dan apa yang ditinggalkan agen. Pengaturan apa pun yang nyata harus mencakup ketiga hal tersebut.
- Penyaringan input prompt untuk prompt injection dan PII
- Validasi output terhadap aturan struktural
- Sandbox untuk eksekusi shell, sehingga agen tidak dapat menyentuh file yang salah
- Log audit dari setiap prompt, tool call, dan response
- Integrasi dengan agen coding yang sudah kami gunakan (Claude Code, Cursor, Cline)
- Berjalan secara lokal di mana mungkin, tanpa layanan pihak ketiga yang melihat setiap prompt
Perbandingan cepat
| App | Best for | Platforms | Free | Cost | Rating |
|---|---|---|---|---|---|
| Guardrails AI | Guardrail struktural dan konten | Windows, macOS, Linux, Python | Yes | Free tier + paid Hub | 4.7 (GitHub) |
| NeMo Guardrails | Keselamatan percakapan berbasis aturan | Windows, macOS, Linux | Yes | Free | 4.6 |
| Rebuff | Deteksi prompt-injection | Windows, macOS, Linux, cloud | Yes | Free tier | 4.5 |
| Docker Desktop | Sandbox container untuk agen | Windows, macOS, Linux | Yes | 9/user/mo Pro | 4.5 |
| gVisor | Sandbox tingkat kernel untuk container | Linux, macOS Docker | Yes | Free | 4.4 |
| Firecracker | Micro-VM untuk isolasi ringan | Linux | Yes | Free | 4.6 |
| LangKit | Metrik runtime untuk prompt LLM | Windows, macOS, Linux | Yes | Free | 4.5 |
1. Guardrails AI, terbaik untuk guardrail struktural dan konten
Guardrails AI adalah perpustakaan Python dan Hub yang membungkus panggilan model dalam aturan deklaratif. Katakan “output harus JSON yang valid dengan field ini,” “output tidak boleh berisi PII,” “output tidak boleh menyertakan perintah shell,” dan perpustakaan akan menulis ulang, mencoba ulang, atau menolak panggilan. Hub menambahkan pasar validator yang telah dibangun sebelumnya.
Di mana kekurangannya: berpusat pada Python, jadi cocok untuk framework agen lebih baik daripada kasus “Saya hanya ingin Cursor berperilaku baik”.
Harga:
- Free: core library, Apache 2.0
- Paid: Hub Pro tier untuk validator bersama dan penegakan yang di-host
Platform: Windows, macOS, Linux, Python
Download: Guardrails AI | GitHub
Bottom line: alat yang harus dipilih ketika kami menulis agen kami sendiri dan menginginkan itu gagal dengan keras pada output yang buruk.
2. NeMo Guardrails, terbaik untuk keselamatan percakapan berbasis aturan
NeMo Guardrails oleh NVIDIA memungkinkan kami menjelaskan kebijakan dalam bahasa khusus domain kecil, Colang, kemudian membungkus panggilan LLM apa pun. Kebijakan mungkin mengatakan “jika pengguna bertanya tentang prompt sistem, tolak,” atau “selalu panggil alat retrieval sebelum menjawab pertanyaan domain.” Colang berjalan sebelum, bersama, dan setelah panggilan model.
Di mana kekurangannya: Colang adalah bahasa yang perlu dipelajari, dan runtime menambah latensi.
Harga:
- Free: open source, Apache 2.0
- Paid: tidak ada, meskipun layanan NeMo Enterprise ada untuk stack pelatihan
Platform: Windows, macOS, Linux
Download: NeMo Guardrails
Bottom line: layak untuk kurva pembelajaran jika agen menghadap pengguna dan aturan kebijakan harus berada di luar prompt.
3. Rebuff, terbaik untuk deteksi prompt-injection
Rebuff adalah perpustakaan kecil yang didedikasikan untuk satu masalah: menangkap prompt injection sebelum mencapai model. Ini menggunakan heuristik, vector DB dari string serangan yang dikenal, dan pendekatan canary token. Apa pun yang terlihat seperti injeksi ditandai, dan kode yang memanggil memutuskan apa yang harus dilakukan.
Di mana kekurangannya: heuristik memiliki false positives, dan pendekatan vector memerlukan vector DB yang berjalan.
Harga:
- Free: open source, MIT
- Paid: cloud tier dengan vector DB yang di-host dan corpus serangan bersama
Platform: Python, JavaScript, cloud
Download: Rebuff
Bottom line: alat khusus. Ikatkan ke depan perpustakaan guardrail tujuan umum.
4. Docker Desktop, terbaik untuk sandbox container yang familiar
Docker Desktop adalah entri paling rendah profil di daftar dan mungkin yang paling berguna. Jalankan coding agents di dalam container dengan repo yang dipasang read-write dan semuanya dibaca-saja, dan bahkan prompt yang bermusuhan tidak dapat menghapus mesin. Volume membuat handoff ke host eksplisit.
Di mana kekurangannya: aplikasi desktop berat di RAM, dan lisensi telah berubah dua kali dalam tiga tahun.
Harga:
- Free: Personal dan tim kecil (kurang dari 250 karyawan)
- Paid: 9/user/mo Pro, lebih banyak untuk Team
Platform: Windows, macOS, Linux
Download: Docker Desktop
Bottom line: jawaban praktis untuk “bagaimana cara membiarkan Claude menjalankan npm install tanpa memberikan akses filesystem saya”.
5. gVisor, terbaik untuk sandbox tingkat kernel
gVisor adalah userspace kernel yang ditulis oleh Google. Container yang berjalan di bawah gVisor hanya dapat membuat subset syscall, jadi bahkan pelarian container tidak dapat mencapai host kernel. Lebih berat daripada container normal tetapi jauh lebih ringan daripada VM penuh.
Di mana kekurangannya: overhead performa nyata, dan tidak setiap workload berjalan di bawahnya tanpa penyesuaian.
Harga:
- Free: open source, Apache 2.0
- Paid: tidak ada
Platform: Linux, dan Linux-inside-Docker di macOS
Bottom line: lapisan isolasi yang lebih dalam, untuk agen yang menyentuh kode dari orang asing.
6. Firecracker, terbaik untuk micro-VM
Firecracker adalah hypervisor berbasis KVM untuk micro-VM. Waktu boot di bawah satu detik, footprint memori diukur dalam megabyte, dan isolasi lebih dekat ke VM penuh daripada ke container. AWS Lambda berjalan di atasnya. Secara lokal, Firecracker VM per run agen membuat radius ledakan setiap pekerjaan terkandung.
Di mana kekurangannya: Linux saja, dan setup bukan latihan lima menit.
Harga:
- Free: open source, Apache 2.0
- Paid: tidak ada
Platform: Linux
Download: Firecracker | GitHub
Bottom line: opsi isolasi lokal terkuat kurang dari VM penuh.
7. LangKit, terbaik untuk metrik runtime dan observability
LangKit oleh WhyLabs mengukur setiap prompt dan response untuk text quality, toxicity, sentiment, kesamaan dengan injeksi yang dikenal, dan PII. Ini masuk sebelum panggilan LLM apa pun, dan dashboard menampilkan anomali seiring waktu. Intinya bukan untuk memblokir, tetapi untuk memperhatikan.
Di mana kekurangannya: observability saja tidak menghentikan serangan, ini menjelaskan apa yang terjadi setelah fakta.
Harga:
- Free: open source, Apache 2.0
- Paid: WhyLabs platform untuk dashboard yang di-host, dari sekitar 200/mo
Platform: Windows, macOS, Linux
Download: LangKit
Bottom line: lapisan “apa yang baru saja terjadi”. Pasangkan dengan salah satu enforcer di atas.
Cara memilih yang tepat
- Untuk menulis ulang atau menolak output model yang buruk: Guardrails AI.
- Untuk aturan kebijakan di luar prompt: NeMo Guardrails.
- Untuk deteksi prompt-injection khusus: Rebuff.
- Untuk sandboxing eksekusi shell dengan cara pragmatis: Docker Desktop.
- Untuk isolasi yang lebih dalam di Linux: gVisor.
- Untuk isolasi micro-VM: Firecracker.
- Untuk mengukur apa yang dilakukan agen: LangKit.
- Untuk audit logging tingkat prompt: PromptLayer layak dilihat, ini menangkap setiap request dan response dengan metadata.
Setup desktop yang dapat dipertahankan biasanya menumpuk tiga hal: sandbox (Docker Desktop), lapisan guardrail (Guardrails AI atau NeMo), dan observability (LangKit atau PromptLayer).
FAQ
Apakah saya benar-benar perlu sandbox coding agents?
Jika agen menjalankan perintah shell atau menulis file, ya. Jika itu hanya chat, tidak. Garis adalah apakah prompt injection dapat berubah menjadi tindakan.
Mana langkah pertama yang paling mudah?
Docker Desktop dengan container yang terkunci untuk coding agent. Tambahkan Guardrails AI ke panggilan model. Itu sudah memblokir sebagian besar kerusakan yang tidak disengaja.
Dapatkah alat ini melindungi model terhadap serangan gaya Astra?
Terhadap serangan model langsung, tidak. Tidak ada yang di daftar ini mengubah bobot model. Terhadap prompt injection, PII leakage, dan unsafe tool calls, ya.
Apakah free tier cukup?
Untuk satu pengembang, ya. Guardrails AI, NeMo Guardrails, Rebuff, gVisor, Firecracker, LangKit, dan PromptLayer semuanya memiliki free tier nyata. Hanya Docker Desktop mulai menagih di luar tim yang sangat kecil.
Apakah ini memperlambat agen?
Guardrail menambah latensi, kadang ratusan milidetik. Sandbox menambah latensi yang dapat diabaikan untuk container dan sedikit lebih banyak untuk micro-VM. Tukar latensi dengan keamanan, selalu.
