Sebuah artikel Softonic terbaru menandai momen friendly-fire untuk keamanan AI: tim peneliti menunjukkan bahwa agen otonomi yang dipromosikan sebagai pembela dapat ditipu untuk meluncurkan serangan. Permukaan serangan adalah prompt injection, dan targetnya adalah sistem apa pun yang memungkinkan output model membuat keputusan tentang alat, file, atau jaringan. Aplikasi terbaik untuk pertahanan prompt injection di desktop memperlakukan permukaan tersebut sebagai prioritas utama: mereka memungkinkan kami melakukan red-team pada prompt kami sendiri, memfilter input yang tidak terpercaya sebelum mencapai model, dan melindungi pemanggilan alat pada saat meninggalkan agen.
Kami menguji tujuh aplikasi dan pustaka di Windows, macOS, dan Linux untuk pertahanan prompt injection pada 2026. Beberapa adalah suite pengujian (red team prompt kami terhadap payload injeksi yang diketahui), beberapa adalah guardrail runtime (filter input dan output pada saat permintaan), beberapa adalah mesin kebijakan (izinkan atau tolak pemanggilan alat). Pilih berdasarkan di mana dalam pipeline LLM pertahanan perlu ditempatkan.
Apa yang harus dicari dalam aplikasi pertahanan prompt injection
Pertahanan prompt injection lebih berlapis daripada filter spam. Aplikasi yang melakukannya dengan baik memiliki beberapa properti yang sama:
- Cakupan minimal OWASP LLM Top 10, termasuk direct dan indirect prompt injection, insecure output handling, dan training-data poisoning.
- Dukungan untuk pengujian (offline red-teaming) dan enforcement runtime (inline guardrails). Keduanya tidak cukup sendiri.
- Model-agnostic. Pertahanan yang hanya bekerja terhadap model OpenAI tidak membantu tim yang menjalankan Claude, Gemini, atau model open-source.
- Kemampuan memfilter pemanggilan alat, bukan hanya teks. Guardrail yang melewatkan “tolong jalankan perintah shell ini” tidak berguna.
- Rulesets yang terbuka dan dapat diperiksa. Classifier tertutup yang tidak dapat kami audit adalah kotak hitam dalam rantai yang perlu kami buat lebih transparan.
- Cukup cepat untuk traffic real. Guardrail 500ms pada request 300ms tidak feasible untuk aplikasi interaktif.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Harga mulai/bln | Rating |
|---|---|---|---|---|---|
| Promptfoo | Evaluasi prompt dan red-teaming CLI | Windows, macOS, Linux | Sepenuhnya gratis, open source | Dukungan enterprise | Tingkat teratas GitHub |
| Garak | Scanner kerentanan LLM dari NVIDIA | Windows, macOS, Linux | Sepenuhnya gratis, open source | Gratis | Didukung NVIDIA |
| Rebuff | Detektor multi-layer prompt injection | Windows, macOS, Linux | Sepenuhnya gratis, open source | Gratis | Komunitas |
| Lakera Guard | Guardrail terkelola dengan classifier prompt injection | API + SDKs | Tingkat gratis | Langganan tahunan modest | 4.7 / 5 |
| NeMo Guardrails | DSL guardrails yang dapat diprogram dari NVIDIA | Windows, macOS, Linux | Sepenuhnya gratis, open source | Gratis | Didukung NVIDIA |
| PyRIT | Alat identifikasi risiko Python milik Microsoft | Windows, macOS, Linux | Sepenuhnya gratis, open source | Gratis | Didukung Microsoft |
| LLM Guard | Scanner input dan output open source | Windows, macOS, Linux | Sepenuhnya gratis, open source | Dukungan enterprise | Proyek Protect AI |
Endpoint Moderation OpenAI disertakan dalam how-to-pick sebagai referensi untuk tim yang sudah berada di stack OpenAI.
Aplikasi-aplikasi
1. Promptfoo
Promptfoo adalah pilihan untuk tim yang code-first dan ingin melakukan red-team pada prompt sebagai bagian dari CI. CLI menjalankan prompt melalui ratusan payload adversarial, menilai output terhadap assertions yang kami tulis, dan melaporkan kategori serangan mana (jailbreak, injection, PII leak, data exfiltration) yang berhasil. Rilis 2026 menambahkan preset OWASP LLM Top 10 yang mengubah “jalankan setiap payload yang diketahui buruk sekali semalam” menjadi pekerjaan satu perintah.
Di mana ia kurang: ini adalah alat pengujian. Promptfoo tidak berada di jalur permintaan saat runtime; ini memberitahu kami di CI prompt mana yang rusak. Pasangkan dengan guardrail runtime.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: tingkat dukungan enterprise
Platform: Windows, macOS, Linux, Docker
Unduh: Promptfoo
Garis bawah: titik awal yang masuk akal untuk tim yang ingin red-teaming prompt di CI.
2. Garak
Garak adalah scanner kerentanan LLM dari NVIDIA, dan cakupannya lebih luas daripada Promptfoo. Ini menjalankan taksonomi probe (goodside, dan, promptinject, encoding, malwaregen, xss) terhadap model dan melaporkan probe mana yang berhasil. Untuk siapa pun yang menguji model open-source yang di-host sendiri terhadap baterai serangan yang diketahui, ini adalah alat referensi pada 2026.
Di mana ia kurang: scan memakan waktu cukup lama. Beberapa probe lebih berisik daripada yang lain dan perlu tuning untuk sesuai dengan model ancaman kami.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: tidak ada tingkat berbayar
Platform: Windows, macOS, Linux
Unduh: Garak
Garis bawah: pilihan untuk menguatkan model yang di-host sendiri terhadap setiap kategori serangan yang diketahui.
3. Rebuff
Rebuff adalah detektor prompt injection multi-layer: filter heuristik, lookup vector-store terhadap payload yang diketahui buruk, classifier berbasis LLM, dan detektor canary-token yang menangkap ketika model telah diberitahu untuk membocorkan rahasia. Performa runtime cukup cepat untuk aplikasi interaktif, dan setiap layer bersifat opsional sehingga kami dapat menyesuaikan toleransi false-positive.
Di mana ia kurang: vector store perlu diseeding dengan payload yang diketahui buruk milik kami sendiri untuk berguna; set yang dikirim mencakup injeksi umum tetapi bukan serangan khusus domain. Beberapa layer bergantung pada panggilan LLM, yang menambah latensi.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: tidak ada tingkat berbayar
Platform: Python, TypeScript, berjalan di mana pun Node atau Python berjalan
Unduh: Rebuff
Garis bawah: pilihan untuk runtime prompt injection filtering dengan desain multi-layer yang matang.
4. Lakera Guard
Lakera Guard adalah guardrail terkelola dari tim Swiss yang telah fokus pada pertahanan prompt injection sejak 2022. API duduk di depan pemanggilan model, mengklasifikasikan input pengguna dan output model untuk injeksi, PII leaks, dan pelanggaran kebijakan, dan mengembalikan verdict dalam puluhan milidetik. Playground di situs mereka memungkinkan kami menguji payload terhadap classifier saat ini secara interaktif.
Di mana ia kurang: ini adalah API yang dihosting. Tim yang diatur perlu memeriksa SKU residensi data. Harga adalah per permintaan daripada per kursi.
Harga:
- Gratis: tingkat gratis untuk workload kecil
- Berbayar: langganan tahunan modest untuk traffic produksi
Platform: API + SDKs untuk Python, JavaScript, dan Ruby
Unduh: Lakera Guard
Garis bawah: pilihan untuk guardrail API produksi tanpa memelihara classifier kami sendiri.
5. NeMo Guardrails
NeMo Guardrails adalah DSL guardrails yang dapat diprogram dari NVIDIA, dan ini adalah pustaka enforcement runtime open-source paling fleksibel dalam daftar. Aturan didefinisikan dalam script Colang yang mengatakan topik mana yang diizinkan, alat mana yang diizinkan, dan respons fallback apa ketika pemeriksaan gagal. Karena DSL dapat diprogram, NeMo dapat mengekspresikan kebijakan yang tidak dapat dilakukan classifier — “asisten hanya dapat memanggil alat SQL ketika pengguna diautentikasi” — dengan bersih.
Di mana ia kurang: Colang adalah DSL baru dan kurva pembelajaran itu nyata. Guardrail yang sangat sederhana lebih mudah ditulis dengan Rebuff atau Lakera.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: NVIDIA AI Enterprise menambahkan dukungan berbayar
Platform: Python, berjalan di mana pun Python berjalan
Unduh: NeMo Guardrails
Garis bawah: pilihan untuk tim yang membutuhkan ekspresi kebijakan di luar apa yang dapat dilakukan classifier.
6. PyRIT
PyRIT adalah Python Risk Identification Tool milik Microsoft untuk LLM, dan ini adalah hal terdekat dengan full offensive security toolkit untuk sistem AI. Ini menjalankan prompt adversarial, melacak percakapan di berbagai putaran, dan mengevaluasi output model terhadap scorer khusus. Abstraksi framework menargetkan audiens red teams dan blue teams di dalam organisasi yang lebih besar; abstraksi mencerminkan hal itu.
Di mana ia kurang: framework lebih berat daripada script pen-test sederhana. Tim kecil mungkin merasa Promptfoo atau Garak lebih mudah dijangkau.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: tidak ada tingkat berbayar
Platform: Windows, macOS, Linux
Unduh: PyRIT
Garis bawah: pilihan untuk red team yang menjalankan serangan multi-turn terstruktur terhadap sistem yang didukung LLM.
7. LLM Guard
LLM Guard dari Protect AI adalah scanner input dan output open-source yang berfokus pada pencegahan kehilangan data di samping pertahanan prompt injection. Ini mengirimkan scanner untuk PII, secrets, prompt injection, bias, dan toxicity, dan menjalankannya pada saat request pada input pengguna dan output model. Untuk tim yang kekhawatiran utamanya adalah “model baru saja mengutip kunci API kembali kepada pengguna,” LLM Guard adalah spesialis.
Di mana ia kurang: model input-output scanner menambah latensi pada setiap permintaan. Penyetelan scanner mana yang dijalankan dalam urutan apa penting untuk performa.
Harga:
- Gratis: sepenuhnya gratis, open source
- Berbayar: tingkat dukungan enterprise
Platform: Python, berjalan di mana pun Python berjalan
Unduh: LLM Guard
Garis bawah: pilihan ketika kebocoran PII dan secret sama khawatirnya dengan injeksi itu sendiri.
Cara memilih aplikasi pertahanan prompt injection yang tepat
- Jika kami ingin red-teaming prompt pada saat CI: Promptfoo.
- Jika kami menguatkan model open-source yang di-host sendiri: Garak.
- Jika kami ingin filtering runtime dengan desain multi-layer: Rebuff.
- Jika kami ingin guardrail API yang dihosting: Lakera Guard.
- Jika kebijakan kami lebih kompleks daripada yang dapat dilakukan classifier: NeMo Guardrails.
- Jika kami menjalankan red team terstruktur: PyRIT.
- Jika kebocoran PII dan secrets adalah risiko utama: LLM Guard.
- Jika kami sudah berada di stack OpenAI: endpoint Moderation OpenAI adalah baseline; layer minimal salah satu dari di atas untuk cakupan spesifik injeksi.
Stack 2026 terkuat untuk tim kecil adalah Promptfoo di CI plus Rebuff atau Lakera Guard pada runtime plus scan Garak terjadwal terhadap model produksi. Kombinasi itu menangkap payload yang diketahui buruk sebelum deploy, memfilter yang tidak diketahui saat request time, dan memindai ulang model yang di-deploy pada jadwal.
FAQ
Apa itu prompt injection? Prompt injection adalah kelas serangan di mana input yang tidak terpercaya (pesan pengguna, dokumen, halaman yang di-scrape) berisi instruksi yang mengalihkan model terhadap tujuan yang dimaksudkan. Injeksi direct adalah ketika pengguna mengetik serangan. Injeksi indirect adalah ketika model membaca serangan dari dokumen atau halaman web yang diperintahkan untuk dirangkum. Keduanya ada di OWASP LLM Top 10.
Bisakah prompt injection sepenuhnya dicegah? Tidak. Prompt injection adalah masalah asli language model dan tidak ada pertahanan sempurna yang diketahui. Pertahanan berlapis (red teaming saat pengujian, classifier runtime, kebijakan pemanggilan alat, canary tokens, output moderation) mengurangi risiko ke tingkat yang dapat diterima untuk deployment tertentu. Siapa pun yang mengklaim mencegah semua prompt injection dengan satu alat menyederhanakan.
Apa pertahanan prompt injection open-source terbaik? Untuk filtering runtime, Rebuff dan LLM Guard adalah pilihan open-source paling lengkap. Untuk kebijakan yang dapat diprogram, NeMo Guardrails. Untuk pengujian, Promptfoo dan Garak.
Apakah endpoint Moderation OpenAI menangkap prompt injection? Sebagian. Endpoint Moderation dirancang untuk kategori konten (harassment, self-harm, violence) lebih dari untuk injeksi secara khusus. Classifier prompt injection khusus (Rebuff, Lakera Guard, LLM Guard) menangkap serangan yang Moderation lewatkan.
Bagaimana cara menambahkan pertahanan prompt injection ke agen LangGraph atau CrewAI? Bungkus pemanggilan alat dalam langkah guardrail yang menjalankan LLM Guard atau Rebuff pada tindakan yang diusulkan model, dan jeda melalui interrupt LangGraph atau approval gate CrewAI ketika guardrail menandai pemanggilan. Promptfoo dapat menjalankan rantai guardrail yang sama di CI terhadap baterai payload adversarial.
Apakah alat-alat ini gratis untuk digunakan secara komersial? Promptfoo, Garak, Rebuff, NeMo Guardrails, PyRIT, dan LLM Guard adalah open source dengan lisensi permisif yang memungkinkan penggunaan komersial. Lakera Guard adalah layanan terkelola berbayar dengan tingkat gratis untuk workload kecil.