Keterbatasan terbesar LLM lokal bukan lagi alusinasi. Ini adalah cutoff pelatihan. Tanyakan Llama 3.1 tentang perpustakaan yang diluncurkan enam bulan setelah cutoff-nya dan model dengan percaya diri menemukan panggilan API yang tidak pernah ada. Perbaikannya adalah integrasi pencarian web, dan hingga baru-baru ini ini memerlukan API OpenAI. Sekarang perkakas untuk menambahkan pencarian real-time ke model lokal ada, bekerja, dan tetap pribadi.
Kami menguji tujuh aplikasi yang memberi LLM lokal akses ke web saat ini. Beberapa adalah front-end lengkap dengan pencarian bawaan. Beberapa adalah middleware antara mesin pencari dan titik akhir Ollama Anda. Di bawah ini adalah apa yang dilakukan setiap aplikasi, di mana kekurangannya, dan kombinasi mana yang terbaik untuk stack LLM lokal umum.
Apa yang dicari dalam alat pencarian web LLM lokal
Lapisan pencarian web lebih penting daripada model di baliknya. Beberapa kriteria.
- Sumber pencarian. SearXNG (meta-search, pribadi), Bing API, Brave Search API, atau Google yang dikikis. Beberapa alat bekerja dengan semuanya; beberapa menguncilkan Anda.
- Chunking dan pemeringkatan ulang. Hasil pencarian mentah membingungkan sebagian besar model lokal. Alat yang baik membagi hasil teratas, menyematkannya, mengurutkan berdasarkan relevansi, dan hanya memberi makan bagian teratas ke prompt.
- Kualitas kutipan. Respons harus mengatakan URL mana yang ditarik darinya. Tautan kutipan gaya Perplexity adalah standar emas.
- Kompatibilitas Ollama atau llama.cpp. Beberapa alat menganggap API OpenAI. Kompatibilitas Ollama sekarang standar tetapi periksa.
- Streaming. Menunggu pencarian plus pengambilan plus generasi selesai sebelum menampilkan apa pun merusak UX. Streaming harus dimulai saat token siap.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Harga mulai/bulan | Penilaian |
|---|---|---|---|---|---|
| Perplexica | Perplexity-style front-end | Docker | Sepenuhnya gratis | Gratis | 4.7 |
| SearXNG | Backend meta-search pribadi | Docker, Linux | Sepenuhnya gratis | Gratis | 4.6 |
| Open WebUI | Front-end LLM dengan plugin web | Docker | Sepenuhnya gratis | Gratis | 4.7 |
| AnythingLLM | RAG + web browsing agent | Windows, macOS, Linux | Sepenuhnya gratis | Gratis | 4.5 |
| LibreChat | Clone ChatGPT dengan plugin pencarian | Docker | Sepenuhnya gratis | Gratis | 4.6 |
| LlamaIndex | DIY web-aware pipelines | Perpustakaan Python | Sepenuhnya gratis | Gratis | 4.5 |
| Msty | Aplikasi desktop lokal-first dengan LLM chat | Windows, macOS, Linux | Tingkat gratis | Sekitar $10/bulan Pro | 4.4 |
Aplikasi
1. Perplexica — Clone Perplexity terbaik untuk LLM lokal
Perplexica membangun kembali UX Perplexity.ai untuk model lokal. Ajukan pertanyaan, ia mencari (melalui SearXNG secara default), menghapus halaman teratas, membaginya, dan memberi makan bagian yang relevan ke LLM lokal Anda dengan prompt yang meminta jawaban yang dikutip.
Respons streaming dengan kutipan inline yang kembali ke halaman sumber. Bekerja dengan Ollama dan titik akhir yang kompatibel dengan OpenAI apa pun, jadi llama.cpp dengan shim OpenAI juga berfungsi.
Di mana kekurangannya: Pengaturan memerlukan Docker plus SearXNG berjalan di samping. Pemolesan UI sedikit di belakang Perplexity komersial.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Docker (berjalan di mana pun Docker berjalan)
Unduh: Perplexica
Garis bawah: Pilihan default jika Anda menginginkan pengganti Perplexity yang berjalan secara lokal. Pengaturan membutuhkan 30 menit dengan Docker Compose.
2. SearXNG — Backend pencarian pribadi terbaik
SearXNG adalah mesin meta-search yang menanyakan Google, Bing, DuckDuckGo, Brave, dan puluhan sumber lainnya dan mengembalikan hasil terpadu. Self-host dan setiap pencarian dari stack LLM lokal Anda menjadi anonim ke mesin asli.
Setiap alat di atas (Perplexica, Open WebUI, LibreChat) mendukung SearXNG sebagai backend pencarian. Ia duduk di bawah seluruh stack.
Di mana kekurangannya: SearXNG mandiri adalah halaman pencarian, bukan alat LLM. Anda memerlukan front-end yang menggunakan hasilnya.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Docker, Python
Unduh: SearXNG
Garis bawah: Instal ini sekali dan tunjukkan setiap alat LLM lokal lainnya. Menghilangkan masalah “API key mana yang saya butuhkan”.
3. Open WebUI — Front-end LLM all-in-one terbaik dengan pencarian web
Open WebUI mengirimkan pencarian web sebagai plugin. Aktifkan alat pencarian di panel admin, pilih SearXNG atau API berbayar (Serper, Brave), dan setiap obrolan sekarang dapat memicu pencarian saat model memintanya.
Dikombinasikan dengan RAG dokumen Open WebUI, autentikasi per-pengguna, dan dukungan multi-model, ini mencakup sebagian besar dari apa yang dibutuhkan pengguna LLM lokal dalam satu antarmuka.
Di mana kekurangannya: Plugin pencarian bersifat opt-in per obrolan secara default, jadi pengguna pertama kali tidak mendapatkannya secara otomatis. Memerlukan langkah konfigurasi ekstra.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Docker (host Linux, macOS, atau Windows apa pun)
Unduh: Open WebUI
Garis bawah: Pilihan terbaik jika Anda sudah menjalankan Open WebUI. Menambahkan pencarian adalah satu perubahan konfigurasi.
4. AnythingLLM — Terbaik untuk aplikasi desktop dengan agen
AnythingLLM adalah aplikasi desktop mandiri (bukan hanya Docker) yang berjalan di Windows, macOS, dan Linux. Dilengkapi dengan primitive agen, dan agen pencarian web menggunakan SearXNG, Serper, atau Bing API untuk mengambil halaman saat ini.
RAG di atas dokumen lokal berada di antarmuka yang sama, jadi Anda dapat mencampur “pencarian web” dengan “pencarian vault Obsidian saya” dalam satu obrolan.
Di mana kekurangannya: Aplikasi desktop lebih berat daripada UI berbasis browser. Beberapa mode pencarian memerlukan API key bahkan dengan tingkat gratis.
Harga:
- Gratis: Aplikasi desktop, semua fitur
- Berbayar: Sekitar $50/bulan tingkat Cloud untuk dihosting
Platform: Windows, macOS, Linux, Docker
Unduh: AnythingLLM
Garis bawah: Pilih ini jika Anda menginginkan aplikasi desktop sungguhan daripada tab localhost. Terbaik all-in-one untuk penggunaan pribadi.
5. LibreChat — Terbaik untuk ChatGPT-style UX dengan plugin pencarian
LibreChat meniru antarmuka ChatGPT dan menambahkan dukungan plugin. Pencarian web berasal dari plugin Web Browsing bawaan, yang mendukung backend Google, Brave, dan Serper. Arahkan obrolan ke Ollama dan Anda mendapatkan ChatGPT dengan akses web di atas model lokal.
Arsitektur plugin berarti alat baru (kalkulator, eksekusi kode, pembuatan gambar) diinstal tanpa mengubah front-end.
Di mana kekurangannya: Konfigurasi plugin lebih berat daripada Perplexica atau Open WebUI. Memerlukan pengeditan file JSON.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Docker, Node.js
Unduh: LibreChat
Garis bawah: Pilihan terbaik jika Anda menginginkan klon UI ChatGPT secara khusus. Ekosistem plugin lebih luas daripada sebagian besar alternatif.
6. LlamaIndex — Terbaik untuk membangun pipeline web-aware Anda sendiri
LlamaIndex adalah kerangka Python, bukan front-end. Gunakan saat Anda menginginkan aplikasi khusus: RAG di atas web + PDF + database, loop agen, panggilan alat, dan semuanya terhubung melalui titik akhir Ollama atau llama.cpp Anda.
Integrasi pencarian web mendukung Google, Bing, DuckDuckGo, Serper, Tavily, dan lainnya. Primitive pemeringkatan ulang (BM25, cross-encoder) melampaui apa yang ditawarkan UI pra-bangun.
Di mana kekurangannya: Tidak ada UI. Anda menulis aplikasinya.
Harga:
- Gratis: Open source (MIT)
- Berbayar: Tidak ada (LlamaCloud terkelola ada secara terpisah)
Platform: Perpustakaan Python
Unduh: LlamaIndex
Garis bawah: Pilih ini untuk apa pun melampaui apa yang ditawarkan UI pra-bangun. Kurva pembelajaran terberat, atap tertinggi.
7. Msty — Aplikasi desktop lokal-first terbaik dengan pencarian bawaan
Msty adalah aplikasi desktop satu unduhan yang menggabungkan UI obrolan, manajemen model, dan mode pencarian web bawaan. Aktifkan “cari web” di obrolan mana pun dan Msty mengikis hasil dan memberinya makan ke prompt Anda.
Penginstal model satu klik untuk model Ollama membuatnya menjadi titik awal termudah bagi seseorang yang tidak pernah menyentuh Docker atau terminal.
Di mana kekurangannya: Tingkat gratis membatasi beberapa fitur (pemisahan model berganda, ruang kerja). Sumber pencarian bersifat proprietary.
Harga:
- Gratis: Pribadi, fitur inti
- Berbayar: Sekitar $10/bulan Pro, $50 seumur hidup
Platform: Windows, macOS, Linux
Unduh: Msty
Garis bawah: Pilihan terbaik untuk pengguna non-teknis yang menginginkan LLM lokal dengan akses web dan tidak ingin menyentuh terminal.
Cara memilih yang tepat
Jika Anda menginginkan penyiapan tercepat: Msty. Unduh, instal, aktifkan pencarian web.
Jika Anda menginginkan pengganti Perplexity terdekat: Perplexica + SearXNG. Tiga puluh menit dengan Docker Compose.
Jika Anda sudah menjalankan front-end LLM lokal: aktifkan pencarian web di dalam Open WebUI, LibreChat, atau AnythingLLM. Lebih cepat daripada menerapkan alat kedua.
Jika Anda membuat aplikasi AI khusus: LlamaIndex. Lewati UI sama sekali.
Jika privasi adalah prioritas: SearXNG di tengah, tidak ada API pihak ketiga. Perplexica atau Open WebUI di atas.
FAQ
LLM lokal mana yang menangani jawaban yang ditambah web terbaik? Llama 3.1 8B atau Qwen 2.5 7B adalah minimum praktis untuk sintesis multi-sumber yang koheren. Di bawah parameter 7B, model berjuang untuk menyelaraskan sumber yang bertentangan. Di atas 30B, kualitas meningkat secara marginal tetapi permintaan perangkat keras tumbuh cepat.
Apakah saya memerlukan API key untuk pencarian web? Tidak. SearXNG plus salah satu front-end di atas bekerja tanpa akun eksternal. Backend berbayar (Serper, Brave API, Tavily) memberikan hasil yang lebih dapat diandalkan per kueri dan throughput lebih tinggi.
Bisakah saya menggunakan ini dengan LM Studio?
LM Studio mengekspos titik akhir yang kompatibel dengan OpenAI. Perplexica, Open WebUI, LibreChat, AnythingLLM, dan LlamaIndex semuanya terhubung ke dalamnya. Arahkan mereka ke http://localhost:1234/v1 dan pilih model.
Bagaimana pencarian web LLM lokal yang ditambah berbeda dari RAG di dokumen lokal? RAG di dokumen lokal mencari file Anda sendiri. Pencarian web menambah dengan internet saat ini. Sebagian besar alat di atas melakukan keduanya dari obrolan yang sama.
Apa stack LLM lokal plus pencarian web terbaik yang gratis? Ollama menjalankan Llama 3.1 8B, Open WebUI sebagai front-end, SearXNG sebagai backend pencarian, semuanya di Docker. Gratis selamanya, tidak ada API pihak ketiga yang diperlukan.
Bisakah saya menjalankan ini di laptop dengan RAM 16GB? Ya untuk model 7B dan 8B pada kuantisasi Q4. Model yang lebih besar menginginkan 32GB atau lebih.