Saat agen LLM lokal kehabisan konteks, percakapan berhenti masuk akal. Giliran kedelapan mencoba mereferensikan file yang sudah ditinggalkan model dari jendela, keluaran pemanggilan alat memakan 6000 token pada langkah rutin, dan balasan berikutnya adalah permintaan maaf bukan rencana. Membuat model 7B atau 13B yang berjalan di rumah untuk menyelesaikan tugas melalui lima puluh langkah bukan tentang ukuran model, tetapi tentang apa yang masuk dan keluar dari jendela.
Kami menguji tujuh aplikasi dan pustaka yang mengelola konteks di sekitar LLM lokal. Beberapa adalah toko memori yang bertahan di seluruh sesi, beberapa adalah mesin prompt yang merangkum sebelum overflow, dan salah satunya adalah server Ollama itu sendiri dengan pengaturan yang tepat. Di bawah ini adalah apa yang sebenarnya membuat agen uji kami tetap fokus melalui sesi pengodean 90 menit dengan model 13B.
Apa yang harus dicari dalam pengelola konteks
- Peringkasan otomatis. Alat harus menyadari ketika jendela mendekati kapasitas dan menggulung giliran yang lebih tua tanpa kehilangan maksud.
- Pengambilan daripada sejarah yang membengkak. File, dokumen, atau obrolan masa lalu yang dirujuk oleh embedding lebih murah daripada konten yang sama ditempel kembali ke prompt.
- Memori persisten di seluruh sesi. Agen harus mengingat apa yang diberitahu dua hari lalu tentang proyek tanpa perlu mengulanginya.
- Disiplin token panggilan alat. Keluaran alat besar (hasil grep, respons HTTP) harus dipangkas atau dirujuk oleh handle daripada dimasukkan mentah-mentah ke putaran berikutnya.
- Ollama-native atau kompatibel OpenAI. Alat harus berbicara protokol yang sama dengan runtime lokal.
- Mode hanya lokal. Tidak ada yang tentang manajemen konteks harus memerlukan panggilan ke layanan cloud.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Lisensi | Paket gratis | Harga mulai | Rating |
|---|---|---|---|---|---|
| LangChain | Kerangka kerja lengkap untuk orkestrasi konteks | MIT | Gratis | Gratis | 4.5 |
| LlamaIndex | Agen prioritas pengambilan | MIT | Gratis | Gratis | 4.6 |
| Mem0 | Penyimpan memori jangka panjang | Apache 2.0 | Self-host gratis | Sekitar $19/bulan hosted | 4.5 |
| Chroma | Basis data vektor tertanam | Apache 2.0 | Gratis | Gratis | 4.5 |
| Continue | Agen VS Code dengan aturan konteks | Apache 2.0 | Gratis | Gratis | 4.6 |
| Open WebUI | Chat UI dengan pipa dokumen dan memori | BSD-3 | Gratis | Gratis | 4.7 |
| Ollama | Runtime dengan pengaturan konteks per model | MIT | Gratis | Gratis | 4.7 |
Aplikasi-aplikasi
1. LangChain — Kerangka kerja lengkap terbaik untuk orkestrasi konteks
LangChain adalah kerangka kerja yang dituju sebagian besar proyek LLM lokal pada saat manajemen konteks menjadi masalah nyata. Buffer percakapan dengan batas token, rantai peringkasan otomatis, toko riwayat pesan, dan API memori yang menghubungkan ke protokol LLM apa pun adalah primitif kelas pertama.
Untuk agen yang menjalankan banyak giliran dengan alat, ConversationTokenBufferMemory digabungkan dengan rantai MapReduceSummarize membuat jendela tidak meledak. Terintegrasi dengan bersih dengan server Ollama dan llama.cpp.
Di mana ia kurang: Permukaan API sangat besar, dan jalur tercepat tidak selalu jelas. Rilis mingguan kadang-kadang merusak impor kecil. Debugging rantai panjang memerlukan UI LangSmith atau logging yang cermat.
Harga:
- Gratis: Pustaka lengkap, lisensi MIT
- Berbayar: Tingkat pelacakan cloud LangSmith dari sekitar $39/pengguna/bulan
Platform: Python, JavaScript di Windows, macOS, Linux
Unduh: LangChain
Garis bawah: Pilih ini ketika agen membutuhkan banyak primitif (memori, pengambilan, perutean alat) di satu tempat.
2. LlamaIndex — Agen prioritas pengambilan terbaik
LlamaIndex memperlakukan konteks sebagai masalah kueri. Daripada menempel seluruh dokumen ke prompt, dokumen diindeks dengan embedding dan menarik kembali hanya paragraf yang dibutuhkan model di giliran ini. Hasilnya adalah jendela kerja yang jauh lebih kecil dan memori efektif yang jauh lebih lama.
Pustaka dilengkapi dengan konektor untuk PDF, Markdown, repositori kode, Notion, dan basis data. Primitif ChatEngine mempertahankan status percakapan sambil mengambil chunk yang relevan per giliran.
Di mana ia kurang: Desain berat retrieval mengasumsikan ada dokumen untuk diindeks. Untuk agen obrolan murni tanpa corpus eksternal, ini lebih banyak pengaturan daripada buffer memori biasa.
Harga:
- Gratis: Lisensi MIT
- Berbayar: Hosting terkelola LlamaCloud dari sekitar $50/bulan
Platform: Python, TypeScript di Windows, macOS, Linux
Unduh: LlamaIndex
Garis bawah: Pilihan yang tepat ketika pekerjaan agen melibatkan penalaran atas dokumen daripada obrolan bergulir.
3. Mem0 — Penyimpan memori jangka panjang terbaik
Mem0 (sebelumnya Embedchain) adalah layanan memori yang dirancang untuk memberikan agen recall di seluruh sesi. Ingests percakapan, ekstrak fakta tahan lama, indeks mereka, dan suntikkan yang relevan ke prompt berikutnya secara otomatis. Hasilnya adalah agen yang “mengingat” struktur proyek, gaya coding, atau tugas berkelanjutan tanpa pengguna memutar ulang.
Mode self-hosted berjalan terhadap Postgres lokal atau SQLite dan membaca dan menulis melalui klien Python. Tingkat hosted ada untuk tim yang tidak ingin menjalankan infrastruktur.
Di mana ia kurang: Kualitas ekstraksi memori bergantung pada model. Model 7B menghasilkan memori yang lebih bising daripada model 13B atau frontier hosted. Beberapa tuning prompt extractor sering diperlukan.
Harga:
- Gratis: Self-hosted Apache 2.0
- Berbayar: Hosted dari sekitar $19/bulan untuk individu, lebih tinggi untuk tim
Platform: Klien Python di Windows, macOS, Linux; API hosted
Unduh: Mem0
Garis bawah: Pilihan yang jelas ketika ingin agen mengingat proyek di antara reboot.
4. Chroma — Basis data vektor tertanam terbaik
Chroma adalah basis data vektor kecil yang tertanam yang berjalan dalam proses dengan aplikasi Python atau JavaScript. Sematkan chunk dengan model pilihan, masukkan ke koleksi Chroma, dan query dengan kesamaan kosinus untuk menariknya kembali nanti. Tanpa server, tanpa cluster, tanpa ops.
Untuk manajemen konteks LLM lokal, Chroma adalah lapisan penyimpanan di bawah sebagian besar pola retrieval di LangChain dan LlamaIndex. Ini juga berjalan sebagai server ringan untuk kasus di mana beberapa proses berbagi toko yang sama.
Di mana ia kurang: Bukan kerangka memori lengkap. Anda menghubungkan logika retrieval sendiri. Latensi kueri pada koleksi yang sangat besar (jutaan chunk) tertinggal Qdrant dan Milvus.
Harga:
- Gratis: Apache 2.0
- Berbayar: Chroma Cloud beta tersedia untuk tim
Platform: Python, JavaScript, dalam proses di Windows, macOS, Linux
Unduh: Chroma
Garis bawah: Pilihan bersih ketika hanya perlu tempat untuk menyimpan embedding tanpa memutar server.
5. Continue — Agen VS Code terbaik dengan aturan konteks
Continue adalah ekstensi VS Code (dan JetBrains) open-source yang mengubah instance Ollama lokal atau llama.cpp menjadi agen coding di dalam editor. config.yaml menetapkan aturan konteks per proyek: file mana yang disertakan secara otomatis, mana yang dirangkum, dan mana yang diabaikan.
Palet perintah @ menarik konteks tertentu berdasarkan nama: @file untuk file saat ini, @codebase untuk pencarian semantik di seluruh repo, @docs untuk dokumentasi eksternal. Setiap referensi @ adalah injeksi konteks terkontrol daripada pasta.
Di mana ia kurang: Konfigurasi YAML-berat dan membutuhkan sesi untuk menyetel. Beberapa konfigurasi retrieval membias terlalu berat ke arah file kecil.
Harga:
- Gratis: Apache 2.0
- Berbayar: Fitur Hub (asisten bersama, hub pribadi) dari sekitar $10/pengguna/bulan
Platform: VS Code, JetBrains, Windows, macOS, Linux
Unduh: Continue
Garis bawah: Pilihan yang tepat ketika agen tinggal di editor dan membutuhkan irisan repo yang tepat, bukan seluruh pohon.
6. Open WebUI — Chat UI terbaik dengan pipa dokumen dan memori
Open WebUI adalah front-end gaya ChatGPT untuk model lokal dengan dua fitur yang menyelesaikan masalah konteks secara langsung: pipa RAG dokumen dan memori per pengguna. Unggah PDF atau tempel URL, dan Open WebUI chunks, embeds, dan retrieves selama obrolan. Panel memori memungkinkan pengguna menyimpan catatan tahan lama yang dikonsultasikan model di setiap giliran.
Fitur Pipelines memungkinkan mengganti filter kustom (peringkasan, redaksi, perutean alat) yang berjalan sebelum atau sesudah panggilan model. Pengguna lanjutan menulis pipeline mereka sendiri di Python dan menjatuhkannya ke folder plugin.
Di mana ia kurang: Tidak headless. Setiap jalur agen berakhir di jendela obrolan. Alur kerja automation-first menggunakan Continue atau LangChain sebagai gantinya.
Harga:
- Gratis: BSD-3
- Berbayar: Tidak ada; dukungan enterprise tersedia
Platform: Docker, Kubernetes, Python di Windows, macOS, Linux
Unduh: Open WebUI
Garis bawah: Pilih ini ketika seseorang melakukan chatting dan masalah “kehabisan konteks” benar-benar masalah “lampiran dan memori”.
7. Ollama — Runtime terbaik dengan pengaturan konteks per model
Ollama adalah runtime model lokal yang hampir setiap alat lain di halaman ini berbicara. Cerita manajemen konteks di sini bukan kerangka tetapi dua flag: num_ctx di file model untuk menaikkan ukuran jendela, dan parameter keep_alive untuk menyimpan cache KV di RAM di antara panggilan.
Menaikkan num_ctx dari default 4096 ke 32768 pada model 13B dengan tenang menyelesaikan sebagian besar laporan “agent lupa” sebelum siapa pun menyentuh LangChain. Tradeoff adalah jejak memori dan throughput per-token.
Di mana ia kurang: Tidak ada memori, tidak ada retrieval, tidak ada peringkasan. Hanya menyimpan apa yang dikirim ke prompt.
Harga:
- Gratis: MIT
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux, ARM64
Unduh: Ollama
Garis bawah: Atur num_ctx terlebih dahulu. Kemudian capai kerangka kerja di atas. Dalam urutan itu.
Cara memilih yang tepat
- Jika mengalami dinding keras pada 4096 token: Ollama. Ubah
num_ctxsebelum menulis ulang aplikasi. - Jika menginginkan kerangka kerja yang mencakup memori, retrieval, dan perutean alat: LangChain.
- Jika agen menjawab pertanyaan atas dokumen: LlamaIndex.
- Jika agen perlu mengingat apa yang terjadi minggu lalu: Mem0.
- Jika sudah menjalankan LangChain dan hanya perlu tempat untuk menyimpan embedding: Chroma.
- Jika agen tinggal di VS Code: Continue.
- Jika seseorang melakukan chatting dan membutuhkan upload plus memori: Open WebUI.
FAQ
Mengapa agen LLM lokal saya lupa hal-hal di tengah tugas?
Setiap model memiliki batas token keras untuk jendela prompt. Ketika percakapan, keluaran alat, dan instruksi melebihi batas tersebut, runtime dengan diam-diam menjatuhkan token sebelumnya. Agen masih menghasilkan, tetapi dengan tampilan tugas yang terpotong. Naikkan num_ctx pada model, dan tambahkan summarizer yang melipat giliran yang lebih tua menjadi riwayat terkompresi.
Apa perbedaan antara manajemen konteks dan memori?
Manajemen konteks adalah apa yang cocok di jendela prompt saat ini (biasanya berumur pendek). Memori adalah apa yang bertahan di seluruh prompt, sesi, dan reboot (berumur panjang). Mem0 dan Open WebUI mencakup memori; LangChain, LlamaIndex, dan Continue fokus pada konteks.
Berapa banyak konteks yang dapat ditangani LLM lokal?
Tergantung pada model dan anggaran RAM. Llama 3.1 8B mendukung token 128K jika runtime menghormatinya. Dalam praktik, 32K hingga 64K menjaga latensi masuk akal pada perangkat keras konsumen. Konteks yang sangat panjang juga meningkatkan kebingungan, jadi trimming sering lebih baik daripada stuffing.
Apakah alat ini bekerja dengan LM Studio dan llama.cpp?
LangChain, LlamaIndex, Continue, dan Open WebUI semuanya berbicara API kompatibel OpenAI yang diekspos server LM Studio dan llama.cpp. Mem0 dan Chroma adalah lapisan penyimpanan dan bekerja dengan penyedia apa pun yang ditunjuk.
Apakah Mem0 open source?
Ya. Pustaka inti Mem0 adalah Apache 2.0 dan self-hostable. Tingkat hosted berbayar adalah lapisan kenyamanan, bukan lapisan gating untuk OSS.
Bisakah menggunakan ini di Apple Silicon?
Semua tujuh pilihan berjalan di Apple Silicon secara native. Ollama, Continue, dan Open WebUI memiliki build ARM64 kelas pertama. LangChain, LlamaIndex, Mem0, dan Chroma adalah pustaka Python atau Node dan bekerja di mana pun Python atau Node berjalan.
