XDA menghabiskan seminggu menguji setiap model bahasa kecil yang layak dijalankan di laptop biasa dan kami memilih tiga pemenang. Cerita tersebut dirilis pada minggu yang sama ketika Qwen 3, Llama 3.2, dan Gemma 3 semuanya merilis kuant 1B–8B yang berkinerja jauh di atas bobotnya. Aplikasi terbaik untuk LLM lokal kecil di desktop bukan lagi mainan penelitian. Mereka muat dalam 4 GB RAM, berjalan tanpa GPU diskrit, dan menjawab pertanyaan sehari-hari cukup cepat untuk menggantikan tab ChatGPT yang selalu Anda buka.
Kami menguji delapan aplikasi di MacBook Air M2 (16 GB), laptop Ryzen kelas menengah dengan iGPU saja, dan workstation Fedora dengan kartu NVIDIA 6 GB. Masing-masing dinilai berdasarkan seberapa cepat instalasi segar dapat menarik kuant 3B, seberapa baik menangani beban kerja campuran chat, kode, dan ringkasan dokumen singkat, dan apakah tetap dapat digunakan sambil panggilan video berjalan di latar belakang.
Apa yang harus dicari dalam aplikasi LLM lokal kecil
- Katalog model kecil. Tarik langsung untuk Llama 3.2 (1B/3B), Qwen 3 (0.5B–8B), Gemma 3 (2B/4B), Phi-4-mini, dan SmolLM tanpa berburu Hugging Face.
- Preset kuantisasi. Kuant GGUF 4-bit dan 5-bit adalah sweet spot pada mesin 8–16 GB. Aplikasi harus default ke sesuatu yang masuk akal.
- Fallback CPU saja. Tidak semua orang memiliki GPU. Aplikasi harus tetap dapat digunakan pada grafis terintegrasi atau CPU murni.
- Jejak memori. Berapa banyak RAM yang digunakan aplikasi itu sendiri sebelum Anda memuat model. Beberapa shell Electron menghabiskan 800 MB idle.
- API kompatibel OpenAI. Sehingga editor kode, aplikasi catatan, atau skrip shell dapat mengirim prompt ke proses yang sama.
- Cold start. Waktu dari klik ganda hingga chat yang sedang berjalan penting ketika alasan Anda menginginkannya lokal adalah melewatkan tab browser.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Berbayar | Rating |
|---|---|---|---|---|---|
| Jan | Klien mirip ChatGPT sumber terbuka | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.7 |
| Ollama | Runtime CLI + API paling sederhana | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.9 |
| LM Studio | Penemuan model dengan GUI yang nyata | Windows, macOS, Linux | Sepenuhnya gratis personal | Hubungi penjualan untuk pekerjaan | 4.8 |
| GPT4All | Lokal + fallback cloud opsional | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.5 |
| Msty | Perbandingan obrolan terpisah antar model | Windows, macOS, Linux | Sepenuhnya gratis | Aurum $99 lifetime | 4.7 |
| llamafile | Model portabel file tunggal | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.6 |
| Cortex | Runtime gaya Ollama, jejak lebih rendah | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.4 |
| KoboldCpp | Penulisan kreatif konteks panjang | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.5 |
Aplikasinya
1. Jan untuk LLM lokal kecil — Klien mirip ChatGPT sumber terbuka terbaik
Jan mengirimkan aplikasi desktop dengan gaya ChatGPT yang terlihat akrab saat pertama kali dibuka, kemudian dengan tenang menarik Llama 3.2 3B atau Qwen 3 4B di latar belakang. Asisten, thread, unggah file, dan server kompatibel OpenAI semua tertanam. Di MacBook Air M2, obrolan pertama dengan Llama 3.2 3B menjawab pertanyaan dalam waktu tiga menit setelah instalasi.
Di mana kelemahnya: Cold start di Windows masih ketinggalan macOS beberapa detik. Beberapa impor Hugging Face memerlukan drop GGUF manual.
Harga:
- Gratis: Sepenuhnya gratis, sumber terbuka di bawah AGPL.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: jan.ai · github.com/janhq/jan
Garis bawah: Pilihan jika Anda menginginkan pengalaman ChatGPT tanpa langganan atau koneksi internet.
2. Ollama untuk LLM lokal kecil — Runtime CLI + API paling sederhana terbaik
Ollama adalah runtime yang dibangun oleh segalanya. ollama run llama3.2:3b mengambil kuant, memuatnya, dan mulai mengobrol. API kompatibel OpenAI di port 11434 berarti editor apa pun, aplikasi catatan, atau skrip yang berbicara OpenAI dapat berbicara dengannya tanpa perubahan.
Di mana kelemahnya: Tidak ada GUI asli. Anda akan menggandingkannya dengan Open WebUI atau Msty untuk jendela obrolan.
Harga:
- Gratis: Sepenuhnya gratis, lisensi MIT.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: ollama.com · github.com/ollama/ollama
Garis bawah: Mulai di sini bahkan jika Anda juga memasang klien obrolan. Sebagian besar aplikasi lain di daftar ini dapat menunjuk ke Ollama.
3. LM Studio untuk LLM lokal kecil — Penemuan model terbaik dengan GUI nyata
LM Studio adalah aplikasi all-in-one untuk menjelajahi Hugging Face, memilih kuant, dan mengobrol tanpa menyentuh terminal. Browser model menyaring berdasarkan ukuran dan lisensi, yang penting ketika Anda mencoba memasukkan model ke dalam 6 GB RAM. Server API lokal adalah satu toggle.
Di mana kelemahnya: Bukan sumber terbuka. Dukungan Linux tertinggal Windows dan macOS pada fitur baru.
Harga:
- Gratis: Sepenuhnya gratis untuk penggunaan pribadi.
- Berbayar: Hubungi penjualan untuk deployment komersial.
Platform: Windows, macOS, Linux.
Unduh: lmstudio.ai
Garis bawah: GUI paling halus untuk menjelajahi dan menguji kuant kecil berdampingan.
4. GPT4All untuk LLM lokal kecil — Lokal terbaik plus fallback cloud opsional
GPT4All mengirimkan aplikasi obrolan asli yang menjalankan kuant GGUF secara lokal dan juga dapat merutekan ke OpenAI atau Groq ketika model yang lebih berat diperlukan. LocalDocs membiarkan Anda menunjuk ke folder dan mendapatkan jawaban berdasarkan tanpa mengirim file ke mana pun.
Di mana kelemahnya: Katalog model selangkah di belakang LM Studio. Offload GPU di Windows membutuhkan beberapa penyetelan.
Harga:
- Gratis: Sepenuhnya gratis, sumber terbuka.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: gpt4all.io
Garis bawah: Pilih ini ketika Anda menginginkan satu aplikasi yang dimulai secara lokal dan dapat meminjam cloud atas permintaan.
5. Msty untuk LLM lokal kecil — Perbandingan obrolan terpisah antar model terbaik
Msty menunjukkan dua atau tiga respons model berdampingan. Itu adalah cara tercepat untuk memutuskan apakah Qwen 3 4B atau Gemma 3 4B cocok dengan gaya prompt Anda. Ini berbicara dengan Ollama, LM Studio, dan API cloud, jadi perbandingan tidak terbatas pada apa yang dihosting.
Di mana kelemahnya: Beberapa fitur lanjutan berada di belakang tingkat Aurum. Bukan sumber terbuka.
Harga:
- Gratis: Obrolan gratis sepenuhnya dan pemisahan tampilan.
- Berbayar: Aurum $99 lifetime untuk stack pengetahuan dan extras premium.
Platform: Windows, macOS, Linux.
Unduh: msty.app
Garis bawah: Pilihan jika Anda sering mencoba model dan ingin melihatnya berdebat.
6. llamafile untuk LLM lokal kecil — Model portabel file tunggal terbaik
llamafile membungkus model dan runtime-nya ke dalam satu executable. Letakkan di USB stick, klik ganda di mesin Windows, macOS, atau Linux apa pun, dan tab browser membuka dengan obrolan. Ini adalah kontribusi Mozilla untuk Cosmopolitan libc, dan itu menghilangkan langkah instalasi sepenuhnya.
Di mana kelemahnya: File bisa 3–5 GB. Peluncuran pertama pada mesin perusahaan terkunci mungkin memerlukan override klik kanan.
Harga:
- Gratis: Sepenuhnya gratis, Apache 2.0.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: github.com/Mozilla-Ocho/llamafile
Garis bawah: Pilihan yang tepat untuk portabilitas, untuk demo, atau untuk mesin tempat Anda tidak dapat memasang perangkat lunak.
7. Cortex untuk LLM lokal kecil — Runtime gaya Ollama terbaik dengan jejak lebih rendah
Cortex adalah runtime yang memberdayai Jan di bawah tenda, terbuka sebagai daemon berdiri sendiri. Ini lebih rendah jejak daripada Ollama saat idle dan default ke llama.cpp dengan API kompatibel OpenAI. Tarik model menggunakan ekosistem GGUF yang sama.
Di mana kelemahnya: Komunitas lebih kecil, jadi integrasi pihak ketiga lebih sedikit. Dokumentasi masih mengejar.
Harga:
- Gratis: Sepenuhnya gratis, sumber terbuka.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: cortex.so · github.com/janhq/cortex.cpp
Garis bawah: Pilih ini jika Ollama terasa berat dan Anda menginginkan daemon yang lebih ramping tetapi masih berbicara API OpenAI.
8. KoboldCpp untuk LLM lokal kecil — Terbaik untuk penulisan kreatif konteks panjang
KoboldCpp adalah fork llama.cpp yang dibangun di sekitar fiksi, roleplay, dan penulisan konteks panjang. Memori karakter persisten, info dunia, dan UI browser yang fokus pada draf daripada Q&A membuatnya sedikit berbeda dari aplikasi lain di daftar ini, dengan cara yang berguna. Ini menangani konteks 32K–128K pada model kecil lebih baik dari sebagian besar GUI.
Di mana kelemahnya: UI padat dan jelas power-user. Bukan aplikasi untuk diberikan kepada teman yang tidak berpengalaman.
Harga:
- Gratis: Sepenuhnya gratis, AGPL.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: github.com/LostRuins/koboldcpp
Garis bawah: Pilihan jika alasan Anda menginginkan model lokal adalah sesi penulisan yang ChatGPT akan membatasi kecepatan.
Cara memilih yang tepat
Jika Anda menginginkan setup paling sederhana yang berfungsi: Ollama plus klien obrolan. Pasang Ollama, lalu pilih Jan atau Open WebUI di atas.
Jika Anda menginginkan satu aplikasi desktop yang dipoles: LM Studio untuk GUI, atau Jan jika sumber terbuka penting.
Jika Anda sering mencoba model: Msty untuk tampilan terpisah.
Jika Anda demo ke seseorang atau bekerja di mesin yang terkunci: llamafile.
Jika Anda menginginkan daemon paling ringan: Cortex.
Jika Anda menulis fiksi panjang atau menjalankan kampanye roleplay: KoboldCpp.
Jika model kecil tidak cukup untuk tugas tertentu, sebagian besar aplikasi ini juga merutekan ke endpoint cloud. Mulai lokal, eskalasi hanya ketika jawaban lokal tidak cukup baik.
FAQ
Apa aplikasi LLM lokal kecil terbaik untuk laptop tanpa GPU? Ollama dengan model 3B atau 4B berjalan di CPU dan grafis terintegrasi dengan kecepatan yang dapat diterima. LM Studio mengirimkan preset CPU saja di pemilih model.
Bisakah LLM lokal kecil menggantikan ChatGPT? Untuk obrolan harian, ringkasan, dan bantuan kode bentuk pendek, ya. Untuk penalaran berat, alur kerja agen, dan tugas penelitian panjang, tidak. Sebagian besar orang yang mencoba keduanya akhirnya menggunakan lokal untuk prompt harian dan cloud untuk yang sulit.
Model ukuran apa berjalan di 8 GB RAM? Model 3B dalam kuantisasi Q4 cocok dengan nyaman dengan ruang kepala untuk aplikasi itu sendiri. Kuant 4B bekerja jika Anda menutup aplikasi lain yang berat memori.
Apakah LLM lokal benar-benar pribadi? Aplikasi di daftar ini tidak mengunggah prompt secara default. GPT4All dan Msty menawarkan perutean cloud opsional, dan itu opt-in. Jika isolasi total penting, nonaktifkan akses jaringan untuk aplikasi.
Apa aplikasi LLM lokal kecil gratis terbaik? Ollama untuk runtime dan Jan untuk GUI. Keduanya gratis, keduanya sumber terbuka, keduanya dipertahankan secara aktif.
