XDA-Developers menyatakannya dengan jelas tahun ini: “Gemma 4 E4B cukup kecil untuk dijalankan di mana saja, tetapi cukup kuat untuk menangani beban kerja LLM yang khas.” Satu kalimat saja menangkap mengapa tier parameter 3-5B sedang mengalami momen puncaknya. Gemma 4 E4B, Phi-4, Qwen 3 4B, dan Llama 3.2 3B sekarang memberikan jawaban yang terasa tidak mungkin setahun lalu, pada laptop yang lebih murah dari ponsel.
Tantangannya adalah memilih aplikasi host yang tepat. Beberapa adalah instalasi satu baris. Beberapa dilengkapi jendela obrolan yang bahkan orang tua Anda bisa gunakan. Beberapa mengekspos server yang kompatibel dengan OpenAI sehingga kode yang ada terus bekerja. Kami menghabiskan seminggu menjalankan empat model kecil yang sama di delapan aplikasi desktop paling populer, pada M1 Air 8GB dan kotak Windows 16GB, lalu mengurutkannya berdasarkan seberapa cepat pendatang baru bisa mendapatkan balasan yang berfungsi. Ini adalah aplikasi terbaik untuk tiny local models tahun 2026.
Apa yang harus dipertimbangkan
Semua aplikasi di bawah menjalankan quant GGUF (Q4_K_M, Q5, Q8), yang merupakan format yang memungkinkan model 3-5B muat dengan nyaman di RAM 4-6GB. Selain itu, perbedaannya datang ke daftar singkat hal-hal praktis.
Kami menimbang enam kriteria: ruang besar RAM pada mesin 8GB, cakupan quant (Q4 hingga Q8 plus varian imatrix), apakah aplikasi dilengkapi katalog model terintegrasi atau Anda harus berburu GGUF, kepolisan chat UI versus akses API, apakah pembaruan dan unduhan bekerja sepenuhnya offline setelah diinstal, dan seberapa konsisten pengalamannya di Windows, macOS, dan Linux. Kecepatan penting, tetapi pada model kecil setiap aplikasi di sini mencapai kecepatan membaca pada perangkat keras modern, jadi kami memperlakukan token per detik sebagai tiebreaker daripada gerbang.
Perbandingan
| Aplikasi | Chat UI | Katalog Model | Server Lokal | Instalasi Offline | Terbaik untuk |
|---|---|---|---|---|---|
| Ollama | Hanya Terminal | Ya | Ya (11434) | Ya | Jalan tercepat ke model yang berjalan |
| LM Studio | GUI Lengkap | Ya (HF) | Ya (OpenAI compat) | Ya | All-in-one yang dipoles |
| Jan | GUI Lengkap | Ya | Ya | Ya | Alternatif LM Studio open-source |
| GPT4All | GUI Lengkap | Ya | Opsional | Ya | Perangkat keras sederhana, onboarding termudah |
| Msty | GUI Lengkap | Via Ollama | Via Ollama | Ya | Ollama dengan wajah yang lebih bagus |
| Cortex.cpp | CLI | Ya | Ya | Ya | Alternatif Ollama yang dapat ditulis skrip |
| llama.cpp | CLI | Tidak | Ya (llama-server) | Ya | Kontrol maksimal |
| Open WebUI + Ollama | Web UI | Via Ollama | Ya | Ya | Chat tim self-hosted |
1. Ollama
Ollama adalah tempat sebagian besar orang harus memulai. Instal, jalankan ollama run gemma3:4b di terminal, dan Anda memiliki loop obrolan yang berfungsi dalam kurang dari satu menit. Penarik model dilanjutkan, quant dipilih untuk Anda, dan server REST bawaan di port 11434 berarti apa pun yang berbicara dengan API Ollama atau OpenAI dapat terpasang tanpa konfigurasi.
Pengorbanannya adalah antarmukanya. Keluar dari kotak, Ollama adalah terminal. Itu baik-baik saja jika Anda berencana untuk memasangkannya dengan Open WebUI atau Msty, dan jujur saja baik-baik saja dengan sendirinya setelah Anda terbiasa, tetapi pengguna non-teknis akan cepat lepas dari jendela hitam. Jejak memori pada model kecil sangat bagus. Gemma 3 4B Q4 duduk sekitar 3.4GB RAM dalam tes kami, meninggalkan ruang untuk browser pada mesin 8GB.
Unduh: Site · GitHub · Homebrew
2. LM Studio
LM Studio adalah aplikasi all-in-one paling dipoles dalam daftar ini. Katalog Hugging Face yang dapat dicari, pilihan unduhan per-quant dengan peringatan RAM, jendela obrolan yang mendukung lampiran dan prompt sistem, dan server lokal yang kompatibel dengan OpenAI semuanya hidup di dalam satu pemasang. Panduan onboarding memilih default yang masuk akal untuk perangkat keras Anda, yang sangat penting ketika rak model memiliki empat puluh varian dari bobot yang sama.
Gratis tetapi proprietary, yang peduli pembaca tertentu dan beberapa tidak. Pembuat Windows dan Mac sama kuatnya. Pembuat Linux bekerja tetapi tertinggal versi atau dua. Untuk model lokal pertama di laptop keluarga, ini adalah aplikasi yang kami berikan kepada seseorang yang tidak pernah membuka terminal.
Unduh: Site · Windows · macOS · Linux
3. Jan
Jan adalah jawaban open-source untuk LM Studio, dan celahnya telah menutup dengan nyata dalam setahun terakhir. UI obrolan bersih, penemuan model mencakup katalog Hugging Face plus set yang dikurasi Jan sendiri, dan semuanya berjalan offline setelah bobot berada di disk. Tim di balik Jan juga memelihara Cortex.cpp (di bawah), jadi runtime yang mendasari adalah milik mereka, bukan wrapper.
Kami perhatikan Jan menangani swap model lebih anggun daripada LM Studio. Memuat Phi-4 di atas Gemma 3 4B membutuhkan dua klik dan tanpa restart. Sistem ekstensi memungkinkan Anda menukar mesin obrolan, menambahkan RAG, atau rute ke model jarak jauh ketika Anda membutuhkan sesuatu yang lebih besar. Di Linux, ini adalah pilihan pertama kami.
4. GPT4All
GPT4All dari Nomic AI bertujuan langsung pada laptop 8GB yang tidak pernah menjalankan model lokal. Pemasang kecil, daftar model dikurasi daripada komprehensif, dan setiap entri dilengkapi dengan catatan perangkat keras bahasa Inggris polos (“Berjalan cepat di sebagian besar komputer”, “Memerlukan 16GB RAM”). Bagi siapa pun yang pertanyaan utamanya adalah “apakah ini akan bekerja di mesin saya,” GPT4All menjawabnya dengan jujur sebelum unduhan dimulai.
Obrolan dengan dokumen lokal ada di dalam, yang jarang pada tier ini dan berguna untuk demo RAG pertama. Pengorbanannya adalah pilihan model lebih kecil daripada LM Studio atau Jan, dan bobot cutting-edge kadang-kadang membutuhkan waktu seminggu untuk muncul. Jika tujuan Anda adalah membuat anggota keluarga menggunakan model lokal malam ini, ini adalah jalan terpendek.
5. Msty
Msty adalah aplikasi obrolan yang duduk di atas Ollama dan memberikannya antarmuka yang Ollama menolak untuk membangun. Obrolan split-view, perpustakaan prompt, ruang kerja, dan tumpukan pengetahuan untuk file lokal semuanya bekerja langsung dari kotak. Tingkat Gratis mencakup hal-hal penting, dan Msty Pro menambahkan sinkronisasi dan fitur tim yang sebagian besar pengguna solo dapat lewatkan.
Jika Anda sudah memiliki Ollama yang diinstal, Msty terhubung pada peluncuran pertama dan Anda berbicara dalam hitungan detik. Model Ollama yang Anda tarik dari terminal muncul di bilah sisi secara otomatis. Kombinasi ini (Ollama untuk runtime, Msty untuk obrolan) adalah apa yang akhirnya kami gunakan sehari-hari setelah minggu tes.
Unduh: Site · Windows · macOS · Linux
6. Cortex.cpp
Cortex.cpp berasal dari tim Jan dan berperilaku seperti Ollama yang dapat ditulis skrip. Anda mendapatkan CLI, server yang kompatibel dengan OpenAI, dan registri model, tetapi tidak ada chat UI miliknya sendiri. Itu terdengar seperti kelemahan sampai Anda mulai membangunnya, di mana permukaan yang lebih kecil dan lisensi Apache-2.0 menjadi alasan untuk memilihnya.
Penarik model menggunakan sintaks cortex pull gemma3:4b yang akrab, dan server mengekspos titik akhir yang sama yang klien OpenAI Anda sudah bicara. Pada model kecil, ini sesuai dengan Ollama pada kecepatan dan mengalahkannya pada memori cold-start. Pengembang yang menginginkan runtime bersih di bawah UI khusus harus melihat di sini terlebih dahulu.
7. llama.cpp
llama.cpp adalah runtime yang hampir setiap aplikasi dalam daftar ini dibangun di atas. Menggunakannya secara langsung berarti kompilasi (atau mengunduh binary rilis), menjalankan llama-cli atau llama-server dari terminal, dan mengonfigurasi setiap tombol sendiri. Itu lebih banyak pekerjaan daripada opsi lain, dan juga di mana setiap format quant baru, sampler, dan backend hardware mendarat terlebih dahulu.
Bagi sebagian besar pembaca, hasilnya adalah bahwa llama.cpp hidup di bawah aplikasi favorit mereka sudah. Untuk power user, menjalankannya langsung membuka kunci Metal, CUDA, ROCm, Vulkan, dan build CPU-only dengan flag yang cocok, ditambah quant imatrix yang mengikis 10-15% lagi dari penggunaan memori. Jika Anda ingin tahu apa yang dapat dilakukan perangkat keras Anda dengan Gemma 4 E4B, ini adalah alatnya.
Unduh: GitHub · Homebrew · Releases
8. Open WebUI + Ollama
Open WebUI dipasangkan dengan Ollama adalah setup yang kami rekomendasikan untuk tim kecil atau lab rumahan. Ollama menjalankan model, Open WebUI menjalankan antarmuka self-hosted gaya ChatGPT dengan akun, perutean model, berbagi prompt, dan plug-in pencarian web. Docker Compose membawa pasangan itu dalam waktu sekitar sepuluh menit di mesin apa pun yang menjalankan Docker.
Setelah itu aktif, pengguna masuk dari browser apa pun di jaringan. Tidak ada klien untuk diinstal di pihak mereka, pembaruan terjadi di satu tempat, dan seluruh stack tetap berada dalam dinding Anda. Untuk keluarga yang menginginkan “ChatGPT pribadi yang berjalan di mini PC kantor,” ini adalah jawabannya.
Unduh: Site · GitHub · Docker Hub
Bagaimana Memilih
Empat rute mencakup hampir semua orang. Jika Anda menginginkan jalan tercepat dari nol ke model yang berjalan, instal Ollama, lalu tambahkan Msty ketika Anda menginginkan jendela obrolan. Kombinasi itu membutuhkan sepuluh menit dan mencakup 80% dari yang dibutuhkan pengguna solo.
Jika kepolisan lebih penting daripada kemurnian open-source, instal LM Studio dan lewatkan terminal sepenuhnya. Panduan onboarding memilih quant yang sesuai dengan RAM Anda, katalog mencakup setiap model yang layak dijalankan di 3-5B, dan server lokal berarti Anda dapat menyatukannya ke VS Code, Raycast, atau skrip Anda sendiri nanti. GPT4All adalah pilihan ketika mesin benar-benar sederhana (RAM 8GB, tanpa GPU) dan pengguna tidak pernah menyentuh model lokal sebelumnya.
Pengembang yang menginginkan titik akhir yang kompatibel dengan OpenAI tanpa GUI di jalan harus melihat Cortex.cpp atau server bawaan llama.cpp. Keduanya memberi Anda kontrol proses yang bersih, log yang mudah, dan scripting yang mudah.
Untuk tim kecil atau keluarga yang menginginkan akses bersama ke asisten pribadi, Open WebUI di atas Ollama, dideploy melalui Docker, adalah jawabannya. Satu install, akses browser untuk semua orang, dan tidak ada data yang meninggalkan rumah.
FAQ
Apa LLM lokal terkecil yang dapat saya jalankan? Pada mesin dengan RAM gratis 4GB, model 1-2B pada Q4_K_M berjalan dengan nyaman. Gemma 3 1B dan Llama 3.2 1B keduanya bekerja baik untuk ringkasan dan Q&A sederhana. Untuk asisten yang benar-benar berguna, targetkan model 3-4B pada Q4 atau Q5, yang memerlukan sekitar 4-6GB RAM.
Apakah saya memerlukan GPU untuk Gemma 4 E4B? Tidak. Gemma 4 E4B pada Q4 berjalan pada laptop CPU-only pada kecepatan membaca (kira-kira 8-15 token per detik di Apple Silicon modern, 4-10 pada laptop Intel atau AMD arus utama). GPU mempercepat sesuatu secara signifikan, terutama di Windows dan Linux dengan CUDA atau Vulkan, tetapi tidak diperlukan.
Apakah Ollama gratis? Ya. Ollama adalah open-source di bawah lisensi MIT dan gratis untuk digunakan untuk proyek pribadi dan komersial. Bobot model membawa lisensi mereka sendiri (Gemma, Llama, Phi, dan Qwen masing-masing memiliki persyaratan mereka sendiri), dan sebagian besar cukup permisif untuk penggunaan pribadi dan bisnis internal.
Apa aplikasi LLM lokal tercepat untuk Mac? Untuk throughput mentah pada Apple Silicon, llama.cpp dengan Metal diaktifkan tercepat, diikuti oleh Ollama (yang menggunakan llama.cpp di bawah hood dengan default yang masuk akal). Untuk waktu tercepat ke balasan pertama dari install dingin, Ollama atau LM Studio menang. Di M1 Air, Gemma 3 4B Q4 berjalan pada sekitar 25-30 token per detik di Ollama.
Apa setup LLM lokal terbaik untuk RAM 8GB? Instal Ollama dan tarik model 3-4B pada Q4_K_M (Gemma 3 4B atau Llama 3.2 3B adalah pilihan kami). Itu meninggalkan cukup ruang untuk browser dan klien obrolan. Tambahkan Msty atau Open WebUI untuk jendela obrolan yang tepat. Jika Anda menginginkan satu aplikasi yang melakukan segalanya, GPT4All lebih bersahabat di tier RAM ini.
Aplikasi mana yang mendukung format quant paling banyak? LM Studio dan Jan mengekspos berbagai quant GGUF terluas di katalog mereka (Q2 melalui Q8, ditambah varian imatrix). llama.cpp mendukung setiap quant yang didefinisikan format, karena tempat format baru mendarat terlebih dahulu. Ollama memilih satu quant per tag model secara default, yang lebih sederhana tetapi kurang fleksibel.
