WebUI llama.cpp yang baru menutup kesenjangan besar terakhir dengan Ollama bagi banyak orang, tetapi mesin yang mendasarinya masih merupakan proyek C++ yang Anda tarik dari Git, bangun terhadap akselerator Anda, dan masukkan file GGUF yang dipilih dengan tangan. Alur kerja itu adalah fitur bagi pengembang dan dinding bagi yang lain. Jika WebUI membuat Anda penasaran untuk menjalankan model di perangkat keras Anda sendiri tetapi langkah-langkah penyiapan membuat Anda lelah, salah satu dari tujuh alternatif llama.cpp ini mungkin lebih cocok untuk sebulan ke depan.
Kami melihat apa yang benar-benar dilakukan orang setelah menjalankan model pertama mereka: menukar kuantisasi, melampirkan dokumen, mengekspos titik akhir yang kompatibel dengan OpenAI ke aplikasi lain, berbagi mesin dengan rekan kerja. Setiap pilihan di bawah mencakup setidaknya dua dari yang tersebut tanpa git pull baru.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Paket gratis | Harga mulai | Fitur menonjol |
|---|---|---|---|---|
| Ollama | Pengguna CLI yang ingin daemon | Sepenuhnya gratis, sumber terbuka | Gratis | Penarikan model satu baris, bekerja dengan hampir setiap klien pihak ketiga |
| LM Studio | Pengguna GUI-first di OS apa pun | Gratis untuk penggunaan pribadi | Lisensi tim dikutip per kursi | Backend MLX di Apple Silicon, browser Hugging Face dalam aplikasi |
| Jan | Pengguna ChatGPT pengganti sumber terbuka sepenuhnya | Sepenuhnya gratis, Apache 2.0 | Gratis | Server yang kompatibel dengan OpenAI di localhost, dukungan MCP |
| KoboldCpp | Penyimpanan berkas tunggal, portabel | Sepenuhnya gratis, sumber terbuka | Gratis | Satu executable mencakup obrolan, pembuatan gambar, TTS, dan lebih banyak lagi dari kotak keluar |
| GPT4All | Pemula di perangkat keras sederhana | Aplikasi desktop gratis | Gratis | Fitur dokumen lokal bekerja pada mesin CPU-only |
| Text Generation WebUI | Pengguna canggih yang ingin mengutak-atik | Gratis, sumber terbuka | Gratis | Multiple backend, fine-tuning LoRA dan QLoRA, sistem ekstensi |
| vLLM | Melayani banyak pengguna dari satu kotak | Gratis, sumber terbuka | Gratis | Batching throughput tinggi, tensor parallelism, API kompatibel OpenAI |
Mengapa orang meninggalkan llama.cpp
Tidak ada yang di daftar ini menganggap llama.cpp buruk. Ini masih mesin inferensi referensi yang dibalut sebagian besar proyek lain. Gesekannya muncul di sekitarnya, bukan di dalamnya.
- Pohon pembangunan adalah jalur masuk. Klon segar mengasumsikan Anda tahu versi CUDA, target Metal, atau cabang ROCm Anda. Itu baik di mesin keenam. Ini hari yang kasar di hari pertama.
- Kurasi model adalah manual. llama.cpp tidak dilengkapi dengan registri. Mengunduh kuant GGUF yang tepat untuk panjang konteks yang tepat adalah safari Hugging Face setiap saat.
- Tidak ada ruang kerja pihak pertama. Dokumen, persona, dan percakapan panjang tinggal di mana pun Anda menghubungkan front-end. Ketika dua dari mereka bertarung memperebutkan port yang sama, malam yang tenang berakhir.
- Satu pengguna secara default. Contoh server adalah satu penyewa. Berbagi mesin dengan lebih dari satu pengguna aktif berarti menulis kode shim atau beralih ke proyek yang memperlakukan keserenakan sebagai kekhawatiran kelas satu.
- Catatan rilis dibaca seperti makalah sistem. Bagus untuk para pemelihara. Kasar jika format kuant baru secara diam-diam mengubah standar sampler terbaik Anda.
Tujuh alternatif
Ollama — Pengganti terbaik untuk pengguna CLI
Ollama adalah jalan terpendek dari instalasi bersih hingga model 7B yang berjalan. ollama pull dan ollama run menangani pengunduhan, pemilihan kuant, dan manajemen model, dan API lokal cukup stabil sehingga hampir setiap klien AI desktop berbicara dengan itu langsung dari kotak.
Dimana kekurangannya: Registri tertinggal di Hugging Face untuk model niche dan yang baru dikuantisasi. Mengimpor GGUF sewenang-wenang masih berarti menulis Modelfile dengan tangan.
Harga:
- Gratis: Semuanya. Sumber terbuka di bawah lisensi permisif
- Berbayar: Tidak ada
- vs llama.cpp: Mesin yang sama di bawahnya, permukaan yang jauh lebih ramah
Bermigrasi dari llama.cpp: Ollama dapat menunjuk ke GGUF yang ada melalui Modelfile, jadi Anda menyimpan folder unduhan. Klien apa pun yang sudah berbicara dengan titik akhir OpenAI llama.cpp memerlukan satu perubahan URL untuk berbicara dengan Ollama sebagai gantinya.
Unduh: ollama.com · GitHub
Garis bawah: Pilihan yang jelas bagi siapa pun yang menyukai CLI llama.cpp tetapi menginginkan lebih sedikit upacara di sekitar setiap pertukaran model.
LM Studio — Alternatif GUI-first terbaik
LM Studio menempatkan browser model Hugging Face di dalam aplikasi, menghubungkan obrolan dengan lampiran dokumen, dan mengekspos server yang kompatibel dengan OpenAI di port lokal tetap. Di Apple Silicon backend MLX terukur lebih cepat daripada build Metal llama.cpp untuk sebagian besar varian Llama, Qwen, Gemma, dan Mistral yang umum.
Dimana kekurangannya: Klien itu sendiri bukan sumber terbuka. Penggunaan komersial memerlukan lisensi tim yang gated di belakang formulir.
Harga:
- Gratis: Penggunaan pribadi, model lokal tanpa batas
- Berbayar: Lisensi tim untuk penerapan komersial, dikutip per kursi
- vs llama.cpp: Lantai lebih tinggi untuk fitur GUI, kecepatan inferensi yang sama atau lebih baik di perangkat keras Apple
Bermigrasi dari llama.cpp: LM Studio dapat menggantikan server OpenAI llama.cpp untuk klien apa pun yang mengharapkan skema OpenAI. GGUF yang ada perlu diunduh ulang melalui browser dalam aplikasi atau dipindahkan secara manual ke folder model LM Studio.
Unduh: lmstudio.ai
Garis bawah: Pilihan yang tepat untuk pengembang solo yang menginginkan mesin kelas llama.cpp di belakang GUI nyata dan tidak memerlukan klien itu sendiri untuk menjadi sumber terbuka.
Jan — Pilihan sumber terbuka lengkap terbaik
Jan adalah apa yang akan terlihat seperti LM Studio jika klien adalah Apache 2.0. Berjalan di Windows, macOS, dan Linux, kapal katalog model pihak pertama, dan mengekspos titik akhir yang kompatibel dengan OpenAI pada localhost:1337. Dukungan Model Context Protocol berarti alat seperti Claude Desktop dapat berbicara dengan model yang dihosting Jan melalui server MCP daripada shim khusus.
Dimana kekurangannya: Lebih muda dari LM Studio; katalog model lebih kecil dan beberapa kuantisasi Hugging Face tiba lebih lambat. Akselerasi GPU Windows pada perangkat keras non-CUDA masih tertinggal.
Harga:
- Gratis: Semuanya. Tidak ada berlangganan, tidak ada batas kursi
- Berbayar: Tidak ada
- vs llama.cpp: Menambahkan GUI, registri, dan MCP tanpa menyerah pada posisi sumber terbuka
Bermigrasi dari llama.cpp: Jan membaca GGUF standar dari folder yang dapat dikonfigurasi. Arahkan ke direktori model yang ada dan itu akan mencantumnya saat peluncuran.
Garis bawah: Pilihan untuk pengembang yang menginginkan klien sumber terbuka yang tidak mengganggu dan masih berbicara OpenAI.
KoboldCpp — Penyimpanan file tunggal terbaik
KoboldCpp dilengkapi sebagai satu executable yang menggabungkan llama.cpp, backend pembuatan gambar, text-to-speech, dan browser UI. Tidak ada installer dan tidak ada langkah pembangunan. Lepaskan biner di sebelah GGUF, klik dua kali, dan tab browser muncul.
Dimana kekurangannya: UI padat dan diarahkan ke penulis dan pengguna permainan peran. Fitur tim tidak ada dengan desain.
Harga:
- Gratis: Semuanya, sumber terbuka
- Berbayar: Tidak ada
- vs llama.cpp: Mesin yang sama, tetapi unduhan IS setup
Bermigrasi dari llama.cpp: GGUF yang sama bekerja sebagaimana adanya. Jika perintah peluncuran llama.cpp ditulis ke dalam skrip, KoboldCpp menerima sebagian besar bendera yang sama.
Unduh: GitHub
Garis bawah: Pilihan untuk server model portabel di stick USB, laptop offline, atau demo cepat di mesin orang lain.
GPT4All — Terbaik untuk perangkat keras sederhana
GPT4All menargetkan desktop tanpa GPU diskrit. Daftar model default disesuaikan untuk inferensi CPU, dan fitur LocalDocs mengindeks folder ke toko pengambilan yang dapat dicari obrolan tanpa panggilan cloud.
Dimana kekurangannya: Daftar model lebih kecil dari Hugging Face dan sangat dikurasi. Pengguna yang mengejar fine-tune terbaru perlu mengimpor GGUF secara manual.
Harga:
- Gratis: Aplikasi desktop lengkap, lisensi penggunaan komersial termasuk
- Berbayar: Tidak ada
- vs llama.cpp: Lebih lambat di GPU high-end, lebih mudah di mesin yang tidak pernah memilikinya
Bermigrasi dari llama.cpp: GPT4All dapat membaca GGUF sewenang-wenang melalui alur kerja tambah model manual. Format riwayat obrolan adalah proprietary, jadi percakapan panjang adalah untuk dijulang ulang setelah beralih.
Unduh: nomic.ai/gpt4all
Garis bawah: Pilihan untuk mesin pribadi dengan grafis terintegrasi dan 16 GB RAM.
Text Generation WebUI — Terbaik untuk penyesuai
Text Generation WebUI, sering disebut “oobabooga”, menjalankan browser UI di atas beberapa backend inferensi termasuk llama.cpp, ExLlamaV2, dan transformers. Ekstensi mencakup pelatihan LoRA, kartu karakter, plugin RAG, dan input suara.
Dimana kekurangannya: Instalasi masih dapat meminta lingkungan Python dan pemeriksaan driver. Penyiapan pertama kali adalah alasan banyak pengguna berakhir di Ollama atau LM Studio.
Harga:
- Gratis: Semuanya, sumber terbuka
- Berbayar: Tidak ada
- vs llama.cpp: Mesin yang mendasari sama ditambah bengkel ekstensi di atas
Bermigrasi dari llama.cpp: Arahkan folder “models” ke direktori yang ada dan pilih backend llama.cpp saat peluncuran. Bendera command-line didokumentasikan bersama backend alternatif.
Unduh: GitHub
Garis bawah: Pilihan ketika tujuannya bukan hanya menjalankan model tetapi melenturkannya, dengan fine-tuning dan ekstensi di mesin yang sama.
vLLM — Terbaik untuk banyak pengguna bersamaan
vLLM adalah mesin layanan, bukan aplikasi obrolan. PagedAttention-nya dan batching berkelanjutan mendorong throughput jauh melampaui server llama.cpp sederhana di perangkat keras yang sama, dan API yang kompatibel dengan OpenAI membuatnya sebagai pengganti untuk klien apa pun yang sudah berbicara dengan OpenAI.
Dimana kekurangannya: Tidak ada GUI. Dukungan GGUF terbatas dibandingkan dengan safetensors, dan latensi satu pengguna dapat lebih buruk daripada llama.cpp untuk prompt yang sangat pendek.
Harga:
- Gratis: Semuanya, sumber terbuka
- Berbayar: Tidak ada
- vs llama.cpp: Lebih baik di bawah beban, lebih banyak infrastruktur untuk diatur
Bermigrasi dari llama.cpp: Klien obrolan tetap sama; hanya URL dasar yang berubah. Model ditarik dari Hugging Face secara langsung, jadi koleksi GGUF llama.cpp apa pun memerlukan unduhan safetensors yang setara.
Garis bawah: Pilihan ketika “desktop” sebenarnya adalah workstation yang dibagikan dengan tim atau lab rumah melayani tiga atau empat klien aktif.
Cara memilih yang tepat
Pilih Ollama jika CLI llama.cpp hampir benar dan satu-satunya permintaan adalah lebih sedikit bendera per sesi. Ini adalah lompatan paling aman untuk siapa pun yang skrip mereka sudah berbicara dengan model lokal.
Pilih LM Studio jika tujuannya adalah satu jendela yang dipoles di MacBook atau laptop Windows dan sumber terbuka bukan persyaratan keras. Kecepatan MLX di Apple Silicon nyata.
Pilih Jan jika klien itu sendiri perlu menjadi sumber terbuka atau jika MCP akan penting untuk alat yang Anda gunakan setiap hari.
Pilih KoboldCpp untuk portabilitas. Stick USB dengan biner dan satu GGUF bekerja di mesin Windows atau Linux apa pun yang Anda colokkan.
Pilih GPT4All jika mesin memiliki GPU terintegrasi, 8-16 GB RAM, dan menjalankan model 7B pada kecepatan percakapan masih terasa ambisius.
Pilih Text Generation WebUI jika Anda menikmati pengaturan, atau jika rencananya melibatkan fine-tuning dan ekstensi di mesin yang sama yang menjalankan inferensi.
Pilih vLLM jika lebih dari dua orang akan berbicara dengan model sekaligus. Di satu GPU dengan tim bersama di belakangnya, batching adalah poin.
Tetap llama.cpp jika alur kerjanya adalah skrip, bendera kompilasi didokumentasikan, dan mesin adalah kotak pembangunan yang tidak pernah berubah. Setiap pembungkus di atas menambah gesekan hari Anda perlu mengorek mesin secara langsung.
FAQ
Apakah Ollama benar-benar dibangun di llama.cpp? Ollama dilengkapi dengan runtime sendiri, bercabang dari llama.cpp dan menyimpang seiring waktu. Dua proyek berbagi banyak sampler dan format kuant, tetapi Ollama membuat keputusan rilis sendiri.
Bisakah saya menggunakan file GGUF yang ada dengan alternatif ini? Sebagian besar dari mereka membaca GGUF stok. Ollama membutuhkan wrapper Modelfile kecil, LM Studio dan Jan mengharapkan file di folder mereka sendiri, dan KoboldCpp membacanya langsung. vLLM lebih suka safetensors dari Hugging Face.
Apa alternatif llama.cpp terbaik di Apple Silicon? LM Studio dan Jan keduanya menggunakan MLX di Apple Silicon dan melampaui build Metal llama.cpp untuk varian Llama, Qwen, dan Gemma umum pada ukuran 7B dan 13B.
Apakah ada yang berjalan offline? Semua dari mereka. Ollama, Jan, KoboldCpp, LM Studio, GPT4All, Text Generation WebUI, dan vLLM semuanya berjalan sepenuhnya di mesin lokal setelah model berada di disk.
Mana yang memiliki jejak instalasi terkecil? KoboldCpp. Satu executable, tidak ada ketergantungan, tidak ada lingkungan Python. Biner dan satu GGUF sudah cukup.
Apakah ada alternatif llama.cpp untuk tim? vLLM. Ini dibangun untuk throughput di banyak permintaan bersamaan, dan titik akhir yang kompatibel dengan OpenAI menghubungkan ke klien obrolan skala tim apa pun.
