XDA menerbitkan sebuah artikel bulan ini yang berpendapat bahwa Docker mengubah pengaturan AI lokal menjadi sesuatu yang dapat mereka bangun kembali dalam empat menit. Itulah poin sebenarnya dari tumpukan AI yang dikontainerisasi di desktop: bobot model dan riwayat obrolan hidup di volume yang dipasang, dan sisa tumpukan (UI, mesin inferensi, proxy terbalik) dapat dibuang. Hapusnya, edit file compose, nyalakan kembali.
Kami menguji tujuh aplikasi AI desktop terhadap tujuan tersebut di Windows, macOS dan Linux. Ketujuh aplikasi tersebut baik mengirimkan gambar Docker resmi atau dilengkapi dengan perintah docker run satu baris, dan semuanya memisahkan status dari runtime sehingga pembangunan kembali tidak akan kehilangan riwayat Anda.
Yang perlu diperhatikan dalam aplikasi AI yang ramah Docker
- Gambar Docker resmi. Gambar pihak ketiga bergerak lambat dan kadang-kadang tertinggal dari patch keamanan.
- Status yang dipasang volume. Riwayat obrolan, prompt khusus dan bobot model harus hidup di jalur host.
- Pass-through GPU. Dukungan runtime NVIDIA di Linux, WSL2 di Windows, Metal-on-host di macOS.
- API yang kompatibel dengan OpenAI. Memungkinkan Anda menukar aplikasi tanpa menulis ulang kode klien.
- Web UI melalui jaringan. Aplikasi desktop yang juga melayani browser memungkinkan Anda menggunakannya dari ruangan lain.
- Bawa model Anda sendiri. Loader GGUF dan safetensors memungkinkan Anda menggunakan model yang sudah Anda unduh.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Paket gratis | Harga mulai | Penilaian |
|---|---|---|---|---|
| Open WebUI | UI web untuk LLM lokal | Penuh | Gratis | 4.8/5 |
| Ollama | Runtime model satu baris | Penuh | Gratis | 4.8/5 |
| LocalAI | Drop-in yang kompatibel dengan OpenAI | Penuh | Gratis | 4.7/5 |
| LM Studio | GUI dengan browser model | Penuh | Gratis (tier berbayar untuk tim) | 4.7/5 |
| Jan | Klien desktop asli | Penuh | Gratis | 4.6/5 |
| LiteLLM | Proxy multi-penyedia | Penuh | Kontrak Enterprise | 4.7/5 |
| Msty | Klien lintas model yang dipoles | Ya | $49/tahun Pro | 4.6/5 |
Aplikasi-aplikasi
1. Open WebUI – UI web terbaik untuk LLM lokal
Open WebUI adalah antarmuka yang kebanyakan orang maksudkan ketika mereka mengatakan “ChatGPT lokal.” Ini dilengkapi dengan gambar Docker resmi, memasang semuanya (pengaturan, pengguna, dokumen RAG) ke dalam volume tunggal, dan terhubung ke Ollama atau titik akhir apa pun yang kompatibel dengan OpenAI dari kotak. Pembangunan kembali empat menit adalah realistis: docker compose down, edit tag, docker compose up, dan obrolan berada tepat di mana Anda meninggalkannya.
Di mana itu kurang: Batas fitur UI tinggi dan permukaan pengaturan padat. Pengguna baru memerlukan satu jam dengan dokumen.
Harga:
- Gratis, berlisensi MIT.
- Dukungan Enterprise ditawarkan secara terpisah.
Platform: Berjalan di mana pun Docker berjalan — Windows (WSL2 atau Docker Desktop), macOS, Linux.
Kesimpulan: Pasang Open WebUI lebih dulu. Ini adalah pintu masuk yang masuk akal untuk tumpukan Docker AI.
2. Ollama – Runtime model terbaik
Ollama adalah alasan mengapa ledakan LLM lokal saat ini memungkinkan. Satu CLI, satu perpustakaan model GGUF, dan REST API di port 11434 yang sudah dibicarakan lusin antarmuka (termasuk Open WebUI, Jan dan Msty). Gambar Docker mendukung pass-through GPU NVIDIA di Linux; build macOS asli menggunakan Metal langsung di host.
Di mana itu kurang: Konvensi penamaan model Ollama menyimpang dari Hugging Face, yang membingungkan ketika Anda menyalin snippet.
Harga:
- Gratis, berlisensi MIT.
Platform: Windows, macOS, Linux asli; gambar Docker tersedia untuk ketiga-tiganya.
Kesimpulan: Pasangkan Ollama dengan Open WebUI untuk jalur terpendek menuju model lokal yang berfungsi.
3. LocalAI – Drop-in yang paling kompatibel dengan OpenAI
LocalAI adalah API yang di-host sendiri yang berbicara protokol OpenAI byte demi byte, jadi apa pun yang Anda buat terhadap ChatGPT bekerja melawannya. Itu termasuk CrewAI, LangChain, LlamaIndex, dan klien Python OpenAI. Gambar Docker resmi mendukung model GGUF, safetensors, whisper, stable-diffusion dan text-to-speech di bawah titik akhir yang sama.
Di mana itu kurang: Tidak ada UI obrolan pihak pertama; pasangkan dengan Open WebUI.
Harga:
- Gratis, berlisensi MIT.
Platform: Docker di Windows, macOS, Linux.
Kesimpulan: Pilih LocalAI jika kode yang ingin Anda jalankan sudah berbicara OpenAI API.
4. LM Studio – GUI terbaik dengan browser model
LM Studio adalah aplikasi desktop asli dengan browser model gaya Hugging Face bawaan dan pemuatan satu klik. Ini mengekspos server yang kompatibel dengan OpenAI di localhost:1234 dan dapat berjalan di dalam kontainer Docker di Linux dengan dukungan GPU. Keramahan pembangunan kembali berasal dari direktori konfigurasi yang sederhana yang memasang dengan bersih.
Di mana itu kurang: UI desktop tidak sepolished di Linux seperti di macOS. Tier berbayar ditujukan untuk tim, bukan individu.
Harga:
- Gratis untuk penggunaan pribadi.
- LM Studio for Work tier berbayar untuk tim.
Platform: Windows, macOS, Linux (Docker atau asli).
Kesimpulan: Gunakan LM Studio jika Anda ingin menelusuri dan menukar model secara visual.
5. Jan – Klien desktop asli terbaik
Jan adalah aplikasi desktop AI lokal paling bersih yang sepenuhnya asli. Klien Electron berjalan di ketiga OS, dilengkapi API lokal yang kompatibel dengan OpenAI, dan terintegrasi dengan Ollama, LocalAI dan model jarak jauh. Jan juga dapat berjalan di dalam kontainer Docker sebagai server headless di kotak rumah.
Di mana itu kurang: Ekosistem ekstensi lebih kecil dari Open WebUI.
Harga:
- Gratis, berlisensi AGPL.
Platform: Windows, macOS, Linux.
Kesimpulan: Pilih Jan jika Anda menginginkan aplikasi asli daripada tab browser.
6. LiteLLM – Proxy multi-penyedia terbaik
LiteLLM adalah proxy yang berbicara API OpenAI ke aplikasi Anda dan meneruskan ke penyedia apa pun (OpenAI, Anthropic, Ollama, Bedrock, Vertex, Groq). Letakkan di depan tumpukan Docker AI Anda dan beralih penyedia adalah perubahan konfigurasi, bukan perubahan kode. Gambar Docker resmi menangani auth, batas kecepatan, dan anggaran per pengguna.
Di mana itu kurang: Tidak ada UI obrolan sendiri; ini infrastruktur.
Harga:
- Gratis, berlisensi MIT.
- LiteLLM Enterprise dijual secara terpisah.
Platform: Docker di Windows, macOS, Linux.
Kesimpulan: Tambahkan LiteLLM di depan Ollama dan Open WebUI jika Anda juga menggunakan penyedia API berbayar.
7. Msty – Klien lintas model paling dipoles
Msty adalah yang paling dipoles dari klien desktop. Ini mendukung respons model berdampingan, tampilan terpisah untuk membandingkan output, dan perpustakaan prompt yang bersih. Ini menjalankan model lokal melalui Ollama dan model jarak jauh melalui API. Msty tidak secara resmi mengirimkan gambar Docker, tetapi aplikasi asli bermain dengan baik dengan backend Docker.
Di mana itu kurang: Sumber tertutup; fitur Pro dikunci di belakang langganan.
Harga:
- Tier gratis untuk penggunaan pribadi.
- Msty Pro sekitar $49/tahun.
Platform: Windows, macOS, Linux.
Unduh: Situs web
Kesimpulan: Pilih Msty untuk klien terbaik yang terlihat, terutama untuk perbandingan model berdampingan.
Cara memilih yang tepat
- Jika Anda menginginkan opsi paling sederhana: Ollama plus Open WebUI dalam satu file docker compose.
- Jika Anda memerlukan drop-in yang kompatibel dengan OpenAI: LocalAI atau LiteLLM di depan.
- Jika Anda ingin menelusuri model secara visual: LM Studio.
- Jika Anda lebih suka aplikasi asli: Jan atau Msty.
- Jika Anda merutekan antara OpenAI, Anthropic dan lokal: LiteLLM.
- Jika Anda menginginkan perbandingan model berdampingan: Msty.
- Jika Anda mencoba skrip Python buatan sendiri dan kehilangan riwayat Anda: Open WebUI, karena riwayat hidup di volume Docker yang bertahan setiap pembangunan kembali.
FAQ
Apa cara tercepat untuk menjalankan LLM lokal di desktop dengan Docker?
docker run ollama/ollama, kemudian docker run open-webui/open-webui dengan flag network yang menunjuk ke Ollama. Kedua-duanya adalah gambar resmi. Potongan XDA yang menginspirasi daftar ini melakukan kira-kira ini.
Apakah saya memerlukan GPU?
Tidak, tetapi inferensi CPU lambat. Kartu NVIDIA sederhana, Mac dengan Apple Silicon, atau AMD Ryzen dengan iGPU offload semuanya berfungsi. Ollama dan LM Studio secara otomatis menggunakan backend terbaik yang tersedia.
Dapatkah aplikasi ini berbicara dengan API jarak jauh juga?
Ya. Open WebUI, LiteLLM, LM Studio, Jan dan Msty semuanya mendukung OpenAI, Anthropic, dan penyedia jarak jauh lainnya bersama model lokal.
Manakah aplikasi desktop AI gratis terbaik?
Open WebUI plus Ollama adalah tumpukan gratis yang paling banyak orang lakukan. Jan dan LM Studio adalah alternatif asli yang kuat.
Bagaimana cara mempertahankan riwayat obrolan di seluruh pembangunan kembali kontainer?
Pasang direktori status sebagai volume Docker. Open WebUI menyimpan semuanya di bawah /app/backend/data; LocalAI di bawah /build/models; Jan di bawah direktori konfigurasinya. Pertahankan volume itu di host dan pembangunan kembali tidak akan kehilangan riwayat.
