Penulis XDA menghitung angka bulan ini tentang menggabungkan LLM lokal dengan Claude untuk pekerjaan coding sehari-hari dan melaporkan pengurangan tagihan langganan AI sebesar setengahnya. Kisah ini secara diam-diam menjadi normal baru bagi siapa saja yang menggunakan AI secara intensif. Sebagian besar prompt tidak memerlukan model frontier. Penyelesaian otomatis, refactor cepat, dan ringkasan ditangani dengan baik oleh lokal 7B atau 8B. Aplikasi terbaik untuk LLM lokal dan cloud hybrid di desktop adalah yang memungkinkan Anda mengarahkan pertanyaan mudah ke mesin Anda dan yang sulit ke Claude, GPT, atau Gemini, tanpa menggabungkan dua jendela chat bersama-sama.
Kami menguji delapan aplikasi di macOS, Windows, dan Linux. Kriteria evaluasi adalah seberapa mudah aplikasi beralih antara lokal dan cloud, apakah dapat mengarahkan secara otomatis atau hanya atas permintaan, dan apakah jalur lokal-pertama tetap dapat digunakan ketika jaringan turun.
Apa yang harus dicari dalam aplikasi LLM hybrid
- Beberapa penyedia dalam satu antarmuka. Ollama, LM Studio, OpenAI, Anthropic, dan OpenRouter dalam obrolan yang sama.
- Beralih model manual. Satu tombol atau dropdown untuk berpindah dari lokal ke cloud di tengah percakapan.
- Perutean otomatis. Kirim prompt pendek ke lokal, panjang atau berat coding ke cloud berdasarkan aturan.
- Fallback lokal-pertama. Bekerja offline. Penyedia cloud bersifat opsional.
- Privasi kunci API. Kunci tetap ada di mesin Anda, tidak disinkronkan ke vendor.
- Pelacakan biaya. Menunjukkan pengeluaran per model per sesi, sehingga Anda dapat melihat perutean membayar.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket Gratis | Paket Berbayar | Rating |
|---|---|---|---|---|---|
| Continue | AI di sisi editor dengan perutean lokal+cloud | VS Code, JetBrains | Sepenuhnya gratis | Tidak ada | 4.8 |
| Zed | Editor native dengan pilihan model per keystroke | macOS, Linux, Windows preview | Sepenuhnya gratis | Zed Pro dari $10/bln | 4.8 |
| Aider | Pair-programmer terminal, model-agnostic | Windows, macOS, Linux | Sepenuhnya gratis | Tidak ada | 4.9 |
| Cursor | Fork VS Code dengan perutean dan agen | Windows, macOS, Linux | Tingkat gratis | Pro dari $20/bln | 4.7 |
| LibreChat | ChatGPT self-hosted dengan backend apa pun | Windows, macOS, Linux, Docker | Sepenuhnya gratis | Tidak ada | 4.7 |
| Big-AGI | Obrolan web dengan tukar model berdampingan | Web / self-hosted | Sepenuhnya gratis | Tidak ada | 4.6 |
| LiteLLM | Lapisan proxy yang menyatukan setiap penyedia | Any (Python + Docker) | Sepenuhnya gratis | Harga Enterprise | 4.7 |
| Msty | Obrolan desktop dengan lokal dan cloud dalam satu | Windows, macOS, Linux | Sepenuhnya gratis | Aurum $99 seumur hidup | 4.7 |
Aplikasi
1. Continue untuk LLM hybrid — Perutean di sisi editor terbaik
Continue adalah ekstensi VS Code dan JetBrains open-source yang menempatkan obrolan, penyelesaian otomatis, dan asisten edit di samping kode Anda, dengan file konfigurasi yang mencantumkan setiap model yang dapat Anda akses. Lokal (Ollama, LM Studio, llama.cpp) dan cloud (OpenAI, Anthropic, Groq, OpenRouter) ada dalam dropdown yang sama. Penyelesaian otomatis menunjuk ke model lokal yang cepat; refactor besar pergi ke Claude Sonnet.
Di mana ia kekurangan: Konfigurasi JSON, bukan UI. Pengguna baru menghabiskan beberapa menit mengeditnya.
Harga:
- Gratis: Sepenuhnya gratis, Apache 2.0.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux (ekstensi VS Code dan JetBrains).
Unduh: continue.dev · github.com/continuedev/continue
Garis bawah: Pilihan default untuk setup hybrid di dalam VS Code atau IDE JetBrains.
2. Zed untuk LLM hybrid — Editor native terbaik dengan pilihan model per keystroke
Zed adalah editor cepat berbasis Rust dengan AI bawaan. Setiap tindakan AI menunjukkan model yang digunakan dan membiarkan Anda beralih di tempat. Ini mendukung OpenAI, Anthropic, Google, Ollama, dan OpenRouter. Editing kolaboratif Zed plus AI adalah fitur asli untuk pekerjaan berpasangan.
Di mana ia kekurangan: Pratinjau Windows masih tertinggal dari macOS dan Linux. Beberapa ekstensi VS Code tidak memiliki ekuivalen.
Harga:
- Gratis: Sepenuhnya gratis dengan kunci API Anda sendiri.
- Berbayar: Zed Pro dari $10/bln untuk model yang dihosting dan akses prioritas.
Platform: macOS, Linux, Windows preview.
Unduh: zed.dev · github.com/zed-industries/zed
Garis bawah: Pilihan jika Anda menginginkan editor modern dan cerita AI dirancang bersama alih-alih dikencangkan.
3. Aider untuk LLM hybrid — Pair-programmer terminal terbaik
Aider adalah pair-programmer first-terminal. Ini membaca dan mengedit repo git Anda, mempertahankan percakapan berjalan tentang perubahan, dan dapat berbicara dengan hampir semua penyedia model. Diarahkan ke Ollama untuk hal-hal kecil dan Claude untuk perubahan sulit, ini adalah salah satu setup coding paling hemat biaya dalam daftar ini.
Di mana ia kekurangan: Terminal-only. Jika Anda menginginkan GUI itu bukan pilihan.
Harga:
- Gratis: Sepenuhnya gratis, Apache 2.0.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux.
Unduh: aider.chat · github.com/Aider-AI/aider
Garis bawah: Pilihan ketika editor Anda adalah terminal dan Anda menginginkan edit AI berkomitmen melalui git.
4. Cursor untuk LLM hybrid — Fork VS Code terbaik dengan perutean
Cursor adalah fork VS Code dengan agen, aturan kustom, dan beralih model bawaan. Pada tingkat Pro, Cursor menggabungkan akses model; dengan kunci Anda sendiri Anda juga dapat mengarahkan ke model lokal melalui sedikit konfigurasi. Mode konteks panjang dan agen adalah tempat Cursor bersinar.
Di mana ia kekurangan: Berbayar. Perutean model lokal memerlukan setup ekstra dibandingkan penggunaan cloud.
Harga:
- Gratis: Tingkat dasar dengan batasan kecepatan.
- Berbayar: Pro dari $20/bln, Business dari $40/bln.
Platform: Windows, macOS, Linux.
Unduh: cursor.com
Garis bawah: Pilih ini ketika Anda menginginkan pengalaman agen yang halus dan tidak keberatan membayar sisi cloud.
5. LibreChat untuk LLM hybrid — Front-end gaya ChatGPT self-hosted terbaik
LibreChat adalah aplikasi web gaya ChatGPT self-hosted yang terhubung ke setiap penyedia besar plus runtime lokal. Multi-pengguna dengan peran, dukungan plugin, dan perbandingan model berdampingan. Jalankan dalam Docker dan bagikan di seluruh rumah atau tim kecil.
Di mana ia kekurangan: Overhead self-hosting. Pengaturan adalah langkah di luar aplikasi desktop single-user.
Harga:
- Gratis: Sepenuhnya gratis, MIT.
- Berbayar: Tidak ada.
Platform: Windows, macOS, Linux, Docker.
Unduh: librechat.ai · github.com/danny-avila/LibreChat
Garis bawah: Pilihan untuk rumah tangga atau tim yang menginginkan obrolan bersama dengan perutean model hybrid.
6. Big-AGI untuk LLM hybrid — Obrolan web terbaik dengan tukar model berdampingan
Big-AGI adalah obrolan berbasis browser yang memungkinkan Anda membandingkan respons dari model lokal dan cloud berdampingan. Self-host dalam satu perintah dan setiap penyedia ada dalam dropdown. Personas, artefak kode, dan beam-generate (percabangan percakapan di seluruh model) kuat.
Di mana ia kekurangan: Aplikasi web bukan native. Menggunakan penyimpanan lokal; sinkronisasi di seluruh mesin memerlukan setup ekstra.
Harga:
- Gratis: Sepenuhnya gratis, MIT.
- Berbayar: Tidak ada.
Platform: Web (self-hosted atau demo publik).
Unduh: big-agi.com · github.com/enricoros/big-AGI
Garis bawah: Pilihan jika Anda menginginkan aplikasi web yang memungkinkan Anda bereksperimen dengan perutean model sebelum berkomitmen.
7. LiteLLM untuk LLM hybrid — Lapisan proxy terbaik yang menyatukan setiap penyedia
LiteLLM adalah proxy Python-dan-Docker yang mempresentasikan penyedia apa pun (Ollama, OpenAI, Anthropic, Bedrock, Vertex, dll.) sebagai endpoint yang kompatibel OpenAI. Arahkan ke proxy LiteLLM Anda dan tukar backend dengan konfigurasi. Tambahkan pembatasan tingkat dan pelacakan biaya secara terpusat.
Di mana ia kekurangan: Proxy, bukan aplikasi chat. Anda membawa front-end.
Harga:
- Gratis: Sepenuhnya gratis open source.
- Berbayar: Harga Enterprise untuk proxy yang dihosting dan dukungan.
Platform: Host apa pun yang menjalankan Python atau Docker.
Unduh: litellm.ai · github.com/BerriAI/litellm
Garis bawah: Pilihan ketika beberapa aplikasi perlu berbagi perutean dan kebijakan biaya yang sama.
8. Msty untuk LLM hybrid — Obrolan desktop terbaik dengan lokal dan cloud dalam satu jendela
Msty adalah aplikasi desktop yang sudah dilengkapi dengan dukungan Ollama, LM Studio, dan penyedia cloud. Tampilan obrolan terbelah adalah cara tercepat untuk melihat jawaban lokal berdampingan dengan jawaban Claude untuk prompt yang sama. Stack pengetahuan (fitur RAG Msty) bekerja dengan backend apa pun.
Di mana ia kekurangan: Beberapa fitur canggih gerbang di belakang Aurum. Bukan open source.
Harga:
- Gratis: Sepenuhnya gratis.
- Berbayar: Aurum $99 seumur hidup untuk stack pengetahuan dan ekstra premium.
Platform: Windows, macOS, Linux.
Unduh: msty.app
Garis bawah: Pilihan jika Anda menginginkan obrolan desktop tunggal yang sudah memahami setup hybrid.
Bagaimana memilih yang tepat
Jika pekerjaan Anda ada di VS Code atau JetBrains: Continue, gratis dan hybrid berdasarkan desain.
Jika Anda beralih editor dan menginginkan AI-first: Zed.
Jika Anda coding di terminal: Aider.
Jika Anda menginginkan pengalaman berbayar yang berat agen dan tidak keberatan langganan: Cursor.
Jika rumah tangga atau tim menginginkan satu obrolan yang berbicara dengan setiap penyedia: LibreChat.
Jika Anda menjelajahi perutean dan ingin test-drive dalam browser: Big-AGI.
Jika beberapa aplikasi perlu berbagi perutean dan batasan tingkat yang sama: LiteLLM sebagai proxy, plus aplikasi chat yang menunjuknya.
Jika aplikasi desktop tunggal cukup dan Anda menginginkan all-in-one: Msty.
FAQ
Berapa banyak yang dapat menghemat biaya API lokal plus cloud hybrid sebenarnya? Write-up XDA mendarat sekitar 50% potong untuk pekerjaan coding sehari-hari. Penghematan aktual tergantung pada campuran prompt Anda; boilerplate dan penyelesaian otomatis adalah kandidat tertinggi untuk mengarahkan ke lokal.
Dapatkah saya menggunakan kunci OpenAI atau Anthropic API saya sendiri dengan aplikasi ini? Ya. Setiap aplikasi dalam daftar ini menerima kunci Anda sendiri. Cursor adalah salah satu yang juga menggabungkan akses model sebagai bagian dari tingkat berbayarnya.
Apakah LLM lokal cukup baik untuk pekerjaan coding nyata? Untuk penyelesaian otomatis, refactor kecil, komentar, dan pertanyaan cepat, ya. Untuk refactor multi-file dan alasan sulit, kebanyakan orang masih mencapai model cloud frontier.
Aplikasi mana yang memiliki effort setup terkecil? Msty untuk obrolan desktop, Zed untuk editor. Keduanya bekerja dalam waktu kurang dari sepuluh menit.
Apakah aplikasi ini bekerja offline? Sisi lokal-only dari setiap aplikasi dalam daftar ini bekerja offline. Panggilan cloud memerlukan jaringan. Continue, Zed, dan Aider semuanya dengan baik kembali ke model lokal Anda jika penyedia cloud tidak dapat dijangkau.
