Menjalankan LLM lokal masuk akal sampai Anda meninggalkan rumah. Model berada di mesin di rumah, permintaan Anda ada di laptop 5000 mil jauhnya, dan membuka port 11434 di router bukan jawabannya. Alat di bawah ini menyelesaikan masalah ini: mengekspos Ollama atau llama.cpp hanya ke perangkat Anda, terenkripsi, tanpa IP publik.
Kami menguji tujuh aplikasi jaringan mesh, tunnel, dan gateway terhadap tiga setup LLM lokal (Ollama di workstation, llama.cpp di mini PC, dan Open WebUI di kontainer Docker). Di bawah ini adalah apa yang benar-benar berfungsi ketika Anda ingin mengurangi model yang dihost rumah dari kafe atau WiFi hotel, diurutkan berdasarkan usaha setup dan keandalan.
Apa yang harus dicari di alat akses LLM jarak jauh
Pilihan sebagian besar bergantung pada lima hal.
- Tanpa konfigurasi vs berat konfigurasi. Tailscale dan Twingate menangani traversal NAT secara otomatis. WireGuard memerlukan port forwarding.
- Latensi. Koneksi peer-to-peer langsung mengalahkan yang dialihkan relay. Tailscale lebih suka langsung; Cloudflare Tunnel selalu relay.
- Kinerja token streaming. Beberapa tunnel membufferkan respons dengan buruk dan menghancurkan UX streaming Ollama. Uji dengan prompt panjang.
- Model otentikasi. Integrasi SSO penting jika Anda membagikan model dengan tim; penggunaan pribadi hanya memerlukan daftar perangkat.
- Biaya bandwidth. Paket gratis membatasi lalu lintas. Satu respons Llama 3 dengan 8K token kecil; 100 obrolan sehari dengan 8K token masing-masing masih masuk ke paket gratis mana pun.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Harga mulai/bulan | Rating |
|---|---|---|---|---|---|
| Tailscale | Jaringan mesh tanpa konfigurasi | Lintas platform | 100 perangkat gratis | Sekitar $6/bulan Personal Pro | 4.8 |
| ZeroTier | Topologi jaringan kustom | Lintas platform | 25 perangkat gratis | Sekitar $5/bulan Pro | 4.5 |
| Cloudflare Tunnel | URL publik tanpa membuka port | Lintas platform | Gratis unlimited | Gratis | 4.6 |
| Twingate | ZTNA dengan kebijakan otentikasi | Lintas platform | 5 pengguna gratis | Sekitar $10/pengguna/bulan | 4.4 |
| Netbird | Peer open source Tailscale | Lintas platform | 100 peer gratis | Self-host gratis | 4.4 |
| WireGuard | Mesh mentah, tidak ada dependensi | Lintas platform | Sepenuhnya gratis | Gratis | 4.7 |
| Open WebUI | Frontend LLM lokal dengan otentikasi | Docker | Sepenuhnya gratis | Gratis | 4.6 |
Aplikasi
1. Tailscale — Jaringan mesh tanpa konfigurasi terbaik
Tailscale adalah jawaban default untuk “bagaimana cara saya menjangkau LLM rumah saya dari mana saja.” Instal klien di host LLM, instal di laptop Anda, masuk di keduanya, dan dua perangkat berkomunikasi dengan nama host Tailscale mereka. Tidak ada port forwarding, tidak ada DNS dinamis, tidak ada aturan firewall manual.
Koneksi peer-to-peer langsung adalah alasan mengapa ia bekerja dengan baik untuk streaming respons Ollama. Latensi tetap di bawah 30ms pada sebagian besar koneksi rumah. Ketika peer tidak dapat terhubung langsung (di belakang carrier-grade NAT), Tailscale kembali ke relay DERP-nya, yang menambah latensi tetapi tidak pernah merusak koneksi.
Dimana hal itu kurang baik: Paket gratis murah hati tetapi terikat pada satu pemilik. Melayani model ke rekan kerja di akun terpisah memerlukan tingkat Pro atau node bersama.
Harga:
- Gratis: 100 perangkat, 3 pengguna
- Berbayar: Sekitar $6/bulan Personal Pro, $6/pengguna/bulan Business
Platform: Windows, macOS, Linux, iOS, Android
Unduh: Tailscale
Garis bawah: Instal ini terlebih dahulu. Ini menyelesaikan 90% akses LLM jarak jauh dengan 5 menit setup.
2. ZeroTier — Terbaik untuk topologi jaringan kustom
ZeroTier mendahului Tailscale dan memberikan Anda lebih banyak kontrol atas bentuk jaringan. Beberapa jaringan per perangkat, aturan aliran per jaringan, dan kustomisasi skema IP semuanya berfungsi melalui konsol web. Tradeoff adalah lebih banyak setup untuk use case LLM rumah.
Kinerja peer-to-peer langsung mirip dengan Tailscale. Daya tarik utama adalah jika Anda sudah menjalankan ZeroTier untuk layanan lain dan ingin LLM di jaringan yang sama.
Dimana hal itu kurang baik: UI lebih padat dari Tailscale. Onboarding perangkat baru memerlukan langkah persetujuan tambahan.
Harga:
- Gratis: 25 perangkat per jaringan
- Berbayar: Sekitar $5/bulan untuk 100 perangkat, naik dari sana
Platform: Windows, macOS, Linux, iOS, Android, FreeBSD
Unduh: ZeroTier
Garis bawah: Pilihan terbaik jika Anda sudah menggunakan ZeroTier atau ingin per-flow ACL pada lalu lintas LLM Anda.
3. Cloudflare Tunnel — Terbaik untuk URL publik tanpa membuka port
Jika Anda menginginkan URL aktual (seperti ollama.yourdomain.com) yang dapat diakses oleh siapa pun dengan URL dan kredensial, Cloudflare Tunnel melakukannya tanpa membuka port di router Anda. Tunnel terhubung outbound ke edge Cloudflare, dan Cloudflare melayani lalu lintas ke pengunjung.
Kebijakan akses Zero Trust memungkinkan Anda membatasi URL berdasarkan email, rentang IP, atau tim GitHub. Ini adalah jawabannya ketika Anda ingin berbagi model dengan kelompok kecil tanpa memberikan setiap orang klien jaringan mesh.
Dimana hal itu kurang baik: Semua lalu lintas transit edge Cloudflare, jadi latensi lebih buruk daripada peer-to-peer langsung. Respons streaming bekerja tetapi melihat overhead 100-200ms.
Harga:
- Gratis: Bandwidth unlimited untuk personal
- Berbayar: Zero Trust menambahkan kursi berbayar melewati 50 pengguna
Platform: Cloudflared berjalan di Windows, macOS, Linux; browser di platform apa pun
Unduh: Cloudflared
Garis bawah: Pilih ini di atas Tailscale jika Anda menginginkan URL nyata untuk diunduh, bukan nama host pribadi. Lebih lambat tetapi lebih mudah untuk dibagikan.
4. Twingate — Terbaik untuk tim dengan kebijakan SSO
Twingate adalah produk Zero Trust Network Access yang membatasi sumber daya tertentu (pasangan host+port) di belakang otentikasi SSO. Konfigurasi host LLM di konsol admin, tetapkan kebijakan (grup Google ini dapat mengaksesnya), dan pengguna masuk melalui klien Twingate.
Split tunneling lebih kuat dari Tailscale; hanya lalu lintas untuk sumber daya gated yang mengalir melalui Twingate. Segala yang lain menggunakan internet langsung.
Dimana hal itu kurang baik: Paket gratis terbatas pada 5 pengguna. Overkill untuk setup LLM rumah satu orang.
Harga:
- Gratis: 5 pengguna, 10 perangkat
- Berbayar: Sekitar $10/pengguna/bulan Business
Platform: Windows, macOS, Linux, iOS, Android
Unduh: Twingate
Garis bawah: Pilihan terbaik ketika tim kecil berbagi LLM lokal dan Anda menginginkan kontrol akses yang didukung SSO.
5. Netbird — Peer open source Tailscale terbaik
Netbird adalah drop-in open source terdekat untuk Tailscale. Model mesh yang sama, traversal NAT otomatis yang sama, pengalaman klien yang sama, tetapi server koordinasi dapat di-self-host. Jalankan di VPS Anda sendiri dan tidak ada pihak ketiga yang tahu bentuk jaringan Anda.
Paket gratis hosted adalah 100 peer, jadi setup personal tidak pernah mencapai batasnya.
Dimana hal itu kurang baik: Proyek yang lebih muda dari Tailscale, jadi klien mobile tertinggal dalam polish. Self-hosting menambah beban ops.
Harga:
- Gratis: 100 peer di layanan hosted Netbird
- Berbayar: Self-host gratis; Tingkat Business untuk hosted mulai sekitar $8/pengguna/bulan
Platform: Windows, macOS, Linux, iOS, Android
Unduh: Netbird
Garis bawah: Pilih ini jika Anda menyukai Tailscale tetapi menginginkan server koordinasi di hardware Anda sendiri.
6. WireGuard — Terbaik untuk kinerja mentah dan tidak ada dependensi
WireGuard adalah protokol yang mendasari Tailscale, Netbird, dan sebagian besar VPN mesh modern. Menjalankannya secara langsung (tanpa lapisan koordinasi) berarti konfigurasi peer manual dan IP statis atau DNS dinamis di host LLM.
Untuk pengguna teknis dengan IP statis di rumah, ini adalah opsi overhead terendah. Tidak ada akun, tidak ada server koordinasi, tidak ada kepercayaan pihak ketiga.
Dimana hal itu kurang baik: Setiap pasangan perangkat memerlukan pertukaran kunci manual. Traversal NAT ada di Anda. Menambahkan perangkat baru adalah edit file konfigurasi.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux, iOS, Android
Unduh: WireGuard
Garis bawah: Terbaik untuk kontrol, terburuk untuk kenyamanan. Gunakan ini jika Anda sudah menjalankan WireGuard untuk layanan lain.
7. Open WebUI — Frontend LLM lokal terbaik dengan otentikasi bawaan
Daripada tunnel port mentah Ollama, jalankan Open WebUI sebagai frontend di mesin yang sama dan hanya ekspos WebUI. Dilengkapi dengan akun pengguna, riwayat obrolan per pengguna, penyerapan dokumen RAG, dan antarmuka gaya ChatGPT yang bersih.
Gabungkan dengan Tailscale untuk akses pribadi, atau dengan Cloudflare Tunnel untuk URL publik dengan lapisan otentikasi WebUI sendiri sebagai gerbangnya.
Dimana hal itu kurang baik: Menambahkan kontainer Docker dan pembaruan berkelanjutan. Berjalan sedikit lebih lambat dari Ollama mentah untuk streaming karena hop tambahan.
Harga:
- Gratis: Open source
- Berbayar: Tidak ada
Platform: Docker (berjalan di host Linux, macOS, Windows apa pun)
Unduh: Open WebUI
Garis bawah: Pasangkan dengan Tailscale untuk pengalaman gabungan terbaik. WebUI menangani otentikasi dan UX; Tailscale menangani jaringan.
Cara memilih yang tepat
Jika Anda menginginkan setup tercepat: Tailscale, plus Ollama di host LLM. Sepuluh menit dari awal hingga akhir.
Jika Anda menginginkan URL nyata untuk dibagikan: Cloudflare Tunnel, dibatasi dengan kebijakan Zero Trust.
Jika Anda adalah tim: Twingate untuk akses terkontrol SSO, atau Tailscale Business.
Jika Anda self-host semuanya: Netbird di server koordinasi Anda sendiri, atau WireGuard mentah jika Anda memiliki IP statis.
Jika stack LLM lokal Anda adalah Ollama atau llama.cpp: juga instal Open WebUI. Perbedaan UX dibanding curl mentah atau klien API bermakna, dan otentikasi bawaan berarti Anda dapat melapisi tunnel di atas tanpa pipa ekstra.
FAQ
Apakah aman mengekspos Ollama melalui Tailscale? Ya. Lalu lintas Tailscale dienkripsi end-to-end dengan WireGuard, dan hanya perangkat Tailnet Anda yang dapat mencapai port Ollama. Ollama sendiri tidak memiliki otentikasi, jadi jaringan pribadi melakukan pekerjaan keamanan.
Apakah streaming berfungsi melalui Cloudflare Tunnel? Ya untuk streaming HTTP (server-sent events). Respons streaming default Ollama berfungsi. WebSocket juga bekerja tetapi dengan latensi sedikit lebih tinggi daripada jalur SSE.
Bisakah saya menggunakan alat-alat ini tanpa IP statis atau port forwarding? Ya untuk Tailscale, ZeroTier, Cloudflare Tunnel, Twingate, dan Netbird. Semuanya menangani traversal NAT atau tunnel outbound-only. WireGuard sendiri memerlukan IP statis atau DNS dinamis.
Berapa banyak bandwidth yang digunakan obrolan LLM lokal? Respons 8K-token atas Ollama kurang dari 100KB terkompresi. Bahkan 1000 obrolan sehari kurang dari 100MB, baik di dalam setiap paket gratis.
Bagaimana jika ISP saya menggunakan CGNAT? Tailscale dan Netbird kembali ke server relay ketika koneksi langsung tidak mungkin. Cloudflare Tunnel bekerja terlepas dari apa karena hanya outbound. WireGuard sendiri tidak akan berfungsi tanpa endpoint publik.
Bisakah saya menggunakan ini untuk mengekspos LLM lokal ke teman? Twingate dan Cloudflare Tunnel dengan Zero Trust mendukung kebijakan akses per pengguna. Tailscale dapat berbagi node dengan pengguna tertentu melalui sharing node. Open WebUI menambahkan isolasi obrolan per pengguna di atas salah satu dari ini.
