Proxmox 9.2 yang dirilis pada Agustus 2026 dilengkapi dengan pembaruan kernel yang merusak modul kernel terbuka NVIDIA untuk banyak pengguna home lab yang menjalankan LLM lokal, dan perbaikannya ternyata adalah driver yang diperbaiki yang dirilis NVIDIA sekitar seminggu kemudian. Itulah pola yang akan dikenal setiap pemilik Proxmox yang menjalankan GPU untuk inferensi: pembaruan kernel tiba, driver menolak header baru, nvidia-smi mengembalikan “No devices were found”, dan Ollama atau vLLM gagal dimulai sampai Anda membangun ulang.
Aplikasi terbaik untuk mengelola driver NVIDIA di Proxmox untuk beban kerja LLM lokal mengurangi pola itu dari krisis menjadi rutinitas. Berikut adalah tujuh alat desktop yang layak dipasang sebelum pembaruan kernel berikutnya.
Apa yang dicari dalam stack Proxmox NVIDIA
Mulai dengan jalur instalasi driver. Penginstal .run yang disediakan vendor berfungsi dan layak dipahami, namun untuk home lab Anda menginginkan reprodusibilitas paket. Itu berarti .deb yang ditandatangani dari repositori CUDA NVIDIA atau jalur yang dapat diskenario yang menetapkan versi driver yang dikenal baik.
Perhatikan DKMS. Dynamic Kernel Module Support membangun ulang modul NVIDIA ketika kernel diperbarui. Jika Anda melewatkan DKMS, Anda membangun ulang dengan tangan setiap pembaruan kernel, dan di situlah kehancuran berada. Konfirmasikan modul DKMS benar-benar dibangun ulang setelah pembaruan daripada gagal diam-diam.
Perhatikan sisi GPU passthrough. Jika GPU diteruskan ke VM daripada berjalan di host, modul berada di dalam VM dan Proxmox memerlukan pengikatan vfio-pci untuk menjaga host agar tidak menangkap kartu. Passthrough yang rusak sering keliru dengan driver yang rusak.
Terakhir, rencanakan pemantauan dan rollback. nvidia-smi dalam loop memberi tahu Anda bahwa kartu hidup; Netdata menunjukkan utilisasi dari waktu ke waktu; snapshot host yang diambil sebelum pembaruan berarti rollback hanya berjarak satu klik pemulihan Proxmox.
Perbandingan cepat
| Aplikasi | Peran | Paket gratis | Tingkat berbayar | Fitur unggulan |
|---|---|---|---|---|
| Proxmox VE | Hypervisor NVIDIA harus hidup di dalamnya | Gratis, open source | Langganan berbayar untuk repo perusahaan | Snapshot sebelum setiap pembaruan driver yang berisiko |
| NVIDIA driver installer | Mengirim modul CUDA dan kernel | Gratis | Gratis | .deb yang ditandatangani dan penginstal jaringan yang bertahan pembaruan kernel |
| Aprox Proxmox client | Jangkau konsol Proxmox dari ponsel atau desktop | Gratis | Gratis | Mulai ulang VM tanpa membuka browser |
| Ollama | Runner LLM lokal yang menggunakan GPU | Gratis, open source | Gratis | Instalasi satu baris, tarik model satu baris |
| Open WebUI | Antarmuka obrolan di atas Ollama atau vLLM | Gratis, open source | Gratis | Obrolan multi-model, RAG, tanpa ketergantungan cloud |
| vLLM | Server inferensi LLM throughput tinggi | Gratis, open source | Gratis | Alternatif throughput lebih tinggi ke Ollama untuk penyiapan sibuk |
| NVIDIA System Management Interface | Baris perintah nvidia-smi |
Gratis, dikirim dengan driver | Gratis | Alat yang Anda jalankan terlebih dahulu ketika sesuatu rusak |
| Netdata | Metrik GPU dan sistem langsung | Tingkat gratis | Paket cloud berbayar | Utilisasi GPU, suhu, dan VRAM dari waktu ke waktu |
1. Proxmox VE
Proxmox VE adalah hypervisor di dasar stack. Untuk beban kerja NVIDIA, pengaturan yang paling penting adalah disiplin snapshot: snapshot host dan VM yang mengandung GPU sebelum setiap perubahan driver atau kernel yang berisiko, sehingga rollback adalah operasi dua klik. Jadwal Backup antarmuka web Proxmox dapat mengotomatisasi snapshot LXC atau VM; host itu sendiri memerlukan pendekatan terpisah (instalasi tanpa status, snapshot ZFS dari pool root, atau catatan manual dari bendera penginstal).
Di mana itu tidak cukup: Proxmox itu sendiri tidak menawarkan wizard GPU passthrough pihak pertama. Anda mengonfigurasinya melalui CLI dan /etc/pve/qemu-server/<vmid>.conf.
Harga: Gratis dengan repo komunitas. Langganan berbayar untuk repo perusahaan dimulai dengan biaya tahunan yang sederhana per socket.
Platform: Bare metal di kotak compute.
Unduh: Proxmox VE
Garis bawah: dasarnya. Snapshot sebelum setiap pembaruan driver.
2. NVIDIA driver installer
Penginstal driver NVIDIA dikirim sebagai paket repositori CUDA yang ditandatangani atau penginstal .run. Untuk home lab Proxmox, repositori CUDA adalah jalur yang lebih andal: tambahkan repo, instal nvidia-driver-open (modul kernel terbuka) dengan DKMS, boot ulang, verifikasi nvidia-smi. Ketika pembaruan kernel tiba, DKMS membangun ulang modul; ketika tidak, Anda membangun ulang dengan tangan sekali dan mencatat perbaikan.
Di mana itu tidak cukup: modul kernel terbuka masih merupakan jalur yang lebih baru. Beberapa kartu yang lebih lama memerlukan modul proprietary, dan matriks versi layak dibaca sebelum Anda meningkatkan.
Harga: Gratis.
Platform: Linux (Debian, Ubuntu, dan derivatif, yang digunakan Proxmox).
Unduh: NVIDIA CUDA repository
Garis bawah: instalasi repo dengan DKMS adalah pengaturan yang paling sering bertahan pembaruan kernel.
3. Aprox Proxmox client
Aprox adalah klien ponsel untuk Proxmox. Ketika pembaruan driver berjalan miring di tengah hari kerja, Aprox memungkinkan Anda untuk memulai ulang VM yang terpengaruh, kembali ke snapshot, atau memeriksa riwayat tugas tanpa membuka browser. Ini membaca API Proxmox yang sama yang digunakan antarmuka web.
Di mana itu tidak cukup: itu adalah klien, bukan pengganti. Konfigurasi mendalam masih melalui antarmuka web.
Harga: Gratis.
Platform: Android; dapat digunakan dari Windows dan ChromeOS melalui runtime Android.
Unduh: Aptoide · Google Play
Garis bawah: klien pemulihan cepat untuk home lab yang tidak ingin Anda login ke desktop lengkap untuk menyentuh.
4. Ollama
Ollama adalah cara termudah untuk menjalankan LLM lokal di GPU Proxmox. Instal di VM atau kontainer LXC dengan GPU diteruskan, tarik model dengan perintah satu baris, dan Ollama mengekspos API lokal pada bentuk standar OpenAI. Home lab yang dimulai dengan Ollama dan tidak pernah meninggalkan jarang menyesal.
Di mana itu tidak cukup: throughput lebih rendah dari vLLM pada konkurensi. Untuk penyiapan obrolan rumah tangga ini tidak penting; untuk tim kecil mungkin.
Harga: Gratis, open source.
Platform: Linux, macOS, Windows.
Unduh: Ollama
Garis bawah: runner default untuk home lab GPU yang belum melayani vLLM.
5. Open WebUI
Open WebUI adalah antarmuka obrolan yang duduk di atas Ollama atau vLLM. Ini menangani obrolan multi-model, RAG terhadap dokumen lokal, riwayat percakapan bersama, dan berbagai akun pengguna. Jalankan dalam kontainer di VM yang sama dengan Ollama dan muncul di URL yang dapat Anda bookmark.
Di mana itu tidak cukup: itu adalah bagian yang bergerak lagi. Jika Anda hanya pernah mengobrol dari terminal, curl terhadap API Ollama bekerja dengan baik.
Harga: Gratis, open source.
Platform: Docker (host apa pun).
Unduh: Open WebUI
Garis bawah: antarmuka yang ramah untuk penyiapan LLM rumah.
6. vLLM
vLLM adalah server inferensi throughput lebih tinggi untuk ketika rumah tangga atau tim kecil menghasilkan cukup token per detik sehingga Ollama melambat. Ini mendukung perhatian berpagina, permintaan batch, dan model host dengan konkurensi yang jauh lebih tinggi. Penyiapan lebih terlibat dan sensitif terhadap versi CUDA.
Di mana itu tidak cukup: itu bukan pengalaman “instal dan lupakan” yang diberikan Ollama. Harapkan untuk membaca catatan rilis dan mencocokkan versi CUDA dan PyTorch.
Harga: Gratis, open source.
Platform: Linux dengan CUDA.
Unduh: vLLM
Garis bawah: pilihan ketika konkurensi lebih penting daripada kesederhanaan penyiapan.
7. NVIDIA System Management Interface
nvidia-smi adalah perintah yang dijalankan setiap pengguna Proxmox-plus-NVIDIA terlebih dahulu ketika sesuatu rusak. Ini menunjukkan versi driver, runtime CUDA, utilisasi GPU, penggunaan VRAM, proses aktif, suhu, dan daya. Ketika pembaruan kernel tiba, nvidia-smi adalah pembacaan pertama yang jujur tentang apakah driver bertahan.
Di mana itu tidak cukup: itu adalah CLI. Ada loop grafis nvidia-smi -l 1 yang dapat Anda tinggalkan di panel tmux, tetapi itu bukan dashboard.
Harga: Gratis, dikirim dengan driver.
Platform: Linux, Windows (melalui driver NVIDIA).
Unduh: Bundel dengan instalasi driver NVIDIA di atas.
Garis bawah: alat pertama yang harus Anda jalankan setelah setiap perubahan kernel atau driver.
8. Netdata
Netdata mengambil kolektor NVIDIA secara otomatis ketika driver diinstal. Ini merender utilisasi GPU, VRAM, daya, dan suhu pada granularitas tingkat detik di browser. Secara historis ini adalah cara Anda mendeteksi throttle termal yang tidak dilaporkan oleh run benchmark.
Di mana itu tidak cukup: retensi jangka panjang di tingkat gratis terbatas. Simpan metrik historis di Prometheus jika setahun sejarah GPU penting.
Harga: Tingkat gratis untuk sejumlah kecil node. Paket cloud berbayar menambahkan retensi.
Platform: Linux (agen), browser apa pun (dashboard).
Unduh: Netdata
Garis bawah: cara tercepat untuk mendeteksi misbehavior GPU dari waktu ke waktu.
Cara memilih
Setiap home lab GPU harus dimulai dengan Proxmox VE (snapshot sebelum perubahan driver), repositori CUDA NVIDIA dengan DKMS, dan nvidia-smi sebagai alat pemeriksaan pertama. Tambahkan Ollama plus Open WebUI untuk penyiapan LLM yang ramah, atau vLLM jika throughput penting. Instal Aprox untuk kontrol sisi ponsel dan Netdata untuk visibilitas GPU berkelanjutan. Ketika pembaruan kernel tiba, snapshot terlebih dahulu, perbarui kedua, jalankan nvidia-smi ketiga, dan periksa panel GPU Netdata keempat. Jika ada yang gagal, klien Aprox lebih cepat daripada membuka browser untuk rollback.
FAQ
Mengapa Proxmox 9.2 mematahkan LLM lokal saya?
Pembaruan kernel berada di depan dukungan driver NVIDIA untuk itu. NVIDIA merilis driver yang diperbaiki sekitar seminggu kemudian; menginstal driver itu, kemudian menjalankan dkms status dan boot ulang, memulihkan nvidia-smi dan Ollama.
Haruskah saya menggunakan modul NVIDIA terbuka atau proprietary di Proxmox?
Untuk kartu Ampere dan lebih baru baru-baru ini, modul kernel terbuka adalah jalur yang direkomendasikan pada tahun 2026 dan apa yang didukung NVIDIA ke depan. Kartu Turing dan Pascal yang lebih lama masih bergantung pada modul proprietary.
Apakah saya memerlukan GPU passthrough untuk Ollama di Proxmox?
Jika GPU berada di kotak compute dan Anda menjalankan Ollama di host, tidak. Jika Anda menjalankan Ollama di dalam VM, ya. Kontainer LXC dapat berbagi GPU host tanpa passthrough dengan aturan cgroup dan udev yang tepat.
Apa runner LLM lokal terbaik di Proxmox?
Ollama untuk kemudahan penyiapan, vLLM untuk konkurensi. Keduanya menggunakan driver NVIDIA yang diinstal pada tamu.
Bagaimana cara memantau suhu GPU dari waktu ke waktu di Proxmox?
Instal Netdata di tamu yang memiliki GPU. Ini mengambil metrik NVIDIA secara otomatis. Untuk retensi panjang, kirim metrik ke Prometheus dan lihat dalam Grafana.
