Menjalankan Gemma 4 di laptop 16GB adalah pekerjaan Minggu sore. Mengetahui performa itu adalah percakapan yang lebih panjang. Jika Anda sudah beralih antara Ollama, LM Studio, dan llama.cpp untuk ketiga kalinya dan masih tidak dapat menjawab “kuantisasi mana yang benar-benar lebih baik untuk perangkat keras saya”, salah satu dari tujuh aplikasi benchmarking LLM lokal ini akan membantu Anda keluar dari permainan tebakan.
Kami memilih aplikasi yang melaporkan angka yang dapat direproduksi di desktop untuk pengaturan LLM lokal satu pengguna. Benchmark kecepatan (token per detik di perangkat keras Anda) berjalan beriringan dengan benchmark kualitas (akurasi pada suite publik) sehingga Anda dapat memilih alat yang sesuai dengan apa yang Anda tanyakan.
Apa yang dicari dalam aplikasi benchmarking LLM lokal
- Apa yang sebenarnya Anda ukur. Throughput, latency, VRAM footprint, kualitas pada dataset yang dikenal, dan kualitas per-tugas pada dataset Anda sendiri adalah lima pertanyaan yang berbeda.
- Pelari lokal. Alat ini perlu menemukan model di mana ia berada. Itu berarti Ollama, llama.cpp, server OpenAI-compatible LM Studio, atau callable Python langsung.
- Dataset yang dikenal. MMLU, TruthfulQA, HellaSwag, dan IFEval adalah nama yang sering dikutip. Jika tidak ada di dalam alat, itu bukan benchmark.
- Output yang dapat diulang. Laporan JSON atau CSV dengan hash model dan konfigurasi, bukan hanya screenshot.
- Visibilitas biaya. Bahkan hasil “lokal” memiliki biaya waktu dinding. Alat yang menampilkan waktu ke token pertama dan throughput keadaan stabil membuat trade-off terlihat.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Gratis | Menonjol |
|---|---|---|---|---|
| lm-evaluation-harness | Mereproduksi skor kualitas yang dipublikasikan | Windows, macOS, Linux | Gratis, open-source | Implementasi referensi MMLU, IFEval, dll. |
| llama-bench | Throughput dan latency baku | Windows, macOS, Linux | Gratis | Dilengkapi dengan llama.cpp, native GGUF |
| MLPerf Client | Benchmark perangkat keras netral vendor | Windows | Gratis | AMD, Intel, Nvidia semuanya menggunakannya |
| DeepEval | Dataset Anda, metrik Anda | Windows, macOS, Linux | Tier gratis | Sintaks gaya pytest, LLM-as-judge |
| Promptfoo | Evaluasi komparatif antar model | Windows, macOS, Linux | Gratis, open-source | Diff output berdampingan di browser |
| HELM | Benchmark akademik yang komprehensif | Windows, macOS, Linux | Gratis, open-source | Referensi untuk perbandingan lintas model |
| OpenAI Evals | Kasus uji tingkat prompt | Windows, macOS, Linux | Gratis, open-source | Penulisan mudah, katalog komunitas besar |
Aplikasi
1. lm-evaluation-harness — Terbaik untuk reproducibilitas benchmark yang dikenal
lm-evaluation-harness, dari EleutherAI, adalah implementasi referensi yang digunakan sebagian besar rilis model untuk mempublikasikan MMLU, IFEval, HellaSwag, ARC, TruthfulQA, dan puluhan lainnya. Arahkan ke model lokal dan reproduksi angka yang sama yang dikutip kertas.
Kekurangan: Download dataset besar. Pengaturan pertama kali di laptop meminta puluhan gigabyte cache.
Harga:
- Gratis: Perpustakaan open-source penuh
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux (Python)
Unduh: GitHub
Garis bawah: Pilihan ketika tujuannya adalah “reproduksi skor di makalah pada perangkat keras saya”.
2. llama-bench — Terbaik untuk test throughput dan latency
llama-bench dilengkapi dalam repositori llama.cpp dan mengukur token baku per detik di berbagai quantisasi GGUF, panjang prompt, dan konfigurasi backend. Ini menjawab “apakah Q5_K_M benar-benar lebih cepat dari Q4_K_S di CPU ini” tanpa wrapper chat menghalangi.
Kekurangan: Kecepatan saja. Tidak mengatakan apa-apa tentang kualitas output.
Harga:
- Gratis: Disertakan dengan llama.cpp
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux
Unduh: GitHub
Garis bawah: Pilihan ketika Anda membutuhkan angka throughput untuk membandingkan model di mesin Anda.
3. MLPerf Client — Terbaik untuk benchmark perangkat keras netral vendor
MLPerf Client adalah benchmark MLCommons yang dikutip AMD, Intel, dan Nvidia untuk performa inferensi LLM pada perangkat keras end-user. Angka dapat dibandingkan secara langsung antar vendor karena semua orang menjalankan suite yang sama.
Kekurangan: Windows terlebih dahulu. Daftar model tetap dan dikurasi, jadi bukan alat benchmarking tujuan umum.
Harga:
- Gratis: Suite lengkap
- Berbayar: Tidak ada
Platform: Windows
Unduh: mlcommons.org
Garis bawah: Pilihan untuk membandingkan laptop Ryzen AI dengan yang Core Ultra tanpa berdebat tentang metodologi.
4. DeepEval — Terbaik untuk dataset Anda sendiri
DeepEval adalah kerangka Python yang mengubah evaluasi menjadi kasus uji gaya pytest. Metrik mencakup penilaian LLM-as-judge, deteksi halusinasi, presisi kontekstual, dan relevansi jawaban, dan setiap tes dapat dijalankan terhadap model lokal.
Kekurangan: Beberapa metrik canggih memanggil model yang dihosting secara default. Membaca konfigurasi untuk mengarahkannya ke hakim lokal layak untuk malam.
Harga:
- Gratis: Perpustakaan open-source penuh
- Berbayar: Tier observabilitas terkelola
Platform: Windows, macOS, Linux
Unduh: GitHub
Garis bawah: Pilihan ketika benchmark yang ingin Anda jalankan adalah yang Anda tulis sendiri.
5. Promptfoo — Terbaik untuk perbandingan berdampingan
Promptfoo menjalankan prompt yang sama terhadap beberapa model dan menghasilkan tampilan diff berbasis browser. Ia juga berfungsi sebagai alat red-teaming, tetapi untuk alur kerja benchmarking tampilan perbandingan adalah alasan untuk memasangnya.
Kekurangan: Tampilan perbandingan lebih kuat daripada tampilan metrik baku. Pasangkan dengan lm-evaluation-harness atau DeepEval untuk skor referensi.
Harga:
- Gratis: CLI open-source penuh
- Berbayar: Tier tim terkelola
Platform: Windows, macOS, Linux (Node.js)
Unduh: promptfoo.dev
Garis bawah: Pilihan ketika pertanyaannya adalah “apakah model A atau model B menjawab sepuluh prompt saya lebih baik”.
6. HELM — Terbaik untuk referensi akademik
HELM, dari CRFM Stanford, adalah proyek “Holistic Evaluation of Language Models”. Ini menerbitkan leaderboard lintas model yang berwibawa menggunakan benchmark skenario luas, dan kode yang sama berjalan secara lokal terhadap model Anda sendiri.
Kekurangan: Berat. Hasil HELM penuh memakan waktu berjam-jam di workstation. Bukan alat laptop untuk pemeriksaan kewarasan cepat.
Harga:
- Gratis: Proyek open-source penuh
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux
Unduh: GitHub
Garis bawah: Pilihan ketika angka perlu dapat dipertahankan dalam makalah atau laporan teknis.
7. OpenAI Evals — Terbaik untuk kasus uji yang ditulis komunitas
OpenAI Evals adalah kerangka untuk menulis kasus uji tingkat prompt (katalog komunitas mencakup matematika, teka-teki logika, kode, dan penalaran) dan menjalankannya terhadap model apa pun di balik titik akhir OpenAI-compatible.
Kekurangan: Kualitas katalog bervariasi. Beberapa evaluasi lebih kuat dari yang lain.
Harga:
- Gratis: Kerangka open-source
- Berbayar: Tidak ada
Platform: Windows, macOS, Linux
Unduh: GitHub
Garis bawah: Pilihan ketika cara tercepat untuk menguji model adalah mengangkat evaluasi komunitas, mengarahkannya ke titik akhir lokal Anda, dan membaca hasilnya.
Cara memilih yang tepat
Jika Anda ingin mereproduksi skor kualitas yang dipublikasikan: lm-evaluation-harness. Sisihkan ruang disk dan kopi.
Jika Anda ingin membandingkan throughput di perangkat keras Anda: llama-bench. Ini adalah cara tercepat untuk menjawab pertanyaan quant-vs-quant.
Jika Anda membandingkan laptop atau GPU: MLPerf Client. Netral vendor, apel ke apel.
Jika benchmark Anda adalah dataset Anda sendiri: DeepEval. Tes gaya pytest untuk LLM.
Jika tujuannya adalah tampilan berdampingan dari dua model di prompt Anda: Promptfoo.
Jika angka perlu kredibilitas akademik: HELM. Terima hasil panjang.
Jika tes yang ditulis komunitas cukup: OpenAI Evals. Angkat direktori, arahkan ke model Anda, jalankan.
FAQ
Benchmark LLM lokal mana yang terbaik secara keseluruhan? lm-evaluation-harness untuk reproducibilitas kualitas. llama-bench untuk kecepatan di perangkat keras Anda.
Bisakah saya menggunakan benchmark untuk model yang berjalan di Ollama atau LM Studio? Ya. Setiap alat dalam daftar ini mendukung titik akhir OpenAI-compatible, dan Ollama, LM Studio, dan Jan semuanya mengeksposnya.
Apa itu MMLU dan mengapa semua orang mengutipnya? MMLU adalah benchmark pilihan ganda di banyak subjek akademik. Dikutip karena banyak model menerbitkan skor mereka dan perbandingan mudah dilakukan.
Apakah aplikasi benchmarking sama dengan aplikasi red-teaming? Tidak. Benchmarking mengukur kemampuan dan kecepatan. Red teaming menguji keamanan. Promptfoo bisa melakukan keduanya; lm-evaluation-harness hanya yang pertama.
Apakah saya membutuhkan GPU untuk menjalankan benchmark ini? Tidak. lm-evaluation-harness dan llama-bench berjalan di CPU. Benchmark kecepatan adalah yang membuat perbedaan GPU paling terlihat.
Apakah semua alat ini gratis? Setiap alat dalam daftar ini memiliki tier gratis. Hanya DeepEval dan Promptfoo yang menjual observabilitas terkelola di atasnya.
