Model bahasa pada mikrokontroler terdengar absurd, dan sampai baru-baru ini memang demikian. ESP32-S3 memiliki 512 KB SRAM dan hingga 32 MB PSRAM eksternal. Model obrolan yang berguna memerlukan gigabyte. Trik yang berubah pada 2025 adalah nanomodel terkuantisasi: transformer dengan 20 hingga 30 juta parameter, terkuantisasi INT8, yang disesuaikan untuk satu tugas sempit, yang pas di antara “pengenalan kata kunci” dan “LLM cloud.” Sebuah artikel XDA baru-baru ini memandu model 28,9M yang disebarkan di ESP32-S3, dan komentar membuat jelas bahwa pertanyaan terbesar bukan “bisakah saya melakukan ini” tetapi “alat apa yang saya gunakan.” Di bawah ini adalah tujuh aplikasi desktop yang akan kami instal terlebih dahulu.
Yang harus dicari dalam rantai alat LLM mikrokontroler
- Dukungan kuantisasi model. INT8 adalah dasar minimum; INT4 dan presisi campuran membuka lebih banyak ruang.
- Manajemen memori spesifik papan. ESP32-S3 dengan PSRAM berperilaku berbeda dari RP2040 telanjang atau papan nRF.
- Arena tensor atau runner grafik. TensorFlow Lite Micro dan TinyMaix adalah dua runtime dominan.
- Monitor seri dan jalur penganalisis logika. Debugging model yang macet memerlukan telemetri langsung, bukan hanya pernyataan cetak.
- Pembangunan yang ramah CI. Jika model berubah setiap minggu, pembangunan harus ditulis dengan bersih menggunakan skrip.
- Jalur ke pembaruan over-the-air. Flashing melalui USB bagus untuk prototyping, menyakitkan dalam produksi.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Catatan |
|---|---|---|---|---|
| TensorFlow Lite Micro | Runtime inferensi mikrokontroler default | Windows, macOS, Linux | Ya | Pustaka C++, terintegrasi dengan rantai alat apa pun |
| Edge Impulse Studio | Alur kerja data-ke-firmware | Web + CLI desktop | Tingkat gratis | Melatih dan menerapkan model dari browser |
| PlatformIO | Pembangunan lintas platform di dalam VS Code | Windows, macOS, Linux | Ya | Menangani ESP32, RP2040, nRF, STM32 dalam satu proyek |
| ESP-IDF | SDK resmi Espressif | Windows, macOS, Linux | Ya | Dukungan kelas satu untuk ESP32-S3 PSRAM dan akselerator AI |
| Arduino IDE 2 | Penerapan yang ramah pemula | Windows, macOS, Linux | Ya | Sekarang mendukung paket papan ESP32 secara default |
| TinyMaix | Runtime paling ringan untuk model kecil | Linux, macOS, Windows | Ya | Inti inferensi 400 baris, ramah INT8 |
| llama.cpp | Pejalan kaki model kecil lintas target | Windows, macOS, Linux | Ya | Referensi untuk inferensi transformer kecil |
Aplikasi-aplikasi
1. TensorFlow Lite Micro — Runtime default terbaik
TensorFlow Lite Micro (TFLM) adalah runtime yang paling banyak proyek AI mikrokontroler standarkan. Ini adalah pustaka C++ tanpa alokasi dinamis, tanpa ketergantungan OS, dan tanpa akses sistem file. Espressif mengirimkan komponen ESP-IDF resmi yang menambahkan kernel ESP-NN untuk S3, sehingga konvolusi INT8 dan lapisan padat berjalan empat hingga delapan kali lebih cepat daripada kernel referensi. Jika Anda baru dalam AI mikrokontroler, ini adalah runtime yang diasumsikan tutorial.
Di mana kejatuhannya: API adalah C++ dan tidak memaafkan. Debugging masukan model yang buruk sering berakhir dalam jejak tumpukan di port seri.
Harga:
- Gratis: Apache 2.0
- Berbayar: tidak ada
Platform: rantai alat desktop berjalan di Windows, macOS, Linux
Unduh: github.com/tensorflow/tflite-micro
Garis bawah: pustaka pertama untuk ditambahkan ke proyek AI mikrokontroler baru.
2. Edge Impulse Studio — Alur kerja data-ke-firmware terbaik
Edge Impulse Studio adalah aplikasi browser yang membawa Anda dari perekaman sensor ke biner firmware yang dapat disebarkan. Unggah data, beri label, pilih arsitektur model, latih, dan itu memancarkan pustaka C++ atau sketsa Arduino lengkap yang disesuaikan untuk papan target. Dukungan untuk ESP32-S3, nRF52840, Nicla Vision, dan Nano 33 BLE Sense mendalam. CLI desktop memungkinkan Anda membuat skrip seluruh alur kerja untuk CI.
Di mana kejatuhannya: tingkat gratis membatasi waktu pelatihan dan ukuran kumpulan data. Arsitektur lanjutan memerlukan tingkat enterprise.
Harga:
- Gratis: tingkat hobbyist dengan pekerjaan terbatas waktu
- Berbayar: Professional dan Enterprise, berdasarkan penawaran
Platform: Aplikasi web plus CLI untuk Windows, macOS, Linux
Unduh: edgeimpulse.com
Garis bawah: pilihan ketika Anda lebih suka melatih di browser daripada di Colab.
3. PlatformIO — Lingkungan pembangunan lintas platform terbaik
PlatformIO adalah ekstensi VS Code yang mengubah satu proyek menjadi pembangunan untuk salah satu dari seratus papan. Alihkan target dari ESP32-S3 ke RP2040 ke nRF52 dengan perubahan dua baris di platformio.ini. Perpustakaan TensorFlow Lite Micro, TinyMaix, dan Edge Impulse semuanya terinstal melalui manajer paket bawaan. Integrasi debugger bekerja dengan probe J-Link atau ST-Link apa pun.
Di mana kejatuhannya: unduhan awal berat. Kinerja lari pertama lambat di Windows.
Harga:
- Gratis: IDE lengkap untuk proyek komunitas
- Berbayar: langganan PlatformIO Labs untuk tim, berdasarkan penawaran
Platform: Windows, macOS, Linux (sebagai ekstensi VS Code)
Unduh: platformio.org
Garis bawah: lingkungan yang membuat proyek yang sama tetap hidup di tiga vendor chip.
4. ESP-IDF — Terbaik ketika target khusus ESP32-S3
ESP-IDF adalah kerangka kerja resmi Espressif. Jika proyek berkomitmen pada keluarga ESP32-S3, ini adalah alat paling dalam: alokator PSRAM asli, kernel ESP-NN pihak pertama, dan dukungan pembaruan OTA bawaan. CLI idf.py menggerakkan menuconfig, flash, monitor, dan tes unit. Berpasangan dengan bersih dengan TFLM dan TinyMaix.
Di mana kejatuhannya: hanya ESP32. Mengunci lebih awal membatasi portabilitas.
Harga:
- Gratis: Apache 2.0
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: github.com/espressif/esp-idf
Garis bawah: kerangka kerja ketika Anda tahu target adalah ESP32.
5. Arduino IDE 2 — Terbaik untuk proyek AI mikrokontroler pertama
Arduino IDE 2 adalah tempat sebagian besar orang memulai. Manajer papan untuk ESP32, RP2040, dan nRF hanya dengan satu klik, TensorFlow Lite Micro tersedia sebagai pustaka bundel, dan monitor seri tepat di aplikasi. Versi 2.x yang ditulis ulang menambahkan debugger yang tepat dan sketsa per proyek.
Di mana kejatuhannya: pembangunan lebih lambat daripada PlatformIO atau ESP-IDF, dan kontrol lebih sedikit atas bendera kompilasi.
Harga:
- Gratis: IDE lengkap
- Berbayar: langganan Arduino Cloud untuk OTA dan dasbor
Platform: Windows, macOS, Linux
Unduh: arduino.cc/en/software
Garis bawah: jalur akses yang paling banyak proyek pertama gunakan sebelum lulus ke PlatformIO.
6. TinyMaix — Runtime terbaik untuk model terkecil
TinyMaix adalah runtime yang Anda gunakan ketika TFLM terlalu besar. Seluruh mesin inferensi hanya sekitar 400 baris C. Ini mendukung model terkuantisasi INT8 dan INT16, inferensi khusus integer, dan papan dengan RAM sekecil 30 KB. Sempurna untuk dekoder transformer kecil yang hanya perlu menyapa, mengklasifikasikan, atau merutekan.
Di mana kejatuhannya: cakupan operasi lebih sempit daripada TFLM. Lapisan khusus mungkin perlu diportasi dengan tangan.
Harga:
- Gratis: Apache 2.0
- Berbayar: tidak ada
Platform: lintas kompilasi dari Windows, macOS, Linux
Unduh: github.com/sipeed/TinyMaix
Garis bawah: runtime untuk momen “apakah ini bahkan pas.”
7. llama.cpp — Terbaik untuk mendorong batas atas apa yang dapat dipegang mikrokontroler
llama.cpp bukan runtime mikrokontroler tradisional, tetapi komunitas telah memportnya ke ESP32-S3, RP2350, dan bahkan papan Milk-V RISC-V untuk tujuan penelitian. Jika model dalam permainan adalah transformer 20 hingga 60 juta parameter yang disaring dari basis modern, alur kerja kuantisasi GGUF llama.cpp memungkinkan Anda menyusutkannya menjadi sesuatu yang dapat dipegang papan. Berjalan di desktop terlebih dahulu untuk prototyping, kemudian lintas kompilasi.
Di mana kejatuhannya: mengintegrasikan loop inferensi ke dalam RTOS tertanam adalah pekerjaan manual. Kinerja waktu nyata tergantung pada kuantisasi agresif.
Harga:
- Gratis: MIT
- Berbayar: tidak ada
Platform: lintas kompilasi dari Windows, macOS, Linux
Unduh: github.com/ggml-org/llama.cpp
Garis bawah: runtime referensi untuk siapa saja yang menjepit transformer “nyata” ke papan.
Cara memilih yang tepat
- Jika Anda belum pernah melakukan ini: Arduino IDE 2 plus TensorFlow Lite Micro. Tutorial mengasumsikan kombinasi itu.
- Jika proyek menargetkan satu papan ESP32-S3 khusus dan memerlukan PSRAM: ESP-IDF.
- Jika proyek perlu portabel di seluruh ESP32, RP2040, dan nRF: PlatformIO.
- Jika Anda ingin melatih model di browser dan mengirim firmware dalam sehari: Edge Impulse Studio.
- Jika model harus pas dalam kurang dari 100 KB RAM: TinyMaix.
- Jika Anda mendorong transformer 30 juta parameter yang dapat dikuantisasi llama.cpp: llama.cpp untuk prototyping, TinyMaix atau TFLM untuk port final.
FAQ
Bisakah ESP32-S3 benar-benar menjalankan model bahasa? Yang kecil. Di bawah 30 juta parameter, terkuantisasi INT8, satu tugas sempit. Jangan mengharapkan ChatGPT. Harapkan klasifikasi niat, ekstraksi terstruktur, atau respons skrip pendek yang mengalahkan pencocokan templat.
Apa perbedaan antara TFLM dan TinyMaix? TFLM adalah runtime yang lebih luas yang dipertahankan Google dengan cakupan operasi yang lebih baik dan kernel vendor. TinyMaix adalah runtime yang lebih ramping dirancang untuk perangkat terkecil. Gunakan TFLM secara default; turun ke TinyMaix ketika TFLM tidak akan pas.
Apakah saya memerlukan ESP-IDF jika saya menggunakan PlatformIO? PlatformIO mengirimkan salinan ESP-IDF di balik layar. Anda mendapatkan runtime yang sama, dibungkus dalam sistem pembangunan yang lebih ramah. Gunakan ESP-IDF langsung hanya ketika Anda memerlukan fitur terbaru atau pengaturan CI yang tepat dari Espressif.
Bisakah Edge Impulse melatih LLM untuk mikrokontroler? Belum. Katalog model Edge Impulse mencakup varian CNN, RNN, dan transformer yang ukurannya cocok untuk klasifikasi dan deteksi, bukan pembuatan bahasa. Untuk pekerjaan LLM, latih di PyTorch dan gunakan llama.cpp atau TinyMaix untuk penerapan.
Apakah llama.cpp benar-benar dapat digunakan pada mikrokontroler? Untuk penelitian dan demo, ya. Penerapan tingkat produksi biasanya beralih ke TFLM atau TinyMaix setelah arsitektur model menetap, karena jejak memori mereka lebih ketat dan integrasi mereka ke dalam pembangunan RTOS lebih bersih.
