Quantization: Bagaimana Model AI Besar Bisa Muat di HP

Model AI besar punya satu masalah yang tidak terlihat di demo: ukurannya. Model dengan 70 miliar parameter butuh sekitar 140 GB memori hanya untuk bobotnya pada presisi FP16. Itu lebih besar dari RAM laptop biasa, dan jauh lebih besar dari VRAM kartu grafis konsumen termahal.

Quantization adalah jawaban atas masalah itu. Ia mengubah angka di dalam model dari format presisi tinggi ke format presisi rendah. Ukuran dan biaya menjalankannya pun turun drastis. Pertanyaan yang menarik bukan apakah model jadi lebih kecil, tapi seberapa bodoh ia jadi, dan kenapa kadang tidak jadi bodoh sama sekali.

Pada 2023, Tim Dettmers dan timnya di University of Washington merilis QLoRA. Cara itu membuat model 65 miliar parameter bisa dilatih di satu kartu GPU 48 GB. Sebelumnya butuh delapan kartu. Lompatan itu bukan dari arsitektur baru, tapi dari representasi angka yang lebih hemat.

Apa yang Sebenarnya Disimpan di Dalam Model

Model bahasa adalah kumpulan angka. Setiap parameter adalah satu angka yang menentukan seberapa kuat satu koneksi antar neuron. Model 70 miliar berarti 70 miliar angka.

Pada presisi FP16, setiap angka memakai 2 byte. Jadi 70 miliar kali 2 byte sama dengan 140 GB. Itu hanya bobotnya, belum aktivasi, belum cache key-value, belum overhead runtime. Total kebutuhan memori saat inferensi bisa dua sampai tiga kali lipat.

Analoginya sederhana. FP16 itu seperti menyimpan koordinat GPS sampai enam angka di belakang koma. Untuk navigasi sehari-hari, tiga angka sudah cukup. Tiga angka terakhir hanya penting kalau kamu ingin tahu posisi mobil sampai sentimeter. Model AI juga punya sentimeter yang jarang dipakai.

Dari FP32 ke INT4: Tangga Presisi

Presisi angka di model AI punya tangga yang jelas. Setiap langkah turun memotong ukuran setengahnya, tapi juga memotong resolusi angka.

FP32 hampir tidak pernah dipakai untuk inferensi. FP16 dan BF16 adalah standar pelatihan. INT8 dan INT4 adalah tujuan quantization.

BF16 (Brain Float 16) patut disebut khusus. Ia punya rentang eksponen yang sama dengan FP32, tapi mantissa yang lebih pendek. Artinya ia bisa menampung angka sangat besar dan sangat kecil tanpa overflow, dengan resolusi lebih kasar. Google memakai BF16 sejak 2018 untuk TPU. Sekarang hampir semua pelatihan model besar memakainya.

Dua Cara Melakukan Quantization

Ada dua pendekatan utama, dan keduanya punya konsekuensi berbeda.

Post-Training Quantization (PTQ) dilakukan setelah model selesai dilatih. Model yang sudah ada diubah presisinya tanpa melatih ulang. Ini yang paling umum, karena murah dan cepat. GPTQ, AWQ, dan GGUF semuanya adalah varian PTQ.

Quantization-Aware Training (QAT) menyisipkan simulasi quantization selama pelatihan. Model belajar hidup dengan presisi rendah sejak awal. Hasilnya lebih baik, tapi butuh infrastruktur pelatihan ulang. Sebagian besar lab besar memakai QAT untuk model yang mereka jual. Sebagian besar pengguna memakai PTQ untuk model yang mereka unduh.

Analoginya begini. PTQ itu seperti mengompres foto JPEG setelah foto diambil. QAT itu seperti memotret langsung dalam format yang lebih kecil, sehingga kamera tahu detail mana yang harus disimpan.

GPTQ, AWQ, dan GGUF: Tiga Dialek yang Sama

Tiga nama ini sering muncul bersama. Ketiganya adalah cara berbeda untuk melakukan hal yang sama, yaitu mengubah bobot FP16 jadi INT4.

GPTQ (Frantar et al., 2022) bekerja layer per layer. Ia mengukur error yang timbul dari quantization, lalu menyesuaikan bobot tetangga untuk mengompensasi. Prosesnya butuh kalibrasi pada sejumlah kecil data, biasanya beberapa ratus contoh teks. Hasilnya INT4 dengan kualitas yang cukup dekat dengan FP16.

AWQ (Lin et al., 2023) berangkat dari pengamatan bahwa tidak semua bobot sama pentingnya. Sebagian kecil bobot, sekitar 1 persen, menyimpan sebagian besar informasi. AWQ melindungi bobot-bobot itu dengan presisi lebih tinggi, sementara sisanya di-quantize agresif. Hasilnya sering lebih baik dari GPTQ pada ukuran yang sama.

GGUF adalah format file, bukan algoritma. Format ini dibuat Georgi Gerganov untuk proyek llama.cpp. Ia menyimpan bobot yang sudah di-quantize bersama metadata, dan mendukung berbagai skema (Q4_0, Q4_K_M, Q5_K_M, dan lainnya). GGUF adalah alasan model bisa dijalankan di CPU biasa, tanpa GPU.

Kenapa Model Tidak Selalu Jadi Bodoh

Pertanyaan yang wajar: kalau angkanya disederhanakan, bukankah jawabannya jadi salah?

Jawabannya bergantung pada apa yang dihilangkan. Ada dua hal yang membuat quantization bisa bekerja.

Redundansi. Model besar punya lebih banyak parameter daripada yang benar-benar dibutuhkan untuk tugasnya. Sebagian bobot menyimpan informasi yang sama dengan bobot lain. Menghapus resolusi pada bobot redundan tidak mengubah hasil, karena informasi yang sama masih ada di tempat lain.

Distribusi. Bobot model tidak tersebar merata. Sebagian besar bobot kecil, dekat dengan nol. Sebagian kecil bobot besar, dan bobot besar inilah yang menyimpan informasi penting. Quantization yang baik menjaga bobot besar tetap presisi, lalu menyederhanakan yang kecil.

Ini sebabnya model 7B yang di-quantize ke INT4 sering kehilangan lebih banyak kualitas daripada model 70B yang di-quantize ke INT4. Model kecil punya lebih sedikit redundansi, jadi setiap bit yang dihilangkan terasa.

KV Cache: Biaya Tersembunyi yang Lebih Besar

Quantization bobot saja tidak cukup. Saat model menjawab, ia menyimpan key dan value untuk setiap token yang sudah diproses, supaya tidak menghitung ulang. Cache ini, disebut KV cache, tumbuh seiring panjang percakapan.

Pada model 70B dengan context window 32K token, KV cache bisa mencapai puluhan GB. Kadang lebih besar dari bobot model itu sendiri. Quantization KV cache ke FP8 atau INT8 bisa memotong biaya ini setengahnya, dengan penurunan kualitas yang kecil.

Inilah sebabnya peladen AI modern sering memakai dua jenis quantization sekaligus: INT4 untuk bobot, INT8 untuk KV cache. Kombinasi ini yang membuat model besar bisa dijalankan di hardware yang lebih kecil.

Yang Belum Terpecahkan

Quantization bukan solusi ajaib. Tiga hal masih menjadi batasnya.

Aktivasi outlier. Sebagian kecil aktivasi, yaitu output antar-layer, punya nilai yang jauh lebih besar dari sisanya. Quantization yang seragam merusak nilai-nilai ini. Solusi seperti LLM.int8() dari Dettmers et al. (2022) memisahkan outlier ke presisi tinggi, tapi itu menambah kompleksitas.

Tugas yang sensitif. Matematika, kode, dan penalaran multi-langkah lebih sensitif terhadap quantization daripada percakapan biasa. Model yang bagus untuk chat bisa jadi buruk untuk coding setelah di-quantize ke INT4.

Evaluasi yang jujur. Benchmark standar seperti MMLU dan GSM8K sering tidak menangkap penurunan kualitas yang nyata. Model yang skornya turun 2 persen di MMLU bisa jadi jauh lebih buruk di tugas nyata. Evaluasi yang baik butuh tugas spesifik, bukan skor agregat.

Analisis: Quantization Bukan Sekadar Kompresi

Quantization sering dibaca sebagai cara membuat model lebih kecil. Itu benar, tapi bukan yang paling penting. Yang lebih penting adalah apa yang quantization ungkapkan tentang model itu sendiri. Ada tiga hal.

• Ukuran model bukan ukuran kemampuan. Model 70 miliar tidak memakai semua bobotnya secara setara. Sebagian besar bobot menyimpan informasi redundan yang bisa disederhanakan tanpa kehilangan kemampuan.
• Presisi mengungkap mutu pelatihan. Model yang dilatih dengan data berkualitas tinggi lebih tahan quantization, karena informasinya tersebar merata. Model yang rapuh saat di-quantize mungkin memang kurang dilatih.
• Quantization mengubah siapa yang bisa menjalankan AI. Sebelum quantization, menjalankan model besar berarti menyewa peladen mahal. Setelahnya, model yang sama bisa jalan di hardware yang lebih murah.

Yang sering luput: quantization membuat model lebih mudah dijalankan, tapi tidak membuatnya lebih pintar. Model yang di-quantize ke INT4 tetap model yang sama, dengan pengetahuan dan bias yang sama. Kalau model aslinya punya bias terhadap bahasa tertentu, quantization tidak menghilangkannya. Ia hanya membuat bias itu lebih murah dijalankan. Di sinilah letak pentingnya mengevaluasi model pada bahasa Indonesia secara terpisah, bukan hanya percaya pada skor benchmark berbahasa Inggris.

Angka yang Bisa dan Tidak Bisa Dikutip

Beberapa angka di atas berasal dari paper asli, beberapa dari pengukuran komunitas.

• 140 GB untuk model 70B pada FP16: hasil perkalian, bukan pengukuran.
• QLoRA membuat 65B muat di satu GPU 48 GB: diklaim Dettmers et al., 2023, dan direplikasi banyak pihak.
• INT4 memotong ukuran 4 kali: matematika, bukan klaim.
• Penurunan kualitas 1-3 persen pada INT4: tergantung model dan tugas, tidak ada angka baku.

Yang tidak punya angka baku adalah seberapa besar penurunan kualitas pada tugas tertentu, dan berapa besar penghematan listrik nyata di peladen produksi. Keduanya bergantung pada hardware, batch size, dan beban kerja.

Yang Berubah Buat Pembaca di Indonesia

Untuk pengembang kecil dan universitas di Indonesia, quantization mengubah satu hal: model yang sebelumnya butuh API berbayar kini bisa dijalankan di server sendiri.

Model 7B yang di-quantize ke INT4 butuh sekitar 4 GB VRAM. Itu muat di kartu grafis konsumen kelas menengah. Model 70B yang di-quantize ke INT4 butuh sekitar 35 GB, yang masih bisa dijalankan di satu workstation dengan dua kartu grafis 24 GB.

Tapi ada syaratnya. Model yang di-quantize tetap butuh data yang baik. Model 7B yang dilatih pada data berkualitas rendah tidak akan jadi pintar hanya karena dijalankan dengan presisi penuh. Sebaliknya, model 7B yang dilatih dengan baik dan di-quantize ke INT4 bisa cukup untuk tugas kantor sehari-hari.

Pertanyaan yang perlu dijawab sebelum memilih: tugas apa yang sebenarnya dikerjakan, dan apakah model kecil yang dijalankan sendiri cukup, atau tugasnya butuh model besar yang hanya bisa diakses lewat API.