LoRA: Latih Ulang Model Besar Tanpa Salin Semua Bobot

Pada 2021, cara melatih ulang model bahasa besar berubah arah. Alih-alih menyalin seluruh bobot lalu dilatih ulang, bobot itu dibekukan dan yang dilatih cuma sisipan kecil. Dua tahun kemudian, bobot itu juga dikompresi menjadi kuantisasi 4-bit. Digabung, keduanya membuat model 65 miliar parameter bisa dilatih di satu kartu GPU 48 GB. Ini penjelasan mekanisme, bukan laporan perilisan. Untuk tim kecil, perubahan paling terasa bukan pada tagihan, melainkan pada siapa yang boleh bereksperimen.

2021: Bekukan Bobot Asli, Latih Sisipan Kecil

LoRA berarti Low-Rank Adaptation of Large Language Models. Itu judul makalah Edward J. Hu bersama Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, dan lima rekan lain. Versi pertama muncul di arXiv pada Juni 2021, lalu terbit di ICLR 2022.

Ide kerjanya satu kalimat: bobot lama dibekukan, lalu di setiap lapisan ditambahkan selisih matriks yang bisa dilatih. Selisih itu tidak disimpan penuh, karena dihitung dari dua matriks yang jauh lebih pipih. Perubahan pada bobot tetap bisa ditulis sebagai perkalian dua matriks kecil itu.

Awal latihan dirancang supaya model tidak melompat. Satu matriks diisi acak, satu lagi diisi nol, sehingga perubahan awalnya benar-benar nol. Setelah itu, keluarannya dikalikan faktor alpha per r, supaya hyperparameter tidak perlu disetel ulang setiap kali r berubah.

Bayangkan bobot model seperti tembok beton yang sudah jadi dan sudah dicat. Dulu, untuk mengubah sedikit saja, kita harus membongkar tembok itu. LoRA menempelkan panel tipis yang bisa dilepas lagi kalau mau pindah tugas.

Pada GPT-3 175B, jumlah parameter yang dilatih turun sepuluh ribu kali dan kebutuhan memori GPU turun tiga kali. Makalah itu juga menyebut anggaran 18 juta parameter, sekitar 35 MB dalam FP16, untuk seluruh 96 lapisan. Setara rank 8 untuk satu jenis bobot atensi, atau rank 4 untuk dua jenis. Setelah dilatih, sisipan itu bisa dijumlahkan langsung ke bobot asli. Setelah itu, model berjalan seperti biasa tanpa tambahan biaya saat dipakai.

Kenapa Matriks Berorde Rendah Cukup

Orde rendah di sini bukan jargon kosong. Artinya matriks itu cuma punya beberapa arah informasi yang kuat, sementara arah lain nyaris nol. Temuan mengejutkan pada 2021: perubahan yang dibutuhkan model ternyata punya orde yang sangat kecil.

Makalah itu menguji rank dari 1 sampai 64 pada dua dataset, dengan dua matriks atensi yang disesuaikan. Untuk WikiSQL, rank 1 sudah mencapai 73,4 persen, lalu rank 8 naik ke 73,8. Untuk MultiNLI, angkanya bergerak dari 91,3 di rank 1 ke 91,6 di rank 8. Naik ke rank 64 tidak menambah apa pun.

Angka ini dari Tabel 6 makalah LoRA, diuji pada GPT-3 175B. Jadi rank bukan tombol yang harus dinaikkan terus. Terlalu kecil, kapasitas adaptasinya tidak cukup untuk tugas yang rumit. Terlalu besar, memori dan risiko overfitting naik tanpa banyak untung. Rentang yang paling sering dipakai orang berada di antara 8 sampai 64. Itu kebiasaan praktis, bukan angka yang ditetapkan makalah.

Leher Botol yang Lahir Dua Tahun Lebih Dulu

Jalur menuju LoRA tidak dimulai tahun 2021. Tahun 2019, tim Neil Houlsby mempublikasikan makalah Parameter-Efficient Transfer Learning for NLP di ICML. Mereka menyisipkan modul kecil dua kali di setiap lapisan Transformer.

Modul itu bekerja seperti botol berleher sempit: masuk lewat dimensi kecil, lalu kembali lebar. Jumlah parameter per lapisan cuma 2md ditambah d ditambah m, dengan m jauh lebih kecil dari d. Pada praktik, tambahan itu sekitar 0,5 sampai 8 persen dari ukuran model asli. Pada benchmark GLUE, jaraknya cuma 0,8 persen dari full fine-tuning, padahal parameter per tugas cuma 3,6 persen.

Masalahnya ada di sisi inferensi: tiap lapisan kena dua perkalian matriks tambahan. Inilah alasan LoRA menawarkan janji yang lebih kuat. Sisipannya bisa dilebur ke bobot, jadi biaya jalannya model tidak bertambah.

Istilah payung untuk semua pendekatan seperti ini disebut parameter-efficient fine-tuning. Adapter dari 2019 adalah pendahulunya. LoRA adalah versi yang menang, karena tidak menambah beban di jalur inferensi.

QLoRA 2023: Bobot Empat-Bit yang Tetap Bisa Dilatih

Tahun 2023, tim Dettmers menurunkan satu tingkat lagi. Makalah QLoRA menyimpan bobot model dasar dalam bentuk 4-bit, sementara perhitungan tetap berjalan di presisi bfloat16.

Rahasianya ada di tiga detail kecil. NF4 adalah tipe data 4-bit yang paling pas untuk bobot yang tersebar normal. Kuantisasi ganda menguantisasi ulang konstanta kuantisasi, menghemat sekitar 0,37 bit per parameter. Untuk model 65 miliar parameter, penghematan itu sekitar 3 GB. Paged optimizers memindahkan lonjakan memori ke unified memory NVIDIA.

Hasilnya turun dari lebih dari 780 GB menjadi kurang dari 48 GB, cukup untuk satu GPU. Ini angka dari makalah itu sendiri, bukan perkiraan pihak lain. Angka ini sering disebut ulang jadi model 70 miliar, padahal angka eksperimennya 65 miliar. Selisihnya kecil, tapi penting, karena angka yang keliru dipakai jadi alasan menyatakan sesuatu terlalu mahal.

Yang penting: hemat memori itu tidak mengorbankan hasil. Pada MMLU, NF4 dengan kuantisasi ganda mencapai 53,1, sementara baseline bfloat16 mencapai 53,0. Versi FP4 tertinggal sekitar satu poin di bawahnya. Keluarga Guanaco dilatih dengan lebih dari seribu model dan delapan dataset instruksi. Model terkecilnya, 7 miliar parameter, cuma butuh 5 GB untuk dijalankan.

Kenapa Full Fine-Tuning Boros Memori

Full fine-tuning mengubah semua bobot, jadi semua bobot itu butuh ruang, gradien, dan status pengoptimal. Adam menyimpan momentum dan variance, dua salinan tambahan untuk tiap parameter yang dilatih. Hitungan kasarnya begini: 65 miliar parameter dalam FP16 saja sudah 130 GB. Makalah QLoRA menyebut kebutuhan rata-rata untuk model sebesar itu lebih dari 780 GB. Makna dari selisih itu jelas: status pengoptimal jauh lebih besar daripada bobotnya sendiri.

Bayangkan gudang yang menyimpan barang, lalu menyewa gudang kedua khusus untuk daftar isinya. Barangnya cuma satu lapis, tapi daftar isinya bisa beberapa kali lebih tebal. Efeknya, jumlah parameter yang dilatih dan status pengoptimal ikut anjlok. Sisi itu yang bikin LoRA ringan.

LoRA memangkas sisi ini karena status pengoptimal cuma dibuat untuk parameter sedikit itu. Makalah LoRA sendiri mencatat bahwa full fine-tuning model 11 miliar ke atas butuh lebih dari satu server GPU besar. Jadi bukan hanya besar kecilnya model, tapi jumlah mesinnya.

Fine-Tuning Itu Bukan RAG

Kesalahpahaman paling sering muncul di sini. Banyak orang mengira fine-tuning dan RAG melakukan hal yang sama. Keduanya beda tujuan: fine-tuning mengubah perilaku, RAG menambah fakta.

Fine-tuning berguna untuk nada bicara, format jawaban, istilah khusus, dan kepatuhan pada format. RAG berguna untuk angka terbaru, dokumen internal, dan apa pun yang berubah setelah latihan.

Bayangkan koki di dapur. Fine-tuning itu melatih ulang koki soal tata cara: cara menyapa, memotong, dan menyajikan. RAG itu memberi koki menu baru setiap shift, tanpa perlu latihan ulang sama sekali.

Percakapan soal model yang lebih pintar membuat keduanya sering disamakan. Pembeda yang paling jarang disebut: biayanya. RAG bisa dihapus besok, fine-tuning tidak bisa dilepas begitu saja. Memakai fine-tuning untuk fakta hampir selalu pilihan yang salah.

Bahaya Menghafal Fakta dengan Cara yang Salah

Kalau sebuah fakta ikut dilatih, fakta itu jadi bagian dari bobot. Bobot tidak punya tanggal kedaluwarsa. Data yang berubah tahun depan tetap melekat di sana. Perbandingannya begini: dokumen yang ditarik saat menjawab selalu versi terbaru, karena sumbernya dibaca saat itu juga.

Model yang banyak dilatih untuk mengingat cenderung lebih cepat mengeluarkan pola yang dihafalnya. Pengambilan dari sumber luar selalu punya langkah verifikasi di tengahnya. Penghapalan tidak punya langkah itu.

Jadi halusinasi bukan semata urusan model yang bodoh. Kadang itu pilihan cara latihan yang salah, karena kita mengajari model untuk mengingat, bukan untuk mengecek. Catatan ini bukan hasil satu eksperimen tunggal, dan tidak ada satu angka tunggal yang menyelesaikannya.

Ini masih konsisten dengan cara kerja model pada umumnya. Ambil contoh nyata: nomor layanan pelanggan berubah sesekali. Nomor itu selalu lebih mudah disalin ke dokumen eksternal daripada dihafal model. Lalu ada orang tetap bertanya ke model dulu, karena jawabannya keluar lebih cepat.

Analisis: Siapa yang Sekarang Bisa Eksperimen

Sebelum 2021, mencoba penyesuaian model berarti menyiapkan mesin sendiri. Setelahnya, syaratnya turun ke satu GPU bekas atau satu kartu 24 GB di meja kerja. Itu bukan detail teknis. Itu mengubah siapa yang boleh melakukan percobaan.

Empat hal yang biasanya luput disebut ketika orang membicarakan LoRA:

• Matriks LoRA bisa digabung ke bobot dasar, jadi biaya menjalankan model tidak bertambah.
• Satu bobot dasar bisa dilayani banyak adapter sekaligus, masing-masing untuk satu tugas.
• Adapter hasil pelatihan ukurannya kecil, jadi gampang dibagikan dan diulang.
• Belajar jadi mahal kalau satu percobaan mahal, dan murah membuat orang mengulang lebih sering.

Titik keempat itu yang paling menentukan. Ilmu soal model bahasa banyak bergerak karena terlalu sedikit percobaan yang gagal dengan cara murah. Kebanyakan biaya yang pernah muncul bukan di jalur inferensi, tapi di percobaan yang salah arah. Kalau satu iterasi memakan satu pekan, orang biasanya cuma mencoba dua kali sebelum menyerah. Kalau satu iterasi memakan satu malam, orang mencoba sepuluh kali. Itu perubahan yang lebih besar daripada penghematan memorinya.

Perlu ada catatan jujur di sini. Fine-tuning tidak murah, dan kualitas data tetap menentukan hasil. GPU bekas yang murah tidak menutupi contoh data yang berantakan.

Angka yang Perlu Dibaca Hati-hati

Satu catatan lisensi yang sering terlewat. Model open-weight datang dengan beragam lisensi, dari yang bebas komersial sampai yang membatasi distribusi ulang. Aturan lisensi mengikuti model dasarnya, dan turunan hasil latihan ikut terbawa. Jadi mengunduh adapter milik orang lain tidak otomatis membebaskan aturan itu.

Soal angka, angka tentang berapa GPU yang dibutuhkan untuk model tertentu sering diulang tanpa sumber. Angka di sini diambil dari dua makalah aslinya. Perbandingan biaya GPU di pasar berubah cepat, jadi angka pasar sengaja tidak dicantumkan. Parameter count model open-weight yang beredar juga tidak selalu sama antar versi.

Yang tersisa cuma satu pertanyaan yang belum terjawab. Kalau adaptasi cuma butuh sedikit parameter, apakah masih ada gunanya menyalin bobot utuh? Pada 2021, jawabannya jelas: sebagian besar bobot itu tidak pernah berubah. Jawaban itu masih berlaku per 2026, dan belum ada makalah yang membatalkannya.