Kenapa AI Pakai GPU: Dari CUDA 2007 ke AlexNet 2012

Jawabannya bukan soal GPU lebih pintar. Kecerdasan buatan memakai GPU karena cara melatih jaringan saraf berlawanan dengan cara kerja processor biasa.

Pada 2012, AlexNet dari Alex Krizhevsky, Ilya Sutskever, dan Geoffrey Hinton menang kompetisi ImageNet dengan selisih yang gila. Error top-5 mereka 15,3 persen. Peringkat kedua berhenti di 26,2 persen. Model itu dilatih di dua kartu CUDA di Toronto.

Lima tahun sebelumnya, yaitu 2007, posisi GPU jauh berbeda. Chip itu hanya bisa diprogram lewat bahasa shader mirip C. Programmer juga harus memindahkan data antara memori video dan memori CPU secara manual.

2007: Tahun GPU Dapat Bahasa Sendiri

CUDA dibuat publik pada Februari 2007. Sebelumnya, memakai GPU di luar gambar dan game terasa seperti melukis menu. Mau mendapat satu matriks saja, programmer harus memalsukan hasil hitungan sebagai tekstur. Lalu dia menjalankan program itu lewat API grafis, dan membaca piksel hasilnya satu per satu. Semua itu hanya untuk mendapat beberapa ratus baris angka.

Yang tidak bisa dilakukan dulu adalah menulis satu blok kode C, lalu menjalankan ribuan inti sekaligus. CUDA menghapus hambatan itu. Kode ditulis dengan sintaks mirip C, lalu programmer menunjuk berapa banyak thread yang jalan bersamaan. Hardware-nya tidak berubah secara mendasar. Yang berubah jalur masuknya.

Perubahan ini datang dari Ian Buck, mahasiswa doktor di Stanford, dan John Nickolls. Buck sebelumnya membangun Brook, bahasa eksperimen untuk komputasi umum di GPU. NVIDIA merekrut Buck pada 2004, lalu Brook berubah menjadi CUDA.

Bayangkan kamu butuh menghitung luas 10.000 bidang tanah. Lewat API grafis, kamu menggambar hasilnya di layar, membaca ulang tiap piksel, baru menghitung. Lewat CUDA, kamu menulis perintahnya seperti di C biasa, lalu ribuan core menghitung sendiri.

2009: Bukti Pertama yang Dipublikasikan

Pada Juni 2009, Rajat Raina, Anand Madhavan, dan Andrew Ng dari Stanford menerbitkan makalah di ICML. Judulnya "Large-scale Deep Unsupervised Learning using Graphics Processors", dan isinya angka, bukan klaim.

Mereka memakai satu kartu GeForce GTX 280 dengan 240 core. Pembelajaran deep belief network di sana sampai 70 kali lebih cepat dibanding CPU dua inti. Model dengan 45 juta parameter bisa diperbarui sekitar 29 menit untuk sejuta contoh. Pada CPU multicore, pekerjaan yang sama butuh lebih dari sehari.

Bayangkan menghitung nilai rapor kelas. Cara lama membaca satu nama demi satu nama, baru menjumlah. Cara GPU memindai seluruh halaman sekaligus, lalu menilai. Hasilnya bukan lima persen lebih cepat. Itu lompatan orde besaran.

Yang berubah bukan cuma kecepatan. Yang berubah adalah siapa yang boleh punya model besar. Kalau satu kartu sudah cukup untuk model yang layak, ukuran model berhenti jadi keputusan yang dibatasi biaya.

2012: AlexNet dan Lembahnya

ImageNet memuat lebih dari 15 juta gambar berlabel dalam sekitar 22.000 kategori. Kompetisi ILSVRC dimulai pada 2010, dengan 1,2 juta gambar latihan dan 150.000 gambar uji.

Tim Krizhevsky dan Hinton mengirimnya sebagai SuperVision pada 30 September 2012. AlexNet punya delapan lapis, sekitar 60 juta parameter, dan 650.000 neuron. Pelatihannya memakan waktu lima sampai enam hari di dua kartu GeForce GTX 580 sebesar 3 GB.

Penyebabnya praktis, bukan dramatis. Satu kartu GTX 580 cuma punya 3 GB memori, jadi jaringan sebesar itu tidak muat di sana. Tim membagi jaringan itu ke dua GPU. Paper-nya mencatat pemisahan ini menurunkan error top-1 sebesar 1,7 persen dan top-5 sebesar 1,2 persen.

Yang lebih menentukan datang dari interconnect. Kedua GPU itu bisa membaca dan menulis memori masing-masing secara langsung, tanpa lewat memori CPU. Pada masa itu, setiap perpindahan data jadi antrean yang memperlambat seluruh perhitungan.

Angka di grafik itu error top-5 pemenang ILSVRC tiap tahun. Sumber untuk 2010 dan 2011 ada di grafik paper Deep Residual Learning tahun 2015. Angka 2012 diambil dari paper AlexNet langsung, yaitu 15,3 persen pada data uji. Pola geraknya jelas. Dua tahun pertama bergerak nyaris datar. Tiga tahun berikutnya turun tiap tahun tanpa jeda.

Kenapa Ribuan Core Kecil Justru Lebih Kuat

Processor biasa menyisakan banyak bagian transistor untuk cache besar dan prediksi cabang. Misi utamanya satu, yaitu menyelesaikan satu instruksi besar secepat mungkin. GPU memakai sebaliknya. Cache GPU sengaja kecil, logika kendalinya sengaja sederhana, dan sisanya untuk penghitung. Kesepakatan itu terasa aneh kalau kamu cuma kenal satu jenis processor.

Melatih jaringan saraf hampir sepenuhnya berisi perkalian matriks. Dalam satu perkalian matriks, tiap elemen keluaran berdiri sendiri. Ribuan operasi kecil yang identik bisa jalan bareng tanpa saling menunggu.

Jujur soal satu hal. Backpropagation memang berjalan berurutan antar-lapis. Urutan itu ada di antara lapis, bukan di dalam perkalian matriks. Jadi yang diparalelkan justru lapisan paling berulang dari pekerjaan itu.

Bayangkan dapur katering untuk seribu tamu. Processor itu satu koki master. Dia masak satu hidangan dengan hasil bagus, tapi hanya satu. GPU punya ribuan koki apprentice yang sama binggunya. Masing-masing cuma mengulek satu bahan sederhana. Hasilnya lebih banyak, dan itu memang yang dibutuhkan.

Kendala kedua sering bukan hitungan, tapi pemindahan data. Bobot model harus sampai ke semua core tanpa antre. Kalau jalannya sempit, menambah core justru tidak menambah laju. Inilah alasan interconnect punya jalur khusus, terpisah dari jalur ke CPU.

GPU, TPU, dan NPU: Tiga Hewan Berbeda

Komputer yang umum memakai GPU karena tugasnya beragam. TPU milik Google dibuat khusus untuk perkalian matriks besar. NPU adalah versi chip itu yang menempel di dalam ponsel atau laptop. Itu hemat daya, tapi cakupannya sempit.

Perbedaannya bukan kekuatan mentah, melainkan fleksibilitas. GPU bersifat umum dan bisa dipakai apa saja selama pustakanya ada. TPU dan NPU hanya cepat pada tugas yang memang mereka rancang. Karena itu keduanya dipakai berdampingan, bukan saling menggantikan.

Tugas AI modern didominasi perkalian matriks, jadi chip khusus itu memang unggul di depan. Tapi begitu butuh fitur baru, adapter kecil saja sudah bikin kamu menunggu. Jadi pertanyaan GPU atau TPU jarang berdiri sendiri.

Analisis Angka: Tensor Core, NVLink, dan Pendinginan Cair

Empat angka ini menjelaskan pergeseran setelah 2012. Semuanya berasal dari dokumen resmi, bukan dari perkiraan.

Pada 2017, arsitektur Volta dari NVIDIA memperkenalkan Tensor Core. Kartu V100 punya 640 Tensor Core dan mencapai 120 TFLOPS untuk deep learning. Masukan FP16, penjumlahan FP32, jadi presisi tetap terjaga tanpa mengorbankan laju. Untuk pelatihan, whitepaper Volta menyebut hingga 12 kali lebih tinggi dari P100 pada FP32. Untuk inferensi, enam kali di atas FP16 di P100.

Pada 2016, NVLink masuk lewat Pascal P100. Setiap GPU dapat 160 GB/s dua arah, sekitar lima kali PCIe Gen3 x16. Dokumen DGX-1 mencatat hal yang lebih penting daripada angkanya. Pelatihan ResNet-50 dengan batch 64 di delapan GPU lewat PCIe hanya mencapai efisiensi di bawah 35 persen. Topologi NVLink yang sama mencapai sekitar 54 persen.

Lalu ada pendinginan. Chip AI memanas tinggi, dan rak yang padat tidak lagi cukup dilayani udara. Survei Cooling Systems Uptime Institute tahun 2024 mencatat 22 persen operator sudah memakai pendinginan cair. Sebagian besar operator menaruh ambang perpindahan di atas 20 kW per rak. Itu pendapat responden, bukan hasil pengukuran. Angka PUE khas untuk rak AI belum dipublikasikan sebagai satu angka baku.

Status angkanya perlu jujur. Angka 2012 dan 2018 berasal dari dokumen NVIDIA sendiri, jadi itu klaim pihak yang menjual. Angka 22 persen berasal dari survei independen dengan 964 responden. Angka PUE per rak AI belum punya angka baku yang bisa dikutip.

Buat pembaca di Indonesia, satu pertanyaan praktis muncul di sini. Seberapa jauh selisih antara rak mahal dan rak seadanya, setelah biaya pendinginan ikut masuk?

Konteks Nyata Buat Tim Kecil di Indonesia

Banyak tim di Indonesia tidak butuh melatih model sebesar milik laboratorium besar. Mereka butuh menjalankan model milik orang lain dengan biaya yang masuk akal. Nah, di sinilah dua keputusan paling menentukan muncul.

• Pilih bobot terbuka, bukan model tertutup. Bobot terbuka bisa diunduh, diukur, dan di-host sendiri.
• Gunakan kuantisasi. FP16 butuh 2 byte per bobot, INT8 butuh 1 byte, INT4 butuh setengah byte.
• Hitung kebutuhan memori lebih dulu, baru pilih GPU.
• Sewa per jam, jangan beli. Harga sewa berubah tiap bulan dan berbeda antar penyedia.

Kuantisasi itu seperti menyimpan foto berwarna sebagai hitam-putih. Kualitas turun sedikit, tapi ukuran dan biaya listrik turun banyak. Untuk sebagian besar pekerjaan kantor, penurunan kecil itu tidak terasa.

Contoh hitungannya sederhana. Model dengan 70 miliar parameter butuh sekitar 140 GB hanya untuk bobotnya pada FP16. Pada INT8 turun jadi sekitar 70 GB, dan pada INT4 sekitar 35 GB. Angka itu hasil perkalian, bukan hasil pengujian.

Yang perlu dihindari adalah mengarang angka harga. Harga sewa GPU di tiap penyedia berubah, dan selisih antarnegara bisa besar. Angka yang beredar di grup WhatsApp sering berasal dari harga lama. Yang benar: buka halaman harga penyedia, catat, lalu hitung sendiri.

Angka yang Belum Terpublikasi

Jujur soal ini, supaya tidak ada yang salah baca angka di atas. Tiga hal belum punya angka baku yang bisa dikutip.

• Nilai PUE khas rak AI. Nilainya ikut berubah menurut pendinginan, beban kerja, dan lokasi.
• Harga sewa GPU di Indonesia. Berbeda per penyedia dan berubah tiap bulan.
• Penghematan nyata dari kuantisasi. Bergantung model, tugas, dan cara mengukurnya.

Ketiganya bukan hal yang langka. Banyak laporan teknis berhenti tepat sebelum angkanya. Itu tanda angka tersebut memang milik tiap operator, bukan milik industri. Kebijakan rak juga berbeda antar penyedia, jadi angkanya memang tidak bisa disamakan.

Penutup

Jadi pertanyaan kenapa AI memakai GPU punya jawaban yang tidak berubah sejak 2012. Ribuan operasi kecil yang tidak bergantung satu sama lain, dijalankan di atas ribuan core. AlexNet membuktikan itu di atas dua kartu, bukan di atas satu.

Pada 2018, DGX-2 sudah bisa melatih AlexNet dalam 18 menit. Angka itu dari pihak yang menjual, dan tetap layak dibaca sebagai arah perubahan.

Pertanyaan sekarang bukan lagi apakah GPU berguna. Pertanyaan berikutnya kapan sebuah pekerjaan tidak lagi bisa dipecah menjadi ribuan potongan kecil.