Satu Model atau Banyak Model: Apa Bedanya Arsitektur Multimodal

Dua cara berbeda menangani beberapa jenis input

Sistem multimodal modern biasanya dibangun dengan salah satu dari dua pola. Yang pertama disebut pipeline: setiap jenis input punya modelnya sendiri, lalu hasilnya diteruskan ke tahap berikutnya. Yang kedua disebut unified, atau omni: satu jaringan memproses teks, gambar, audio, dan video dalam satu alur yang sama.

Perbedaannya bukan sekadar soal teknis. Unified membuat satu representasi dari semua modality, sehingga model yang sama bisa menulis tentang gambar atau menjelaskan video tanpa tahap penerjemahan terpisah.

Gemini 3.5: multimodal dan agentik dalam satu sistem

Pada 1 Oktober 2026, Google memperkenalkan Gemini 3.5 Flash, yang diklaim sebagai model dengan level enterprise, agentic, dan multimodal. Klaim yang menarik bukan pada kata "multimodal", karena itu sudah umum, melainkan pada axios bahwa beberapa kemampuan datang dalam satu paket.

Yang lebih menarik justru cara Google mendokumentasikan hasilnya. Postingan resmi bulan itu menyatakan bahwa model ini mencapai 77,9 persen di DeepSWE, dan klaim lain dari Moonshot mencatat selisih sekitar 12 poin terhadap model lain pada benchmark yang sama. Angka sebesar ini biasanya berasal dari konfigurasi khusus, bukan dari default yang dipakai pengguna. Status angka ini: belum terverifikasi, karena yang ada hanyalah klaim perusahaan, bukan hasil uji pihak ketiga.

Konsekuensi praktisnya jelas. Kalau vendor mengukur kemampuan agentik dan multimodal sekaligus, angka yang keluar tidak bisa dibandingkan langsung dengan model yang hanya diuji di salah satu bidang. Ini alasan lain kenapa perbandingan antar model selalu perlu dilihat metodenya.

Reka Rho-1: discrete token bertemu continuous state

Pada awal Oktober 2026, Reka memperkenalkan model Rho-1 dengan pendekatan yang berbeda dari model multimodal umumnya.

Catatan status: belum terverifikasi. Detail arsitektur Rho-1 di sini disusun dari materi prarilis Reka. Konsep continuous token, dua bagian transformer yang berbagi KV cache, dan klaim performa yang menyertainya belum diuji ulang pihak ketiga, dan rilisnya masih berstatus pratinjau awal. Alih-alih mengubah gambar menjadi discrete token seperti yang dilakukan model vision-language umumnya, Rho-1 menyimpan informasi visual sebagai continuous token di dalam state internal model.

Arsitekturnya punya dua bagian transformer yang berjalan bergantian. Satu bagian memproses input bahasa dan menuliskan instruksi. Bagian lain fokus pada informasi visual. Keduanya berbagi satu KV cache yang sama, sehingga konteks visual tidak harus disalin ke ruang bahasa.

Konsekuensinya bukan cuma kecepatan. Continuous token lebih sulit dikompresi, sehingga model dengan jumlah parameter lebih kecil masih bisa menyimpan detail visual yang hilang saat dikompresi menjadi token diskret. Ini alasan sebagian tim menemukan bahwa model yang secara parameter lebih kecil bisa menunjukkan performa multimodal yang setara dengan model yang lebih besar.

Analisis: di mana pipeline masih menang

Pipeline bukan technology usang. Untuk banyak kasus produksi, pola ini masih lebih rapi dan lebih mudah dikendalikan.

Perbedaannya bisa dijelaskan dengan satu pertanyaan: apakah masalah Anda butuh model yang benar-benar memahami kedua jenis input sekaligus, atau cukup dua model yang saling mengoper data?

Tiga hal tambahan yang tidak ada di sumber aslinya. Pertama, biayanya berbeda lebih dari yang terlihat. Pipeline dengan tiga model kecil bisa dijalankan berurutan, dan tahap yang lambat tidak membuat tahap lain ikut melambat karena tidak berbagi konteks. Unified harus membawa seluruh konteks visual sekaligus, jadi satu tahap lambat menahan semuanya. Kedua, cache menentukan ekonomi. Pada pipeline, cache tiap model bisa dibuang setelah tahap selesai. Pada unified, satu KV cache besar harus bertahan selama percakapan, dan itulah bagian termahal. Ketiga, tingkat kegagalan berbeda. Pipeline memberi titik pemeriksaan di setiap sambungan; kalau outputnya aneh, mudah ditunjuk tahap mana penyebabnya. Unified lebih sulit, karena kesalahan bisa muncul dari interaksi antara visual dan bahasa, bukan dari satu tahap tunggal.

Tabel tambahan ini disusun dari perbandingan yang bisa diuji sendiri:

Kalau jawabannya "cukup saling mengoper", pipeline hampir selalu lebih murah. Kalau jawabannya "perlu memahami sekaligus", seperti agent yang harus memutuskan berdasarkan apa yang terlihat dan apa yang didengar, unified punya keunggulan yang tidak bisa didapat dengan menyatukan dua model terpisah.

Kenapa unified belum berarti unified menang

Pernyataan "multimodal sudah menyatu" sering muncul padahal ada dua hal yang masih terpisah.

Pertama, input sudah menyatu, tapi output belum tentu. Banyak sistem yang menerima gambar sebagai input tapi tetap hanya menghasilkan teks. Itu multimodal dalam arah satu, bukan omni dalam arah penuh.

Kedua, biayanya nyata. Model unified biasanya punya satu jaringan yang harus belajar lebih banyak: teks, visual, audio, video. Kapasitas yang sama dibagi ke lebih banyak modality. Untuk model kecil, ini sering berarti performa per modality menurun dibanding model yang hanya fokus pada satu modality dengan parameter yang sama.

Yang perlu dipantau

Pertama, apakah tim independen mulai menguji model unified pada tâche campuran, bukan hanya pada satu modality. Tanpa itu, klaim omni tetap sulit dibuktikan.

Kedua, apakah model open-weight mulai melepas arsitektur unified yang stabil. Contoh open seperti Qwen-VL dan MiniCPM sudah menggabungkan vision dan language, tapi audio dan video masih jarang disertakan dalam paket yang benar-benar open.

Ketiga, apakah biaya inferensi unified turun drastis. Saat ini biaya attention pada konteks multimodal adalah penyebab utama yang membuat model unified mahal. Perbaikan arsitektur di sini lebih berdampak ke biaya daripada peningkatan skor beberapa poin di benchmark.

Riwayat singkat: dari pipeline ke unified

Pola pipeline bukan peninggalan era lama. Ia tumbuh justru karena pusat data harus bekerja. Ketika sebuah tim butuh membaca dokumen, mencari di dalamnya, lalu merangkum, cara paling murah adalah menjalankan model kecil untuk masing-masing tugas secara berurutan. Model besar untuk semuanya berarti biaya yang tidak masuk akal untuk pekerjaan yang sering diulang ribuan kali per hari.

Beralih ke unified terjadi karena ada tugas yang pipeline tidak bisa selesaikan dengan baik. Jika sebuah sistem harus memutuskan tindakan berdasarkan apa yang dilihat dan apa yang didengar sekaligus, maka informasi harus berada di satu tempat. Melewatkannya dari satu model ke model lain selalu kehilangan informasi di batasnya: deskripsi tekstual dari gambar tidak pernah seakurat informasinya.

Yang baru, pola unified mulai masuk ke model yang lebih kecil dari yang biasanya orang kira. Model 3B sampai 7B sekarang bisa menerima gambar dan teks di satu konteks, dan pada beberapa tugas sederhana performanya mendekati model yang dua kali lebih besar. Ini perubahan yang lebih penting daripada model frontier apa pun, karena jumlah pemakaian nyata berada di kelas bawah, bukan di atas.

Analisis tambahan: biaya nyata di kedua pola

Perbandingan biaya tidak bisa dibaca dari spesifikasi. Yang menentukan adalah tiga hal: berapa kali konteks diproses ulang, berapa lama cache bertahan, dan apakah tahap bisa berjalan paralel.

Pada pipeline, tagline ini sederhana: kalau tahap pertama selesai, tahap kedua bisa langsung mulai. Pada unified, tidak ada pemisahan itu. Konteks visual harus masuk sebelum bahasa bisa digenerate, jadi satu input besar menentukan seluruh biaya.

Implikasi praktisnya: kalau pekerjaan Anda bisa dipecah menjadi langkah-langkah yang jelas, pipeline hampir selalu menang secara biaya. Kalau pekerjaan itu menuntut penilaian yang melihat beberapa jenis input sekaligus, unified jauh lebih sulit digantikan.

Dua kesalahan yang sering terjadi

Kesalahan pertama adalah mengira satu model besar selalu lebih baik daripada beberapa model kecil. Untuk tugas dengan langkah jelas, pipeline tiga model kecil bisa menalpai satu model besar dengan biaya sepersekian. Yang menentukan adalah apakah langkahnya bisa dipisah, bukan apakah kelihatannya mengilhankan.

Kesalahan kedua adalah mengira unified membuat semua modality setara. Model unified sering paling kuat di teks, cukup baik di gambar, dan jauh lebih lemah di audio atau video. Provider biasanya menahan dukungan video karena biayanya paling tinggi, bukan karena kemampuannya paling matang.

Angka yang perlu diperiksa statusnya

Klaim "77,9 persen di DeepSWE" pada Gemini 3.5 adalah angka yang perlu dibaca statusnya. Angka itu dari pengujian Google sendiri, dan selisih sekitar 12 poin terhadap model lain pada benchmark yang sama tidak otomatis berarti satu model lebih pintar. Yang perlu dicari adalah apakah konfigurasinya sama, apakah test-nya sama, dan apakah hasilnya sudah diverifikasi pihak ketiga.

Angka dari Reka juga perlu dibaca sama: klaim distilasi Rho-1 yang mengubah 99 langkah menjadi 8 langkah berasal dari pengujian vendor sendiri. Secara teknis mungkin, menarik, dan belum diverifikasi independen.