CEO Vercel Guillermo Rauch tentang Perjuangan Memisahkan Model dari Agen

Enam juta deployment per hari. Setengahnya dipicu oleh agen coding. Satu triliun token mengalir melalui infrastruktur Vercel setiap 24 jam. Ketika Guillermo Rauch duduk untuk berbicara tentang AI dalam produksi, dia tidak hanya berteori — dia membaca dari telemetri langsung. Dalam wawancara TechCrunch terbaru setelah konferensi ShipNYC Vercel, Rauch menguraikan argumen tajam yang menyentuh inti ke mana infrastruktur AI menuju: model dan agen perlu dipisahkan, dan developer yang memahami hal ini terlebih dahulu akan membangun sistem yang benar-benar bertahan dalam produksi.

Percakapan ini penting jauh melampaui roadmap Vercel sendiri. Bagi developer di seluruh Asia — yang mengirim produk dengan cepat, memantau biaya dengan ketat, dan semakin banyak membangun produk AI-native untuk pasar yang bergerak dengan kecepatan berbeda dari Silicon Valley — framing Rauch menawarkan lensa praktis untuk berpikir tentang arsitektur agen saat ini.

Apa yang Terjadi

CEO Vercel Guillermo Rauch tentang perjuangan memisahkan model dari agen bukan hanya headline yang catchy. Ini menggambarkan ketegangan arsitektur nyata yang menurut Rauch menjadi jelas setelah Vercel melampaui fase prototyping dan mulai menjalankan agen dalam skala besar di dalam organisasinya sendiri.

Menurut wawancara TechCrunch, tahun lalu adalah tentang prototyping — "bebaskan agen, semua orang bisa membangun." Vercel menerapkan ratusan agen secara organik di seluruh perusahaan dan belajar dengan cepat. Pelajaran sulit datang ketika agen-agen itu masuk ke produksi. Wawasan utama Rauch: ketika Anda mengoptimalkan untuk produksi, Anda segera mulai melihat price-to-performance. Itu memaksa pertanyaan yang paling tim lewatkan selama fase prototype — apakah model dan logika agen benar-benar harus digabungkan?

Argumen untuk memisahkan mereka sangat sederhana. Agen adalah loop: ia mempersepsikan konteks, memutuskan tindakan, menjalankannya, dan mengulangi. Model hanya komponen penalaran di dalam loop itu. Ketika mereka tightly coupled — ketika agen Anda pada dasarnya adalah wrapper di sekitar API model tertentu — Anda kehilangan kemampuan untuk menukar model saat lanskap berubah, mengoptimalkan biaya per tipe tugas, atau merutekan ke model yang lebih murah dan cepat untuk subtask yang lebih sederhana tanpa menulis ulang logika agen Anda.

AI gateway Vercel, yang sekarang memproses lebih dari 1 triliun token setiap hari, adalah sebagian jawaban untuk masalah ini. Ini berada di antara agen dan model, mengabstraksi layer model sehingga logika agen tetap portable. Posisi Rauch adalah bahwa perusahaan platform seperti Vercel sekarang dalam ketegangan langsung dengan lab-lab besar, tepatnya karena lab-lab memiliki insentif struktural untuk membuat model dan agen tetap terikat — lock-in baik untuk revenue token. Perusahaan platform memiliki insentif sebaliknya: portabilitas dan composability membuat developer tetap di platform terlepas dari model mana yang memenangkan siklus benchmark berikutnya.

Ini adalah perjuangan struktural yang benar-benar penting, dan ini sedang terjadi dalam keputusan infrastruktur yang developer buat sekarang.

Mengapa Ini Penting untuk Asia

Ekosistem developer AI Asia memiliki hubungan spesifik dengan ketegangan model-vs-agen ini yang sering dilewatkan oleh komentar Barat. Developer di Asia Tenggara, Korea Selatan, Jepang, dan India tidak membangun secara eksklusif di atas OpenAI atau Anthropic. Lanskap model di sini benar-benar pluralistik — seri Qwen Alibaba, DeepSeek, ERNIE Baidu, dan stack yang terus berkembang dari model open-weight yang fine-tuned untuk bahasa regional semuanya bersaing untuk workload produksi. Itu bukan kelemahan. Ini sebenarnya keuntungan struktural jika arsitektur agen Anda dibangun untuk portabilitas model sejak hari pertama.

Sensitivitas biaya adalah faktor lain. Startup di Jakarta atau Ho Chi Minh City yang membangun produk AI-native tidak bekerja dengan asumsi margin yang sama seperti perusahaan Series B di San Francisco. Ketika Rauch berbicara tentang "price/performance" sebagai kekhawatiran dominan dalam produksi, itu beresonansi berbeda di Asia — bukan optimasi yang bagus-untuk-dimiliki, ini sering kali perbedaan antara bisnis yang viable dan yang terbakar pada biaya inference sebelum menemukan product-market fit.

Ada juga dimensi latency. Merutekan panggilan agen melalui endpoint model berbasis AS memperkenalkan latency nyata untuk pengguna akhir di Asia. Arsitektur yang dengan bersih memisahkan orchestration agen dari pemilihan model membuat jauh lebih mudah untuk merutekan ke model yang di-deploy secara regional — apakah itu deployment Qwen di Alibaba Cloud, endpoint DeepSeek di penyedia lokal, atau model open-weight yang berjalan di infrastruktur Anda sendiri. Framework Rauch, diterapkan pada konteks Asia, bukan hanya tentang biaya — ini tentang membangun sistem yang benar-benar berkinerja baik untuk pengguna yang Anda layani.

Bagi founder yang membangun di MonstarX, platform dev AI-native Asia, prinsip arsitektur ini memetakan langsung ke cara Anda harus berpikir tentang stack agen Anda hari ini. Tim yang hard-code dependensi model ke dalam logika agen mereka mengumpulkan technical debt yang akan menyakitkan untuk diurai ketika model yang lebih baik, lebih murah, atau lebih cepat tersedia — dan dalam lanskap model Asia, itu terjadi pada siklus yang lebih pendek dari yang paling orang harapkan.

Apa Artinya Ini untuk Developer

Implikasi praktis dari argumen Rauch adalah bahwa arsitektur agen layak mendapatkan disiplin desain yang sama seperti sistem terdistribusi lainnya. Berikut cara berpikir tentangnya secara konkret.

Perlakukan model sebagai infrastruktur, bukan identitas. Nilai agen Anda terletak pada logika orchestration-nya, manajemen memorinya, penggunaan tool-nya, dan kemampuannya untuk mendekomposisi tugas. Tidak ada yang harus terikat dengan model mana yang Anda panggil. Tentukan interface yang bersih antara loop agen Anda dan panggilan model Anda — bahkan jika Anda hanya menggunakan satu model hari ini.

Versi minimal dari ini terlihat seperti mengabstraksi panggilan model Anda di balik satu fungsi:

async function callModel(prompt, options = {}) {
  const { model = process.env.DEFAULT_MODEL, temperature = 0.2 } = options;
  return await modelGateway.complete({ prompt, model, temperature });
}

Layer abstraksi tunggal itu berarti menukar dari GPT-4o ke Qwen-Max ke DeepSeek-V3 adalah perubahan config, bukan refactor. Ini terdengar jelas, tetapi mayoritas codebase agen yang ditulis sekarang tidak melakukan ini — mereka memanggil OpenAI SDK secara langsung, di mana-mana, dengan nama model hardcoded.

Desain untuk multi-model routing sejak awal. Tidak setiap subtask dalam agen Anda membutuhkan model yang sama. Langkah ringkasan dokumen mungkin berjalan dengan murah di model yang lebih kecil dan cepat. Langkah penalaran kompleks mungkin membutuhkan model frontier. Jika logika agen Anda dipisahkan dari layer model, Anda dapat merutekan berdasarkan tipe tugas tanpa menulis ulang apa pun. Di sinilah permainan AI gateway Vercel masuk akal — ini adalah infrastruktur untuk jenis routing ini dalam skala besar.

Pantau biaya token per langkah agen, bukan hanya per sesi. Ketika Anda memisahkan model dari agen, Anda mendapatkan observability yang tidak Anda miliki sebelumnya. Anda dapat melihat langkah mana dalam loop agen Anda yang mengonsumsi paling banyak token, panggilan model mana yang mengembalikan output berkualitas rendah relatif terhadap biayanya, dan di mana Anda dapat mengganti model yang lebih murah tanpa menurunkan hasil akhir. Ini adalah optimasi "price/performance" yang Rauch jelaskan — ini hanya menjadi mungkin setelah pemisahan arsitektur ada.

Pikirkan tentang failure mode secara berbeda. Sistem model-agen yang tightly coupled gagal sepenuhnya ketika API model turun atau rate-limit Anda. Sistem yang decoupled dapat fallback ke model alternatif, degrade dengan elegan, atau queue tugas. Untuk sistem produksi yang melayani pengguna nyata di Asia, ini bukan detail teknis — ini adalah perbedaan antara layanan yang dapat diandalkan dan yang tidak.