Guillermo Rauch, CEO Vercel tentang Perjuangan Memisahkan Model dari Agen

Enam juta deployment setiap hari. Setengahnya dipicu oleh agen pengkodean. Satu triliun token mengalir melalui infrastruktur Vercel setiap 24 jam. Ketika Guillermo Rauch duduk untuk berbicara tentang AI dalam produksi, dia tidak berteori — dia membaca dari telemetri langsung. Dalam wawancara TechCrunch terbaru setelah konferensi ShipNYC Vercel, Rauch menguraikan argumen tajam yang menyentuh inti ke mana infrastruktur AI menuju: model dan agen perlu dipisahkan, dan pengembang yang memahami hal ini terlebih dahulu akan membangun sistem yang benar-benar bertahan dalam produksi.

Percakapan ini penting jauh melampaui roadmap Vercel sendiri. Bagi pengembang di seluruh Asia — yang mengirimkan dengan cepat, memantau biaya dengan cermat, dan semakin banyak membangun produk AI-native untuk pasar yang bergerak dengan kecepatan berbeda dari Silicon Valley — kerangka kerja Rauch menawarkan lensa praktis untuk berpikir tentang arsitektur agen saat ini.

Apa yang Terjadi

Guillermo Rauch, CEO Vercel tentang perjuangan memisahkan model dari agen bukan hanya judul yang menarik. Ini menggambarkan ketegangan arsitektur nyata yang menurut Rauch menjadi jelas setelah Vercel melampaui fase prototipe dan mulai menjalankan agen dalam skala besar di dalam organisasinya sendiri.

Menurut wawancara TechCrunch, tahun lalu adalah tentang prototipe — "bebaskan agen, semua orang bisa membangun." Vercel menerapkan ratusan agen secara organik di seluruh perusahaan dan belajar dengan cepat. Pelajaran sulit datang ketika agen-agen itu mencapai produksi. Wawasan utama Rauch: ketika Anda mengoptimalkan untuk produksi, Anda segera mulai melihat rasio harga-terhadap-kinerja. Itu memaksa pertanyaan yang sebagian besar tim lewatkan selama fase prototipe — apakah model dan logika agen benar-benar harus digabungkan?

Argumen untuk memisahkannya sangat sederhana. Agen adalah loop: ia mempersepsikan konteks, memutuskan tindakan, menjalankannya, dan mengulangi. Model hanyalah komponen penalaran di dalam loop itu. Ketika mereka tightly coupled — ketika agen Anda pada dasarnya adalah wrapper di sekitar API model tertentu — Anda kehilangan kemampuan untuk menukar model saat lanskap berubah, mengoptimalkan biaya per jenis tugas, atau merutekan ke model yang lebih murah dan cepat untuk subtask yang lebih sederhana tanpa menulis ulang logika agen Anda.

Gateway AI Vercel, yang sekarang memproses lebih dari 1 triliun token setiap hari, sebagian adalah jawaban untuk masalah ini. Ini berada di antara agen dan model, mengabstraksi lapisan model sehingga logika agen tetap portabel. Posisi Rauch adalah bahwa perusahaan platform seperti Vercel sekarang dalam ketegangan langsung dengan lab-lab besar, tepatnya karena lab memiliki insentif struktural untuk membuat model dan agen tetap terikat — lock-in baik untuk pendapatan token. Perusahaan platform memiliki insentif sebaliknya: portabilitas dan composability membuat pengembang tetap di platform terlepas dari model mana yang memenangkan siklus benchmark berikutnya.

Ini adalah perjuangan struktural yang benar-benar penting, dan ini sedang terjadi dalam keputusan infrastruktur yang sedang dibuat pengembang sekarang.

Mengapa Ini Penting untuk Asia

Ekosistem pengembang AI Asia memiliki hubungan spesifik dengan ketegangan model-versus-agen ini yang sering kali terlewatkan oleh komentar Barat. Pengembang di Asia Tenggara, Korea Selatan, Jepang, dan India tidak membangun secara eksklusif di atas OpenAI atau Anthropic. Lanskap model di sini benar-benar pluralistik — seri Qwen milik Alibaba, DeepSeek, ERNIE milik Baidu, dan tumpukan model open-weight yang terus berkembang yang disesuaikan untuk bahasa regional semuanya bersaing untuk beban kerja produksi. Itu bukan kelemahan. Ini sebenarnya keuntungan struktural jika arsitektur agen Anda dibangun untuk portabilitas model sejak hari pertama.

Sensitivitas biaya adalah faktor lain. Startup di Jakarta atau Ho Chi Minh City yang membangun produk AI-native tidak bekerja dengan asumsi margin yang sama dengan perusahaan Series B di San Francisco. Ketika Rauch berbicara tentang "harga/kinerja" sebagai kekhawatiran dominan dalam produksi, itu beresonansi berbeda di Asia — bukan optimasi yang bagus untuk dimiliki, tetapi sering kali perbedaan antara bisnis yang viable dan bisnis yang terbakar pada biaya inferensi sebelum menemukan product-market fit.

Ada juga dimensi latensi. Merutekan panggilan agen melalui endpoint model berbasis AS memperkenalkan latensi nyata bagi pengguna akhir di Asia. Arsitektur yang dengan bersih memisahkan orkestrasi agen dari pemilihan model membuat jauh lebih mudah untuk merutekan ke model yang digunakan secara regional — baik itu deployment Qwen di Alibaba Cloud, endpoint DeepSeek di penyedia lokal, atau model open-weight yang berjalan di infrastruktur Anda sendiri. Kerangka kerja Rauch, diterapkan pada konteks Asia, bukan hanya tentang biaya — ini tentang membangun sistem yang benar-benar berkinerja baik untuk pengguna yang Anda layani.

Bagi founder yang membangun di atas MonstarX, platform dev AI-native Asia, prinsip arsitektur ini memetakan langsung ke cara Anda harus berpikir tentang stack agen Anda hari ini. Tim yang hard-code dependensi model ke dalam logika agen mereka mengumpulkan utang teknis yang akan menyakitkan untuk dibongkar ketika model yang lebih baik, lebih murah, atau lebih cepat tersedia — dan dalam lanskap model Asia, itu terjadi pada siklus yang lebih pendek daripada yang kebanyakan orang harapkan.

Apa Artinya Ini bagi Pengembang

Implikasi praktis dari argumen Rauch adalah bahwa arsitektur agen layak mendapatkan disiplin desain yang sama seperti sistem terdistribusi lainnya. Berikut cara berpikir tentangnya secara konkret.

Perlakukan model sebagai infrastruktur, bukan identitas. Nilai agen Anda terletak pada logika orkestrasinya, manajemen memorinya, penggunaan alatnya, dan kemampuannya untuk menguraikan tugas. Tidak ada dari itu yang harus terjerat dengan model mana yang Anda panggil. Tentukan antarmuka yang bersih antara loop agen Anda dan panggilan model Anda — bahkan jika Anda hanya menggunakan satu model hari ini.

Versi minimal dari ini terlihat seperti mengabstraksi panggilan model Anda di balik fungsi tunggal:

async function callModel(prompt, options = {}) {
  const { model = process.env.DEFAULT_MODEL, temperature = 0.2 } = options;
  return await modelGateway.complete({ prompt, model, temperature });
}

Lapisan abstraksi tunggal itu berarti menukar dari GPT-4o ke Qwen-Max ke DeepSeek-V3 adalah perubahan konfigurasi, bukan refaktor. Kedengarannya jelas, tetapi mayoritas codebase agen yang sedang ditulis sekarang tidak melakukan ini — mereka memanggil SDK OpenAI secara langsung, di mana-mana, dengan nama model yang hardcoded.

Desain untuk perutean multi-model sejak awal. Tidak setiap subtask dalam agen Anda membutuhkan model yang sama. Langkah ringkasan dokumen mungkin berjalan dengan murah pada model yang lebih kecil dan lebih cepat. Langkah penalaran yang kompleks mungkin membutuhkan model frontier. Jika logika agen Anda dipisahkan dari lapisan model, Anda dapat merutekan berdasarkan jenis tugas tanpa menulis ulang apa pun. Di sinilah permainan gateway AI Vercel masuk akal — ini adalah infrastruktur untuk jenis perutean ini dalam skala besar.

Pantau biaya token per langkah agen, bukan hanya per sesi. Ketika Anda memisahkan model dari agen, Anda mendapatkan observabilitas yang tidak Anda miliki sebelumnya. Anda dapat melihat langkah mana dalam loop agen Anda yang mengonsumsi paling banyak token, panggilan model mana yang mengembalikan output berkualitas rendah relatif terhadap biayanya, dan di mana Anda dapat mengganti model yang lebih murah tanpa menurunkan hasil akhir. Ini adalah optimasi "harga/kinerja" yang Rauch jelaskan — ini hanya menjadi mungkin setelah pemisahan arsitektur ada.

Pikirkan tentang mode kegagalan secara berbeda. Sistem model-agen yang tightly coupled gagal sepenuhnya ketika API model turun atau rate-limits Anda. Sistem yang dipisahkan dapat kembali ke model alternatif, menurun dengan anggun, atau mengantrekan tugas. Untuk sistem produksi yang melayani pengguna nyata di Asia, di mana uptime dan keandalan sering kali lebih penting daripada menggunakan model terbaru, arsitektur yang terpisah bukan hanya optimasi — ini adalah persyaratan keandalan.