Guillermo Rauch, CEO Vercel: Cuộc chiến tách biệt mô hình AI khỏi các agent

Sáu triệu deployment mỗi ngày. Nửa trong số đó được kích hoạt bởi coding agent. Một triệu tỷ token chảy qua cơ sở hạ tầng Vercel mỗi 24 giờ. Khi Guillermo Rauch ngồi xuống để nói về AI trong production, anh ấy không phải đang lý thuyết — anh ấy đang đọc từ telemetry trực tiếp. Trong một cuộc phỏng vấn TechCrunch gần đây sau hội nghị ShipNYC của Vercel, Rauch đã trình bày một lập luận sắc nét chỉ vào cốt lõi của hướng đi của cơ sở hạ tầng AI: các mô hình và agent cần được tách biệt, và các nhà phát triển nào hiểu rõ điều này trước tiên sẽ xây dựng những hệ thống thực sự tồn tại trong production.

Cuộc trò chuyện này có ý nghĩa vượt xa lộ trình riêng của Vercel. Đối với các nhà phát triển trên khắp châu Á — ship nhanh, theo dõi chi phí chặt chẽ, và ngày càng xây dựng các sản phẩm AI-native cho các thị trường hoạt động với tốc độ khác so với Silicon Valley — cách nhìn của Rauch cung cấp một lăng kính thực tế để suy nghĩ về kiến trúc agent ngay bây giờ.

Điều gì đã xảy ra

Guillermo Rauch, CEO Vercel về cuộc chiến tách biệt mô hình khỏi agent không chỉ là một tiêu đề hấp dẫn. Nó mô tả một căng thẳng kiến trúc thực sự mà Rauch nói rằng trở nên rõ ràng khi Vercel vượt qua giai đoạn prototyping và bắt đầu chạy agent ở quy mô lớn bên trong tổ chức của chính nó.

Theo cuộc phỏng vấn TechCrunch, năm ngoái là về prototyping — "giải phóng các agent, mọi người đều có thể xây dựng." Vercel đã triển khai hàng trăm agent một cách hữu cơ trên toàn công ty và học hỏi nhanh chóng. Những bài học khó khăn đến khi những agent đó đi vào production. Insight trung tâm của Rauch: khi bạn tối ưu hóa cho production, bạn ngay lập tức bắt đầu xem xét price-to-performance. Điều đó buộc một câu hỏi mà hầu hết các team bỏ qua trong giai đoạn prototype — liệu mô hình và logic agent thực sự nên được gộp lại với nhau?

Lập luận cho việc tách biệt chúng rất đơn giản. Một agent là một vòng lặp: nó nhận thức bối cảnh, quyết định một hành động, thực hiện nó, và lặp lại. Mô hình chỉ là thành phần suy luận bên trong vòng lặp đó. Khi chúng được liên kết chặt chẽ — khi agent của bạn về cơ bản là một wrapper xung quanh API của một mô hình cụ thể — bạn mất khả năng hoán đổi mô hình khi bối cảnh thay đổi, tối ưu hóa chi phí cho từng loại tác vụ, hoặc định tuyến đến các mô hình rẻ hơn, nhanh hơn cho các tác vụ phụ đơn giản hơn mà không cần viết lại logic agent của bạn.

AI gateway của Vercel, hiện xử lý hơn 1 triệu tỷ token hàng ngày, phần nào là câu trả lời cho vấn đề này. Nó nằm giữa các agent và mô hình, trừu tượng hóa lớp mô hình để logic agent vẫn có thể di động. Vị trí của Rauch là các công ty nền tảng như Vercel hiện đang trong căng thẳng trực tiếp với các phòng lab lớn, chính vì các phòng lab có động lực cấu trúc để giữ các mô hình và agent được gộp lại — lock-in tốt cho doanh thu token. Các công ty nền tảng có động lực ngược lại: tính di động và khả năng kết hợp giữ các nhà phát triển trên nền tảng bất kể mô hình nào thắng trong chu kỳ benchmark tiếp theo.

Đây là một cuộc chiến cấu trúc thực sự quan trọng, và nó đang diễn ra trong các quyết định cơ sở hạ tầng mà các nhà phát triển đang đưa ra ngay bây giờ.

Tại sao điều này quan trọng đối với châu Á

Hệ sinh thái nhà phát triển AI của châu Á có một mối quan hệ cụ thể với căng thẳng mô hình-vs-agent này mà bình luận phương Tây thường bỏ sót. Các nhà phát triển ở Đông Nam Á, Hàn Quốc, Nhật Bản, và Ấn Độ không xây dựng độc quyền trên OpenAI hoặc Anthropic. Bối cảnh mô hình ở đây thực sự đa dạng — loạt Qwen của Alibaba, DeepSeek, ERNIE của Baidu, và một ngăn xếp ngày càng tăng của các mô hình open-weight được tinh chỉnh cho các ngôn ngữ khu vực đều cạnh tranh cho các khối lượng công việc production. Đó không phải là một điểm yếu. Nó thực sự là một lợi thế cấu trúc nếu kiến trúc agent của bạn được xây dựng cho tính di động mô hình từ ngày đầu tiên.

Độ nhạy cảm về chi phí là một yếu tố khác. Một startup ở Jakarta hoặc Thành phố Hồ Chí Minh xây dựng một sản phẩm AI-native không hoạt động với các giả định lợi nhuận giống như một công ty Series B ở San Francisco. Khi Rauch nói về "price/performance" như là mối quan tâm chủ đạo trong production, điều đó cộng hưởng khác nhau ở châu Á — nó không phải là một tối ưu hóa tốt để có, nó thường là sự khác biệt giữa một doanh nghiệp khả thi và một doanh nghiệp cháy hết trên chi phí suy luận trước khi nó tìm thấy product-market fit.

Cũng có chiều kích độ trễ. Định tuyến các lệnh gọi agent thông qua một điểm cuối mô hình dựa trên Mỹ giới thiệu độ trễ thực sự cho người dùng cuối ở châu Á. Một kiến trúc tách biệt rõ ràng giữa điều phối agent và lựa chọn mô hình làm cho việc định tuyến đến các mô hình được triển khai theo khu vực dễ dàng hơn nhiều — cho dù đó là triển khai Qwen trên Alibaba Cloud, điểm cuối DeepSeek trên một nhà cung cấp địa phương, hoặc một mô hình open-weight chạy trên cơ sở hạ tầng của riêng bạn. Khung công tác của Rauch, áp dụng vào bối cảnh châu Á, không chỉ là về chi phí — nó là về xây dựng các hệ thống thực sự hoạt động tốt cho những người dùng bạn đang phục vụ.

Đối với các nhà sáng lập xây dựng trên MonstarX, nền tảng phát triển AI-native của châu Á, nguyên tắc kiến trúc này ánh xạ trực tiếp vào cách bạn nên suy nghĩ về ngăn xếp agent của bạn ngày hôm nay. Các team mã hóa cứng các phụ thuộc mô hình vào logic agent của họ đang tích lũy nợ kỹ thuật sẽ đau đớn khi phải giải quyết khi một mô hình tốt hơn, rẻ hơn, hoặc nhanh hơn trở nên có sẵn — và trong bối cảnh mô hình của châu Á, điều đó xảy ra trong một chu kỳ ngắn hơn hầu hết mọi người mong đợi.

Điều này có nghĩa gì đối với các nhà phát triển

Hàm ý thực tế của lập luận của Rauch là kiến trúc agent xứng đáng nhận được cùng một kỷ luật thiết kế như bất kỳ hệ thống phân tán nào khác. Đây là cách suy nghĩ về nó một cách cụ thể.

Coi các mô hình là cơ sở hạ tầng, không phải danh tính. Giá trị của agent của bạn nằm trong logic điều phối của nó, quản lý bộ nhớ của nó, sử dụng công cụ của nó, và khả năng phân tách các tác vụ. Không có gì trong số đó nên được vướng víu với mô hình nào bạn đang gọi. Xác định một giao diện sạch giữa vòng lặp agent của bạn và các lệnh gọi mô hình của bạn — ngay cả khi bạn chỉ sử dụng một mô hình ngày hôm nay.

Một phiên bản tối thiểu của điều này trông giống như trừu tượng hóa các lệnh gọi mô hình của bạn phía sau một hàm duy nhất:

async function callModel(prompt, options = {}) {
  const { model = process.env.DEFAULT_MODEL, temperature = 0.2 } = options;
  return await modelGateway.complete({ prompt, model, temperature });
}

Lớp trừu tượng duy nhất đó có nghĩa là hoán đổi từ GPT-4o sang Qwen-Max sang DeepSeek-V3 là một thay đổi cấu hình, không phải một refactor. Nó nghe có vẻ hiển nhiên, nhưng phần lớn các codebase agent đang được viết ngay bây giờ không làm điều này — chúng gọi SDK OpenAI trực tiếp, ở mọi nơi, với tên mô hình được mã hóa cứng.

Thiết kế cho định tuyến đa mô hình từ đầu. Không phải mọi tác vụ phụ trong agent của bạn đều cần cùng một mô hình. Một bước tóm tắt tài liệu có thể chạy rẻ trên một mô hình nhỏ hơn, nhanh hơn. Một bước suy luận phức tạp có thể cần một mô hình frontier. Nếu logic agent của bạn được tách biệt khỏi lớp mô hình, bạn có thể định tuyến theo loại tác vụ mà không cần viết lại bất cứ thứ gì. Đây là nơi mà trò chơi AI gateway của Vercel có ý nghĩa — nó là cơ sở hạ tầng cho chính xác loại định tuyến này ở quy mô lớn.

Giám sát chi phí token cho mỗi bước agent, không chỉ cho mỗi phiên. Khi bạn tách các mô hình khỏi các agent, bạn có được khả năng quan sát mà bạn không có trước đây. Bạn có thể thấy những bước nào trong vòng lặp agent của bạn đang tiêu thụ hầu hết các token, những lệnh gọi mô hình nào đang trả về đầu ra chất lượng thấp so với chi phí của chúng, và nơi bạn có thể thay thế một mô hình rẻ hơn mà không làm giảm kết quả cuối cùng. Đây là tối ưu hóa "price/performance" mà Rauch đang mô tả — nó chỉ trở nên có thể khi sự tách biệt kiến trúc tồn tại.

Suy nghĩ về các chế độ lỗi khác nhau. Một hệ thống mô hình-agent được liên kết chặt chẽ sẽ thất bại hoàn toàn khi API mô hình bị sập hoặc rate-limit bạn. Một hệ thống tách biệt có thể quay lại một mô hình thay thế, suy giảm một cách duyên dáng, hoặc xếp hàng đợi tác vụ. Đối với các hệ thống production phục vụ người dùng thực