ซีอีโอ Vercel กิลเลร์โม ราช เกี่ยวกับการแยกโมเดลออกจากเอเจนต์

หกล้านการ deploy ต่อวัน ครึ่งหนึ่งถูกเรียกใช้โดยเอเจนต์การเขียนโค้ด หนึ่งล้านล้านโทเคนไหลผ่านโครงสร้างพื้นฐานของ Vercel ทุก 24 ชั่วโมง เมื่อ กิลเลร์โม ราช นั่งลงพูดคุยเกี่ยว AI ในการผลิตจริง เขาไม่ได้ทำการคาดเดา — เขากำลังอ่านจากข้อมูลจริง ในการสัมภาษณ์ TechCrunch เมื่อเร็ว ๆ นี้หลังจากการประชุม ShipNYC ของ Vercel ราชได้นำเสนอข้อโต้แย้งที่ชัดเจนซึ่งเข้าถึงหัวใจของทิศทางที่โครงสร้างพื้นฐาน AI กำลังมุ่งหน้า: โมเดลและเอเจนต์ต้องถูกแยกออก และนักพัฒนาที่หาวิธีแก้ปัญหานี้ก่อนจะสร้างระบบที่สามารถอยู่รอดในการผลิตจริงได้

การสนทนานี้มีความสำคัญมากกว่าแผนงานของ Vercel เอง สำหรับนักพัฒนาทั่วเอเชีย — ที่ส่งมอบอย่างรวดเร็ว ติดตามต้นทุนอย่างใกล้ชิด และกำลังสร้างผลิตภัณฑ์ที่เป็น AI-native สำหรับตลาดที่เคลื่อนไหวในจังหวะที่แตกต่างจาก Silicon Valley — การกำหนดกรอบของราชนำเสนอเลนส์ที่ใช้ได้จริงสำหรับการคิดเกี่ยวกับสถาปัตยกรรมเอเจนต์ในตอนนี้

เกิดอะไรขึ้น

ซีอีโอ Vercel กิลเลร์โม ราช เกี่ยวกับการแยกโมเดลออกจากเอเจนต์ไม่ใช่แค่หัวข้อที่ดึงดูดใจ มันอธิบายความตึงเครียดทางสถาปัตยกรรมที่แท้จริงที่ราชกล่าวว่าเห็นได้ชัดเมื่อ Vercel ก้าวผ่านขั้นตอนการสร้างต้นแบบและเริ่มเรียกใช้เอเจนต์ในระดับใหญ่ภายในองค์กรของตัวเอง

ตามการสัมภาษณ์ TechCrunch ปีที่แล้วเป็นเรื่องของการสร้างต้นแบบ — "ปล่อยให้เอเจนต์ทำงาน ทุกคนสามารถสร้างได้" Vercel ได้ deploy เอเจนต์หลายร้อยตัวอย่างเป็นธรรมชาติทั่วทั้งบริษัท และเรียนรู้อย่างรวดเร็ว บทเรียนที่ยากมาเมื่อเอเจนต์เหล่านั้นเข้าสู่การผลิตจริง ข้อมูลเชิงลึกหลักของราช: เมื่อคุณปรับให้เหมาะสมสำหรับการผลิตจริง คุณจะเริ่มมองหาอัตราส่วนราคาต่อประสิทธิภาพทันที นั่นบังคับให้เกิดคำถามที่ทีมส่วนใหญ่ข้ามไปในขั้นตอนการสร้างต้นแบบ — ควรจะรวมโมเดลและตรรกะเอเจนต์เข้าด้วยกันจริง ๆ หรือไม่

ข้อโต้แย้งสำหรับการแยกพวกมันนั้นตรงไปตรงมา เอเจนต์คือลูป: มันรับรู้บริบท ตัดสินใจเกี่ยวกับการกระทำ ดำเนินการ และทำซ้ำ โมเดลเป็นเพียงส่วนประกอบการให้เหตุผลภายในลูปนั้น เมื่อพวกมันถูกเชื่อมโยงอย่างแน่นหนา — เมื่อเอเจนต์ของคุณเป็นหลักเป็นตัวห่อหุ้มรอบ API ของโมเดลเฉพาะหนึ่งตัว — คุณจะสูญเสียความสามารถในการสลับโมเดลเมื่อภูมิทัศน์เปลี่ยนไป ปรับให้เหมาะสมต้นทุนต่อประเภทงาน หรือเส้นทางไปยังโมเดลที่ถูกกว่า เร็วกว่า สำหรับงานย่อยที่ง่ายกว่าโดยไม่ต้องเขียนตรรกะเอเจนต์ใหม่

AI gateway ของ Vercel ซึ่งตอนนี้ประมวลผลโทเคนกว่า 1 ล้านล้านตัวต่อวัน เป็นคำตอบบางส่วนสำหรับปัญหานี้ มันอยู่ระหว่างเอเจนต์และโมเดล โดยแยกชั้นโมเดลเพื่อให้ตรรกะเอเจนต์ยังคงพกพาได้ ตำแหน่งของราชคือบริษัทแพลตฟอร์มเช่น Vercel อยู่ในความตึงเครียดโดยตรงกับห้องแล็บหลัก เพราะห้องแล็บมีแรงจูงใจโครงสร้างที่จะเก็บโมเดลและเอเจนต์ไว้ด้วยกัน — การล็อกอินนั้นดีสำหรับรายได้โทเคน บริษัทแพลตฟอร์มมีแรงจูงใจตรงกันข้าม: ความสามารถในการพกพาและการประกอบกันเก็บนักพัฒนาไว้บนแพลตฟอร์มโดยไม่คำนึงว่าโมเดลใดจะชนะรอบเบนช์มาร์กถัดไป

นี่คือการต่อสู้โครงสร้างที่แท้จริงที่สำคัญ และมันกำลังเล่นออกมาในการตัดสินใจโครงสร้างพื้นฐานที่นักพัฒนากำลังทำในตอนนี้

ทำไมมันจึงสำคัญสำหรับเอเชีย

ระบบนิเวศของนักพัฒนา AI ของเอเชียมีความสัมพันธ์เฉพาะเจาะจงกับความตึงเครียดของโมเดลเทียบกับเอเจนต์ที่ความเห็นทางตะวันตกมักจะพลาด นักพัฒนาในเอเชียตะวันออกเฉียงใต้ เกาหลีใต้ ญี่ปุ่น และอินเดียไม่ได้สร้างสิ่งต่าง ๆ เฉพาะบน OpenAI หรือ Anthropic ภูมิทัศน์โมเดลที่นี่เป็นพหุวัฒนาอย่างแท้จริง — ซีรีส์ Qwen ของ Alibaba DeepSeek ERNIE ของ Baidu และสแต็กที่เพิ่มขึ้นของโมเดลน้ำหนักเปิดที่ปรับแต่งสำหรับภาษาระดับภูมิภาคทั้งหมดแข่งขันกันเพื่อภาระงานการผลิต นั่นไม่ใช่จุดอ่อน มันเป็นข้อได้เปรียบโครงสร้างที่แท้จริงหากสถาปัตยกรรมเอเจนต์ของคุณถูกสร้างขึ้นเพื่อความสามารถในการพกพาโมเดลตั้งแต่วันแรก

ความไวต่อต้นทุนเป็นปัจจัยอื่น บริษัทเริ่มต้นในจาการ์ตาหรือโฮจิมินห์ซิตี้ที่สร้างผลิตภัณฑ์ที่เป็น AI-native ไม่ได้ทำงานกับสมมติฐานอัตรากำไรเดียวกับบริษัท Series B ใน San Francisco เมื่อราชพูดถึง "ราคา/ประสิทธิภาพ" เป็นข้อกังวลที่โดดเด่นในการผลิต นั่นสะท้อนแตกต่างกันในเอเชีย — มันไม่ใช่การปรับให้เหมาะสมที่ดี มันมักจะเป็นความแตกต่างระหว่างธุรกิจที่มีชีวิตชีวาและธุรกิจที่ไหม้ออกจากต้นทุนการอนุมานก่อนที่จะพบความเหมาะสมของผลิตภัณฑ์

นอกจากนี้ยังมีมิติของเวลาแฝง การกำหนดเส้นทางการเรียกเอเจนต์ผ่านจุดปลายโมเดลที่ใช้ US นำเสนอเวลาแฝงที่แท้จริงสำหรับผู้ใช้ปลายทางในเอเชีย สถาปัตยกรรมที่แยกการจัดการเอเจนต์ออกจากการเลือกโมเดลอย่างสะอาดทำให้ง่ายขึ้นมากในการกำหนดเส้นทางไปยังโมเดลที่ deploy ในระดับภูมิภาค — ไม่ว่าจะเป็นการ deploy Qwen บน Alibaba Cloud จุดปลาย DeepSeek บนผู้ให้บริการท้องถิ่น หรือโมเดลน้ำหนักเปิดที่ทำงานบนโครงสร้างพื้นฐานของคุณเอง กรอบของราช ที่นำไปใช้กับบริบทเอเชีย ไม่ใช่แค่เรื่องของต้นทุน — มันเป็นเรื่องของการสร้างระบบที่ทำงานได้ดีจริง ๆ สำหรับผู้ใช้ที่คุณกำลังให้บริการ

สำหรับผู้ก่อตั้งที่สร้างบน MonstarX แพลตฟอร์มการพัฒนา AI-native ของเอเชีย หลักการสถาปัตยกรรมนี้แมปโดยตรงกับวิธีที่คุณควรคิดเกี่ยวกับสแต็กเอเจนต์ของคุณในตอนนี้ ทีมที่เขียนโค้ดความเป็นไปได้ของโมเดลลงในตรรกะเอเจนต์ของพวกเขากำลังสะสมหนี้ทางเทคนิคที่จะเจ็บปวดในการแก้ไขเมื่อโมเดลที่ดีกว่า ถูกกว่า หรือเร็วกว่าพร้อมใช้งาน — และในภูมิทัศน์โมเดลของเอเชีย นั่นเกิดขึ้นในรอบที่สั้นกว่าที่คนส่วนใหญ่คาดหวัง

นี่หมายความว่าอะไรสำหรับนักพัฒนา

ผลกระทบในทางปฏิบัติของข้อโต้แย้งของราชคือสถาปัตยกรรมเอเจนต์สมควรได้รับวินัยการออกแบบเดียวกับระบบแจกจ่ายอื่น ๆ นี่คือวิธีคิดเกี่ยวกับมันอย่างเป็นรูปธรรม

ถือว่าโมเดลเป็นโครงสร้างพื้นฐาน ไม่ใช่ตัวตน มูลค่าของเอเจนต์ของคุณอยู่ในตรรกะการจัดการของมัน การจัดการหน่วยความจำ การใช้เครื่องมือ และความสามารถในการแยกย่อยงาน ไม่มีสิ่งใดเลยที่ควรพัวพันกับโมเดลที่คุณกำลังเรียก กำหนดอินเทอร์เฟซที่สะอาดระหว่างลูปเอเจนต์ของคุณและการเรียกโมเดลของคุณ — แม้ว่าคุณจะใช้เพียงโมเดลเดียวในวันนี้

เวอร์ชันขั้นต่ำของสิ่งนี้มีลักษณะเหมือนการแยกการเรียกโมเดลของคุณไว้เบื้องหลังฟังก์ชันเดียว:

async function callModel(prompt, options = {}) {
  const { model = process.env.DEFAULT_MODEL, temperature = 0.2 } = options;
  return await modelGateway.complete({ prompt, model, temperature });
}

ชั้นการแยกนั้นหมายความว่าการสลับจาก GPT-4o ไปยัง Qwen-Max ไปยัง DeepSeek-V3 เป็นการเปลี่ยนการกำหนดค่า ไม่ใช่การปรับปรุง ฟังดูชัดเจน แต่ส่วนใหญ่ของ codebases เอเจนต์ที่เขียนขึ้นในตอนนี้ไม่ได้ทำเช่นนี้ — พวกเขาเรียก OpenAI SDK โดยตรง ทุกที่ โดยมีชื่อโมเดลที่เขียนโค้ด

ออกแบบสำหรับการกำหนดเส้นทางโมเดลหลายตัวตั้งแต่เริ่มต้น ไม่ใช่ทุกงานย่อยในเอเจนต์ของคุณที่ต้องการโมเดลเดียวกัน ขั้นตอนการสรุปเอกสารอาจทำงานได้ถูกบนโมเดลที่เล็กกว่า เร็วกว่า ขั้นตอนการให้เหตุผลที่ซับซ้อนอาจต้องการโมเดลพรมแกรม หากตรรกะเอเจนต์ของคุณถูกแยกออกจากชั้นโมเดล คุณสามารถกำหนดเส้นทางตามประเภทงานโดยไม่ต้องเขียนใหม่อะไรเลย นี่คือที่ที่การเล่น AI gateway ของ Vercel สมเหตุสมผล — มันเป็นโครงสร้างพื้นฐานสำหรับการกำหนดเส้นทางประเภทนี้ในระดับใหญ่

ตรวจสอบต้นทุนโทเคนต่อขั้นตอนเอเจนต์ ไม่ใช่เพียงต่อเซสชัน เมื่อคุณแยกโมเดลออกจากเอเจนต์ คุณจะได้รับการสังเกตการณ์ที่คุณไม่มีมาก่อน คุณสามารถดูว่าขั้นตอนใดในลูปเอเจนต์ของคุณกำลังใช้โทเคนมากที่สุด การเรียกโมเดลใดที่ส่งคืนผลลัพธ์คุณภาพต่ำเมื่อเทียบกับต้นทุน และที่ไหนที่คุณสามารถแทนที่โมเดลที่ถูกกว่าโดยไม่ลดคุณภาพของผลลัพธ์สุดท้าย นี่คือการปรับให้เหมาะสม "ราคา/ประสิทธิภาพ" ที่ราชกำลังอธิบาย — มันเป็นไปได้เท่านั้นเมื่อการแยกทางสถาปัตยกรรมมีอยู่

คิดเกี่ยวกับโหมดความล้มเหลวแตกต่างกัน ระบบโมเดล-เอเจนต์ที่เชื่อมโยงอย่างแน่นหนาล้มเหลวอย่างสมบูรณ์เมื่อ API ของโมเดลหยุดทำงานหรือจำกัดอัตราคุณ ระบบที่ถูกแยกออกสามารถกลับไปยังโมเดลทางเลือก ลดคุณภาพอย่างสง่างาม หรือจัดคิวงาน สำหรับระบบการผลิตที่ให้บริการจริง