Thinking Machines想要构建一个真正能边听边说的AI

Mira Murati的新创公司刚刚发布了一个研究预览版,可能会重新定义开发者与AI模型的交互方式。Thinking Machines Lab宣布了交互模型——AI可以在处理你的输入的同时生成响应,消除了迄今为止你使用的每个AI开发工具所定义的尴尬轮流模式。

Share
Editorial illustration: A close-up of a telephone handset or headset with the earpiece and mouthpiece positioned symmetrical — MonstarX

Thinking Machines想要构建一个真正能边听边说的AI

Thinking Machines想要构建一个真正能边听边说的AI

Mira Murati的新创公司刚刚发布了一个研究预览版,可能会重新定义开发者与AI模型的交互方式。Thinking Machines Lab宣布了交互模型——AI可以在处理你的输入的同时生成响应,消除了迄今为止你使用的每个AI开发工具所定义的尴尬轮流模式。对于构建实时应用的亚洲开发者来说,从顺序处理到同时处理的转变不仅仅是技术升级。这是对AI原生开发平台应该如何工作的根本性重新思考。

什么是AI开发工具?

AI开发工具是平台、框架和API,让开发者能够将机器学习功能集成到应用中,而无需从头构建模型。它们的范围从GitHub Copilot这样的代码补全助手到处理从数据预处理到部署的全栈平台。亚洲市场在这一类别中经历了爆炸性增长,本地平台不断涌现,以服务需要低延迟、特定地区基础设施的开发者。

传统的AI开发工具采用请求-响应循环运作。你发送提示,模型完全处理它,然后流式传回响应。这种架构适用于许多用例,但当你需要真正的交互性时就会崩溃——想想无法处理中断的语音助手,或强制你等待整个响应后才能纠正误解的聊天机器人。技术限制不在于处理速度,而在于将对话视为一系列离散事务而非连续交换的基本设计。

Thinking Machines Lab的方法挑战了这个范式。他们的TML-Interaction-Small模型通过同时处理输入和生成输出实现了0.40秒的响应时间——工程师称之为"全双工"通信。根据他们在TechCrunch上的公告,这与自然人类对话速度相匹配,并超越了OpenAI和Google的可比模型。影响范围超越了语音界面。任何需要实时AI反馈的应用——协作编码环境、实时翻译服务、交互式调试工具——都可能受益于这种架构转变。

对于亚洲的开发者来说,移动优先应用占主导地位,网络条件差异很大,响应延迟直接影响用户体验。一个能在你说完话之前开始响应的模型减少了感知延迟,使AI交互感觉不像是在等待服务器响应,而更像是在与同事交谈。挑战在于这个研究预览版还不公开。Thinking Machines Lab承诺在未来几个月内提供有限的研究预览版,今年晚些时候进行更广泛的发布。在此之前,开发者需要现在就能用的工具。

2026年亚洲开发者的顶级AI开发工具

亚洲开发者生态系统有全球平台不总是能解决的独特需求。新加坡和印度尼西亚等国家的数据驻留法规要求本地托管。语言支持超越英语,涵盖普通话、日语、韩语、印尼语和数十种区域语言。支付基础设施需要处理从信用卡到GrabPay再到支付宝的一切。以下是现在在亚洲构建的开发者实际可用的工具。

OpenAI API仍然是通用AI功能的黄金标准,但来自美国服务器的延迟对东南亚开发者来说可能达到200-300ms。定价模式——GPT-4o mini每1K个令牌$0.002——对西方市场有意义,但当你的目标用户月收入为$500-1000时就有所不同。尽管如此,模型质量和广泛的文档使其成为原型设计的默认选择。

Anthropic Claude在复杂推理任务和更长的上下文窗口(200K令牌)上提供卓越性能,使其非常适合需要处理整个代码库或冗长文档的应用。亚太地区的推出速度比OpenAI慢,但可用性在改善。新加坡和东京的开发者报告延迟可接受,而雅加达或马尼拉的开发者仍会看到偶发超时。

阿里巴巴云通义千问在中国占主导地位,正在通过新加坡、马来西亚和印度尼西亚的本地数据中心扩展到整个东南亚。中文性能明显超过西方模型。定价比OpenAI低约30%,执行相同任务。权衡是文档主要为中文,与美国平台相比开发者工具不够成熟。

Google Gemini带来多模态功能和与Google Cloud基础设施的紧密集成。免费层很慷慨——Gemini 1.5 Flash每天1500个请求——对早期初创公司很有吸引力。亚洲开发者报告从Google区域数据中心获得比OpenAI更好的延迟,尽管在代码生成任务上模型性能略低于GPT-4。

这个生态系统中缺少的是专门为亚洲开发者实际工作方式构建的平台。大多数团队不是根据基准分数在OpenAI和Anthropic之间选择。他们在问:我能在雅加达部署这个吗?它能与我现有的Node.js栈一起工作吗?一旦我达到10,000个用户,我能负担得起吗?这些实际问题比理论模型能力更重要。

如何为你的技术栈选择合适的AI开发工具

选择AI开发工具始于理解你的实际需求,而不是追逐最新的模型发布。从延迟限制开始。如果你正在构建实时语音应用,你需要端到端响应时间低于500ms。这立即将你的选项限制在具有区域基础设施的提供商。检查他们的服务器实际运行在哪里——"亚太地区"可能意味着悉尼(对澳大利亚很好,对越南很糟糕)或新加坡(对东南亚大部分地区不错)。

成本建模接下来。大多数平台按令牌收费,但令牌计数在提供商之间有所不同。一篇1000字的文章在GPT-4中可能是750个令牌,在Claude中是850个令牌。将你预期的月请求量乘以每令牌定价,然后增加30%的开销和意外使用峰值。如果该数字超过你的基础设施预算,你需要不同的方法。考虑混合架构,为简单查询使用较小的模型,为复杂推理任务保留昂贵的模型。

语言支持比大多数开发者意识到的更重要。以英语为中心的模型在处理泰语代码注释、印尼语错误消息或混合新加坡英语和技术术语的用户查询时会有困难。在承诺之前,用你的目标语言的实际用户输入测试你选择的平台。"支持中文"和"在中文技术文档上表现良好"之间的差异是巨大的。

集成复杂性决定了实现速度。