Thinking Machines ingin membina AI yang benar-benar mendengar semasa bercakap

Thinking Machines ingin membina AI yang benar-benar mendengar semasa bercakap

Syarikat permulaan baru Mira Murati baru sahaja mengeluarkan pratonton penyelidikan yang boleh mentakrifkan semula cara pembangun berinteraksi dengan model AI. Thinking Machines Lab mengumumkan model interaksi — AI yang memproses input anda sambil secara serentak menjana respons, menghapuskan pertukaran giliran yang canggung yang menentukan setiap alat pembangunan AI yang telah anda gunakan sehingga kini. Bagi pembangun Asia yang membina aplikasi masa nyata, perubahan ini daripada pemprosesan berjujukan kepada serentak mewakili lebih daripada peningkatan teknikal. Ia adalah pemikiran semula asas tentang cara platform pembangunan asli AI sepatutnya berfungsi.

Apakah Alat Pembangunan AI?

Alat pembangunan AI adalah platform, rangka kerja, dan API yang membenarkan pembangun mengintegrasikan keupayaan pembelajaran mesin ke dalam aplikasi tanpa membina model dari awal. Ia berkisar daripada pembantu penyelesaian kod seperti GitHub Copilot hingga platform tumpuan penuh yang mengendalikan segala-galanya daripada prapemprosesan data hingga penempatan. Pasaran Asia telah menyaksikan pertumbuhan yang meletup dalam kategori ini, dengan platform tempatan muncul untuk melayani pembangun yang memerlukan infrastruktur latensi rendah dan khusus rantau.

Alat pembangunan AI tradisional beroperasi pada kitaran permintaan-respons. Anda menghantar gesaran, model memproses sepenuhnya, kemudian mengalirkan respons kembali. Seni bina ini berfungsi untuk banyak kes penggunaan, tetapi ia gagal apabila anda memerlukan interaktiviti tulen — fikirkan pembantu suara yang tidak dapat mengendalikan gangguan, atau chatbot yang memaksa anda menunggu melalui respons keseluruhan sebelum membetulkan salah faham. Had teknikal bukanlah kecepatan pemprosesan; ia adalah reka bentuk asas yang menganggap perbualan sebagai siri urus niaga diskret dan bukannya pertukaran berterusan.

Pendekatan Thinking Machines Lab mencabar paradigma ini. Model TML-Interaction-Small mereka mencapai masa respons 0.40 saat dengan memproses input dan menjana output secara serentak — apa yang dipanggil oleh jurutera sebagai komunikasi "full duplex". Menurut pengumuman mereka di TechCrunch, ini sepadan dengan kecepatan perbualan manusia semula jadi dan mengatasi model yang setanding daripada OpenAI dan Google. Implikasi melangkaui antara muka suara. Sebarang aplikasi yang memerlukan maklum balas AI masa nyata — persekitaran pengekodan kolaboratif, perkhidmatan terjemahan langsung, alat penyahpepijatan interaktif — boleh mendapat manfaat daripada perubahan seni bina ini.

Bagi pembangun di Asia, di mana aplikasi mudah alih mendominasi dan keadaan rangkaian berbeza-beza secara meluas, latensi respons secara langsung memberi kesan kepada pengalaman pengguna. Model yang boleh mula bertindak balas sebelum anda selesai bercakap mengurangkan ketinggalan yang dirasakan, menjadikan interaksi AI terasa kurang seperti menunggu respons pelayan dan lebih seperti bercakap dengan rakan sekerja. Cabaran ialah pratonton penyelidikan ini belum tersedia untuk umum. Thinking Machines Lab menjanjikan pratonton penyelidikan terhad dalam beberapa bulan akan datang, dengan keluaran yang lebih luas kemudian tahun ini. Sehingga kini, pembangun memerlukan alat yang berfungsi hari ini.

Alat Pembangunan AI Teratas untuk Pembangun Asia pada 2026

Ekosistem pembangun Asia mempunyai keperluan unik yang platform global tidak selalu menangani. Peraturan kediaman data di negara seperti Singapura dan Indonesia memerlukan pengehosan tempatan. Sokongan bahasa melangkaui Bahasa Inggeris kepada Mandarin, Jepun, Korea, Bahasa Melayu, dan berpuluh-puluh bahasa serantau. Infrastruktur pembayaran perlu mengendalikan segala-galanya daripada kad kredit kepada GrabPay hingga Alipay. Berikut adalah apa yang benar-benar berfungsi untuk pembangun yang membina di Asia sekarang.

OpenAI API kekal sebagai standard emas untuk keupayaan AI tujuan umum, tetapi latensi daripada pelayan berasaskan AS boleh mencapai 200-300ms untuk pembangun Asia Tenggara. Model harga — $0.002 setiap 1K token untuk GPT-4o mini — masuk akal untuk pasaran Barat tetapi memberi kesan berbeza apabila pengguna sasaran anda memperoleh $500-1000 setiap bulan. Namun, kualiti model dan dokumentasi yang luas menjadikannya pilihan lalai untuk prototaip.

Anthropic Claude menawarkan prestasi unggul dalam tugas penaakulan kompleks dan tetingkap konteks yang lebih panjang (200K token), menjadikannya ideal untuk aplikasi yang perlu memproses keseluruhan pangkalan kod atau dokumen panjang. Peluncuran Asia-Pasifik telah lebih perlahan daripada OpenAI, tetapi ketersediaan semakin baik. Pembangun di Singapura dan Tokyo melaporkan latensi yang boleh diterima, manakala mereka di Jakarta atau Manila masih melihat tamat masa sekali-sekali.

Alibaba Cloud Tongyi Qianwen mendominasi di China dan berkembang di seluruh Asia Tenggara dengan pusat data tempatan di Singapura, Malaysia, dan Indonesia. Prestasi bahasa Cina melebihi model Barat dengan margin yang ketara. Harga berjalan kira-kira 30% lebih rendah daripada OpenAI untuk tugas yang setanding. Pertukaran ialah dokumentasi terutamanya dalam bahasa Cina dan alat pembangun yang kurang matang berbanding platform AS.

Google Gemini membawa keupayaan multimodal dan integrasi ketat dengan infrastruktur Google Cloud. Peringkat percuma adalah murah hati — 1500 permintaan setiap hari untuk Gemini 1.5 Flash — menjadikannya menarik untuk syarikat permulaan peringkat awal. Pembangun Asia melaporkan latensi yang lebih baik daripada OpenAI daripada pusat data serantau Google, walaupun prestasi model ketinggalan sedikit di belakang GPT-4 dalam tugas penjanaan kod.

Apa yang hilang daripada landskap ini ialah platform yang dibina khusus untuk cara pembangun Asia benar-benar bekerja. Kebanyakan pasukan tidak memilih antara OpenAI dan Anthropic berdasarkan skor penanda aras. Mereka bertanya: Bolehkah saya menggunakannya di Jakarta? Adakah ia akan berfungsi dengan timbunan Node.js sedia ada saya? Bolehkah saya membelinya setelah saya mencapai 10,000 pengguna? Soalan praktikal ini lebih penting daripada keupayaan model teori.

Cara Memilih Alat Pembangunan AI yang Tepat untuk Timbunan Anda

Memilih alat pembangunan AI bermula dengan memahami keperluan sebenar anda, bukan mengejar keluaran model terbaru. Mulai dengan kekangan latensi. Jika anda membina aplikasi suara masa nyata, anda memerlukan masa respons hujung ke hujung di bawah 500ms. Itu segera mengecilkan pilihan anda kepada pembekal dengan infrastruktur serantau. Periksa di mana pelayan mereka benar-benar berjalan — "Asia-Pasifik" boleh bermakna Sydney (hebat untuk Australia, mengerikan untuk Vietnam) atau Singapura (baik untuk kebanyakan Asia Tenggara).

Pemodelan kos datang seterusnya. Kebanyakan platform mengenakan bayaran setiap token, tetapi pengiraan token berbeza antara pembekal. Artikel 1000 perkataan mungkin 750 token dalam GPT-4 dan 850 token dalam Claude. Darabkan volum permintaan bulanan yang dijangkakan anda dengan harga setiap token, kemudian tambah 30% untuk overhed dan lonjakan penggunaan yang tidak dijangka. Jika nombor itu melebihi belanjawan infrastruktur anda, anda memerlukan pendekatan yang berbeza. Pertimbangkan seni bina hibrid yang menggunakan model yang lebih kecil untuk pertanyaan mudah dan model mahal simpanan untuk tugas penaakulan kompleks.

Sokongan bahasa lebih penting daripada yang disedari oleh kebanyakan pembangun. Model berpusat Bahasa Inggeris bergelut dengan ulasan kod dalam Thai, mesej ralat dalam Bahasa Indonesia, atau pertanyaan pengguna yang mencampur Singlish dengan istilah teknikal. Uji platform pilihan anda dengan input pengguna sebenar dalam bahasa sasaran anda sebelum berkomitmen. Perbezaan antara "menyokong Cina" dan "berprestasi baik dalam dokumentasi teknikal Cina" adalah besar.

Kerumitan integrasi menentukan cara fa