Speech-to-Text, LLM, Text-to-Speech: Cara Suara NPC AI Bekerja
Cara kerja NPC AI yang bersuara: speech-to-text mendengar pemain, LLM menulis balasan, text-to-speech mengucapkannya. STT vs TTS, latensi, dan apa yang perlu dibangun.
Sercan AltundasFounder of Neocortex
· 8 menit baca

NPC AI yang bersuara terdiri dari tiga model yang berurutan: speech-to-text mendengar pemain, language model menulis balasan, dan text-to-speech mengucapkannya dengan suara. Setiap tutorial engine dalam seri ini dibangun di atas rantai itu, jadi panduan ini menjelaskan setiap bagiannya, dari mana penundaan berasal, dan bagaimana Neocortex menjalankan semuanya di balik satu karakter.
Tiga tahap pipeline suara NPC AI
1. Speech-to-text (STT): mendengar pemain
Game merekam mikrofon dan mengirim audionya ke model speech recognition, yang mengembalikan teks. Ada dua pilihan yang penting di sini:
- Push-to-talk atau voice detection. Push-to-talk adalah tombol yang ditahan pemain saat berbicara. Voice activity detection (VAD) mendengarkan terus-menerus dan memutuskan kapan pemain mulai dan berhenti. Push-to-talk lebih sederhana dan tidak pernah memotong ucapan siapa pun. VAD terasa lebih alami, terutama di VR, tetapi membutuhkan ambang hening yang harus Anda atur.
- Kosakata. Model ucapan sering keliru dengan nama-nama buatan. Jika dunia Anda memiliki kota bernama Varrowmere, model mungkin mendengarnya sebagai "barrel mere". Memberi recogniser daftar pendek nama khas dunia Anda akan memperbaiki sebagian besar masalah ini.
2. Language model: menulis balasan
Transkrip dikirim ke large language model bersama semua hal yang membuat karakter itu seperti dirinya: kepribadian, apa yang ia ketahui, percakapan sejauh ini, dan apa yang sedang terjadi di dalam game. Model menulis baris berikutnya.
Untuk sebuah game, teks biasa tidak cukup. Anda juga perlu tahu bagaimana perasaan karakter, agar wajah dan animasinya bisa menyesuaikan, dan apakah ia memutuskan untuk melakukan sesuatu, seperti membuka gerbang atau menyerahkan item. Di sinilah sebagian besar penyiapan buatan sendiri menjadi berantakan, karena Anda akhirnya harus mengurai teks bebas untuk mencari petunjuk.
3. Text-to-speech (TTS): mengucapkannya dengan suara
Teks balasan dikirim ke model suara, yang mengembalikan audio. TTS yang baik untuk karakter membutuhkan suara yang cocok (pandai besi yang kasar, juru tulis yang gugup), emosi yang mengikuti baris, dan dukungan untuk bahasa yang digunakan pemain Anda.
STT vs TTS: dua ujung dari percakapan yang sama
Orang sering mencari "STT vs TTS" seolah-olah keduanya alternatif. Padahal bukan: STT adalah telinga, dan TTS adalah mulut.
| Speech-to-text (STT) | Text-to-speech (TTS) | |
|---|---|---|
| Arah | Suara pemain menjadi teks | Teks karakter menjadi suara |
| Input | Audio mikrofon | Balasan yang ditulis LLM |
| Yang bisa salah | Nama yang salah dengar, suara latar, kalimat yang terpotong | Penyampaian datar, pengucapan salah, audio pertama yang lambat |
| Yang perlu diatur | Push-to-talk atau VAD, ambang hening, kosakata | Pilihan suara, emosi, streaming |
Karakter yang hanya mengetik tidak membutuhkan keduanya. Karakter yang diajak bicara oleh pemain tetapi menjawab dengan teks membutuhkan STT. Karakter yang mengucapkan baris naskah membutuhkan TTS. Percakapan suara terbuka membutuhkan keduanya, ditambah model di tengahnya.
Dari mana penundaan berasal
Pemain menyadari jeda lebih dari sekitar satu detik. Total waktu tunggu kira-kira terdiri dari:
- Menunggu untuk memastikan pemain sudah berhenti bicara (ambang hening VAD, atau saat tombol push-to-talk dilepas).
- Mentranskrip audio.
- Model menulis kata-kata pertamanya.
- Model suara menghasilkan audio pertamanya.
Menjalankan semua ini satu per satu, dengan menunggu setiap tahap selesai sepenuhnya, adalah penyebab jeda tiga atau empat detik. Solusinya adalah streaming: mulai mengucapkan kalimat pertama selagi sisa balasan masih ditulis. Panduan latensi kami membahas setiap tahap dengan angka.
Cara Neocortex menjalankan pipeline
Dengan Neocortex, Anda tidak perlu menyambungkan tiga layanan sendiri. Anda membangun karakter di editor browser dengan kepribadian, basis pengetahuan, emosi, aksi, dan suaranya, lalu SDK menangani rantainya:
- Speech-to-text untuk suara pemain, dalam lebih dari 20 bahasa, dari satu komponen mikrofon di Unity, Unreal, dan Godot. Node Vocabulary mencantumkan nama-nama dunia Anda, sehingga "Varrowmere" tetap terdengar sebagai Varrowmere.
- Balasannya kembali dengan tag emosi seperti
HAPPY,CURIOUS, atauANNOYED, ditambah aksi apa pun yang dipilih karakter, sehingga game Anda tidak perlu mengurai teks bebas. - Text-to-speech dengan suara karakter itu sendiri. Di Unity, Godot, dan Web SDK, audionya di-stream, sehingga karakter mulai berbicara sebelum seluruh balasan siap.
Jika Anda lebih suka memanggilnya sendiri, Web API melakukan hal yang sama lewat HTTP. Satu giliran teks adalah satu permintaan:
curl -X POST https://api.neocortex.link/v3/chat \
-H "x-api-key: $NEOCORTEX_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'Balasannya berisi sessionId dan array messages, di mana setiap message memiliki lines (masing-masing dengan text dan emotion), actions, dan flowState. Kirim kembali sessionId bersama pesan berikutnya untuk melanjutkan percakapan.
Memilih apa yang dibutuhkan NPC Anda
Tidak semua NPC membutuhkan rantai lengkap:
- Karakter latar belakang bisa tetap memakai bark yang ditulis manual. Tidak perlu AI.
- Pemberi quest dan pemilik toko cocok dengan chat teks ditambah TTS, sehingga pemain mengetik dan karakter berbicara.
- Companion dan karakter VR paling diuntungkan dari suara penuh, karena pemain memang sudah berbicara dengan lantang atau tangan mereka sedang sibuk.
- Aksesibilitas. Input suara membantu pemain yang kesulitan mengetik, dan balasan lisan membantu pemain yang kesulitan membaca. Tawarkan kedua arah sebagai pilihan, bukan kewajiban.
Bangun di engine Anda
Setiap panduan engine dalam seri ini menyiapkan pipeline yang sama langkah demi langkah:
- Cara menambahkan karakter AI ke game Unity Anda, lalu chat suara untuk NPC AI di Unity
- Cara menambahkan NPC AI ke Unreal Engine 5
- Cara menambahkan dialog NPC AI di Godot 4
Semuanya dikumpulkan dalam panduan kami tentang membangun NPC AI.
Pertanyaan yang sering diajukan
Apa perbedaan antara STT dan TTS?
Keduanya berjalan dalam arah yang berlawanan. Speech-to-text (STT) mengubah suara pemain menjadi teks yang bisa dibaca game, dan text-to-speech (TTS) mengubah balasan tertulis karakter menjadi audio. NPC yang bersuara membutuhkan keduanya, dengan language model di antaranya.
Apakah saya membutuhkan LLM untuk NPC yang bisa bicara?
Hanya jika NPC tersebut harus menjawab hal-hal yang tidak Anda naskahkan. Baris yang sudah direkam tidak membutuhkan model sama sekali. Untuk percakapan terbuka, Anda membutuhkan STT, LLM, dan TTS, dan Neocortex menjalankan ketiganya di balik satu karakter.
Seberapa cepat NPC AI yang bersuara bisa menjawab?
Penundaannya adalah jumlah dari mendengar pemain selesai bicara, mentranskrip, menulis kata-kata pertama, dan mengucapkannya. Streaming setiap tahap ke tahap berikutnya yang membuatnya mendekati satu detik. Neocortex mengucapkan balasan selagi balasan itu masih ditulis.
Bisakah saya memakai suara saya sendiri untuk NPC AI?
Bisa. Neocortex memiliki pustaka suara siap pakai, dan suara kustom tersedia di paket Pro (5) dan paket Team (20). Setiap karakter mempertahankan suaranya di Unity, Unreal, Godot, dan web.
Apakah chat suara dengan NPC AI bisa berjalan offline?
Hanya jika ketiga model berjalan di perangkat pemain. Neocortex berjalan di cloud secara default, dan studio bisa mengatur runtime on-device sebagai paket Custom.






