NPC Suara dengan OpenAI Realtime API vs Neocortex
Anda bisa menghubungkan OpenAI Realtime API ke Unity sendiri. Inilah semua yang dibutuhkan pekerjaan itu, dan kapan platform siap-game seperti Neocortex menghemat berminggu-minggu.
Neocortex TeamThe team behind Neocortex
· Diperbarui 20 Okt 2026 · 5 menit baca

Pada Jumat malam Anda menghubungkan mikrofon ke gpt-realtime-2.1, menulis prompt sistem untuk pandai besi yang galak, dan pada Minggu ia sudah menghina pilihan zirah Anda dengan suara keras. Rasanya sudah selesai. Padahal belum.
Model speech-to-speech membuat demo NPC yang bisa bicara selesai dalam satu sore. Mengirimkan NPC itu ke pemain membutuhkan waktu jauh lebih lama, dan hampir semua pekerjaan tambahannya tidak berkaitan dengan modelnya. Posting ini memaparkan apa yang dibutuhkan untuk membangun NPC suara langsung di OpenAI Realtime API di Unity, dan di mana Neocortex masuk.
Apa yang diberikan Realtime API
- Model speech-to-speech, dipimpin saat ini oleh gpt-realtime-2.1, dengan tingkat penalaran yang bisa diatur, function calling, dan jendela konteks 128K.
- Koneksi lewat WebRTC untuk browser dan mobile, WebSocket dari server, dan SIP untuk panggilan telepon.
- Client secret berumur pendek yang dibuat server Anda untuk setiap sesi, sehingga API key tetap berada di luar klien.
- Suara bawaan, sepuluh jumlahnya. Suara tidak bisa diganti setelah model berbicara dalam sebuah sesi.
- Suara kustom dari rekaman, terbatas untuk pelanggan yang memenuhi syarat dan menghubungi sales OpenAI, dengan rekaman persetujuan dari pemilik suara.
- Harga berbasis token untuk audio dan teks, input dan output.
- Sesi dibatasi 60 menit.
- SDK resmi untuk JavaScript, Python, .NET, Java, Go dan Ruby. Dukungan Unity berasal dari pustaka komunitas.
DIY dengan OpenAI Realtime vs Neocortex
| DIY dengan OpenAI Realtime | Neocortex | |
|---|---|---|
| Klien Unity | Tulis sendiri, atau pakai pustaka komunitas | Unity SDK, Unity 6, enam scene contoh |
| Penanganan sesi | Server client secret, sambung ulang sebelum 60 menit | Tidak ada batas sesi: setiap giliran adalah panggilan API terpisah |
| Desain karakter | Prompt di dalam kode | Editor node visual |
| Suara | Suara bawaan; suara kustom untuk pelanggan yang memenuhi syarat | Voice cloning dan voice design di Pro dan Team |
| Aksi game | Hubungkan function call sendiri | Aksi dengan target ID dan objek scene sudah tersedia |
| Struktur cerita | State machine buatan sendiri | Conversation Flows dengan checkpoint flowState |
| Engine | Apa pun yang Anda bangun | Unity, Unreal Engine 5, Godot, Web API |
| Pilihan model | Model OpenAI | Dikelola untuk Anda, plus model lokal lewat Ollama di Unity untuk prototipe chat teks |
| Biaya | Token audio dan teks | Paket bulanan dengan jatah pemakaian |
Delapan hal yang akan Anda bangun sendiri
Untuk merilis NPC bersuara di Realtime API, tim Anda harus menangani:
- Klien audio Unity yang menangkap mikrofon, men-stream-nya, dan memutar balasan tanpa jeda, termasuk di build WebGL, tempat Unity tidak punya input mikrofon bawaan.
- Backend kecil yang mengautentikasi pemain dan membuat client secret untuk setiap sesi, karena API key Anda tidak boleh pernah ikut dalam build game.
- Desain karakter sebagai prompt, yang harus tetap konsisten di setiap pembaruan model dan bagi setiap penulis yang menyentuhnya.
- Siklus hidup sesi: menyambung ulang sebelum batas 60 menit, dan membawa percakapan melewati celah itu.
- Integrasi game, agar function call berubah menjadi aksi pada objek yang tepat di scene Anda.
- Guardrail, agar pandai besi tetap menjadi pandai besi saat pemain mencoba menjadikannya sesuatu yang lain.
- Kontrol biaya, karena setiap detik audio masuk dan keluar ditagih dalam token.
- Pemeliharaan setiap kali model, harga, atau API berubah, di setiap engine yang Anda rilis.
Tidak ada yang mustahil. Semuanya adalah waktu yang tidak Anda habiskan untuk game Anda.
Seorang NPC pedagang, dibangun dengan dua cara
Katakanlah pemain masuk ke toko dan meminta pemilik toko satu ramuan penyembuh. Pemilik toko seharusnya menjawab sesuai karakternya, terdengar kesal jika pemain tadi kasar, dan benar-benar menyerahkan barangnya.
Di Realtime API
Anda menulis prompt yang menggambarkan pedagang dan stok tokonya, lalu mendefinisikan fungsi give_item.
Backend Anda membuat client secret, klien Unity Anda membuka sesi, men-stream suara pemain, dan memutar balasan. Saat model memanggil give_item, kode Anda menemukan ramuan itu dan memindahkannya ke inventaris.
Untuk suasana hati pedagang, Anda melacak kekasaran di status game dan memasukkannya ke prompt, lalu menambahkan isyarat animasi dengan mengurai teks atau meminta model mengembalikan output terstruktur. Jika suaranya harus unik untuk karakter ini, Anda memeriksa apakah Anda memenuhi syarat untuk suara kustom.
Di Neocortex
Anda membangun pedagang di editor visual: Personality dan Emotion awal untuk temperamen, Knowledge untuk daftar stok, Intent untuk membeli, dan Action untuk menyerahkan barang. Anda meng-clone atau merancang suara untuknya.
Di Unity, game Anda mengirim objek terdekat dan peristiwa terbaru, termasuk komentar kasar pemain. Balasannya datang sebagai baris dengan tag emosi, sehingga animator tahu ia kesal, plus aksi seperti { "name": "GIVE_ITEM", "targetId": "potion_01" } yang dijalankan game Anda.
Anda menguji seluruh percakapan di browser terlebih dahulu.
Kedua versi memakai model yang mumpuni. Bedanya ada pada tempat pedagang itu hidup: di sebuah string prompt dan kode perekat yang harus dipelihara insinyur Anda, atau di dalam karakter yang bisa dibuka, dibaca, dan diubah desainer tanpa menyentuh build.
Bangun game-nya, bukan plumbing-nya
Biaya sebenarnya dari jalur DIY muncul setelah peluncuran. Pembaruan model mengubah cara pandai besi berbicara, perubahan harga menggeser margin Anda, dan versi Unity baru merusak pustaka komunitas yang Anda andalkan. Setiap hal itu jatuh ke tim Anda, biasanya saat Anda sedang sibuk dengan hal lain.
Realtime API adalah model yang Anda bangun tumpukan suaranya. Neocortex adalah tumpukan suara itu sendiri, dengan karakter, SDK engine, dan hook gameplay yang sudah tersedia, dan kami pelihara seiring model dan API berubah. Desainer mengedit kepribadian, emosi, pengetahuan, intent, dan aksi sebagai node dalam graf, bukan prompt yang terkubur dalam kode, dan insinyur Anda menghabiskan minggunya untuk game.
Detail OpenAI terakhir diperiksa pada Oktober 2026.
Pertanyaan yang sering diajukan
Apakah OpenAI Realtime API punya SDK Unity?
Tidak. SDK resmi OpenAI mencakup JavaScript, Python, .NET, Java, Go dan Ruby, dan dukungan Unity berasal dari pustaka komunitas. Neocortex punya Unity SDK untuk Unity 6 dengan enam scene contoh, ditambah Unreal Engine 5, Godot, dan Web API.
Berapa lama sesi OpenAI Realtime bisa berlangsung?
Sesi Realtime dibatasi 60 menit, sehingga sesi bermain yang panjang membutuhkan logika sambung ulang dan cara untuk membawa konteks. Dengan Neocortex, setiap giliran adalah panggilan API terpisah dan SDK menanganinya, jadi tidak ada sesi yang bisa habis waktu, dan Anda bekerja dengan balasan dan aksi.
Apakah OpenAI Realtime API mendukung suara kustom?
Suara kustom dari rekaman terbatas untuk pelanggan yang memenuhi syarat dan melalui sales OpenAI; pihak lain memilih dari suara bawaan. Neocortex memungkinkan Anda meng-clone suara dari sampel singkat yang Anda miliki haknya, atau merancang satu dari deskripsi teks, dengan 5 suara kustom di Pro dan 20 di Team.
Bagaimana harga OpenAI Realtime API?
Berdasarkan token teks dan audio, masuk dan keluar, sehingga setiap detik ucapan menambah tagihan. Paket Neocortex bersifat bulanan dengan jatah pemakaian.






