Neocortex Logo

Cara Menambahkan Obrolan Suara ke NPC AI di Unity

Tambahkan obrolan suara ke NPC AI di Unity: input mikrofon dengan deteksi suara atau push-to-talk, balasan yang diucapkan, lip sync, serta pengaturan WebGL, Android, dan iOS.

Sercan AltundasFounder of Neocortex

· 9 menit baca

Tambahkan obrolan suara ke NPC AI di Unity: input mikrofon dengan deteksi suara atau push-to-talk, balasan yang diucapkan, lip sync, serta pengaturan WebGL, Android, dan iOS.

Mengetik kepada karakter itu tidak masalah. Berbicara kepadanya dan mendengar jawaban dengan suaranya sendiri adalah pengalaman yang berbeda. Panduan ini menambahkan obrolan suara penuh ke NPC AI di Unity dengan Neocortex SDK: mikrofon pemain sebagai masukan, balasan yang diucapkan sebagai keluaran, ditambah lip sync dan detail platform yang biasanya butuh seminggu untuk ditemukan.

Cara kerja obrolan suara di SDK

Satu giliran suara melewati tiga tahap: speech-to-text mendengar pemain, karakter menulis balasan, dan text-to-speech mengucapkannya. Panduan pipeline suara NPC AI kami menjelaskan setiap tahap. Di Unity Anda tidak perlu menghubungkannya sendiri: SDK menangani seluruh rantai dari tiga komponen pada satu GameObject.

KomponenFungsi
Neocortex Smart AgentKarakternya: mengirim rekaman, menerima balasan
Neocortex Audio ReceiverMikrofon, di desktop, Android, iOS, dan WebGL
Audio SourceTempat suara karakter diputar

Jika Anda belum menyiapkan SDK, mulailah dengan cara menambahkan karakter AI ke game Unity Anda.

Langkah 1: NPC suara tanpa kode

Tambahkan tiga komponen ke GameObject karakter Anda dan pilih karakternya di dropdown Smart Agent. Dengan Auto Voice Input aktif (default), agen menemukan receiver, mengirim setiap rekaman sebagai pesan suara, dan membuka mikrofon lagi setelah setiap balasan. Tekan Play dan bicaralah.

Jalan tercepat adalah klik kanan di Hierarchy > Neocortex > Complete Voice Chat, yang membangun rig yang sama dengan panel chat dan tombol mikrofon.

Langkah 2: pilih deteksi suara atau push-to-talk

Audio Receiver mendengarkan dengan deteksi suara secara default. Tiga pengaturan membentuknya:

  • Amplitude Threshold (default 0,1): seberapa keras pemain harus berbicara agar dihitung sebagai bicara. Naikkan di ruangan yang bising.
  • Max Wait Time (default 1 detik): berapa lama keheningan mengakhiri sebuah kalimat. Lebih pendek terasa lebih cepat, tetapi memotong pembicara yang lambat.
  • Lead In (default 0,3 detik): audio yang disimpan tepat sebelum pemain mulai berbicara, agar suku kata pertama tidak terpotong.

Untuk push-to-talk, ubah receiver dan mulai serta hentikan dari input Anda sendiri. Ini memakai Input System Unity:

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

Melepas V mengakhiri rekaman, dan agen langsung mengirimkannya. Untuk tombol di layar, Neocortex Push To Talk Button dari SDK melakukan hal yang sama saat ditekan dan dilepas, dan Neocortex Microphone Dropdown memungkinkan pemain memilih perangkatnya.

Langkah 3: atur balasan yang diucapkan

Chat Lines Mode pada Smart Agent menentukan cara balasan diucapkan:

  • PerLineAudio mengucapkan setiap baris saat dimulai, sehingga balasan panjang mulai terdengar dengan cepat.
  • SingleAudio mengucapkan seluruh balasan sebagai satu klip.
  • Off menyerahkan klipnya melalui OnAudioResponseReceived dan tidak memutar apa pun, untuk sistem audio Anda sendiri.

Ucapan mengalir dari server kami dan mulai diputar setelah buffer sepersekian detik, sehingga karakter mulai berbicara sebelum seluruh klip tercipta. Suara mengikuti emosi setiap baris, jadi baris yang panik terdengar panik.

Dua event membantu presentasi: OnTranscriptionReceived memberi Anda apa yang dikatakan pemain, untuk subtitle atau baris "Anda berkata", dan OnChatLineStarted memberi Anda setiap baris balasan saat dimulai.

Langkah 4: tambahkan lip sync

Tambahkan Neocortex Face Animator (Add Component > Neocortex) ke karakter. Ia menemukan agen dan audio source, lalu menggerakkan mulut berdasarkan teks yang diucapkan menggunakan blend shape bernama ARKit seperti JawOpen dan MouthFunnel. Avatar Ready Player Me sudah memilikinya. Memetakan emosi ke ekspresi wajah adalah tugas Anda; panduan kami tentang NPC AI yang emosional memiliki tabel praktisnya.

Catatan platform

  • Android dan iOS: receiver meminta izin mikrofon sendiri saat pertama kali digunakan. Event On Permission Denied-nya memungkinkan Anda menampilkan pesan atau beralih ke teks.
  • WebGL: mikrofon Unity tidak ada di browser. Pilih template WebGL Neocortex di Player Settings > Resolution and Presentation (SDK mengimpornya ke proyek Anda, dan Tools > Neocortex > Import WebGL Template mengembalikannya). Jalankan build lewat HTTPS, karena browser hanya mengizinkan mikrofon di halaman yang aman. Jika template tidak dipilih, konsol akan memperingatkan bahwa input mikrofon tidak akan berfungsi.
  • Desktop: pemain mungkin perlu mengizinkan akses mikrofon di pengaturan privasi sistem operasinya saat pertama kali.

Masalah umum

  • NPC menjawab suaranya sendiri. Di speaker, mikrofon bisa mendengar balasannya. Deteksi suara dibuka kembali setelah balasan selesai, tetapi push-to-talk atau headphone menghindarinya sepenuhnya.
  • Pemain terpotong di tengah kalimat. Naikkan sedikit Max Wait Time, atau beralih ke push-to-talk.
  • Klik pendek memicu balasan. Suara di bawah 0,15 detik sudah diabaikan. Naikkan Amplitude Threshold jika kebisingan latar masih lolos.
  • Tidak terjadi apa-apa di build web. Periksa template WebGL dan HTTPS terlebih dahulu.

Langkah berikutnya

Suara adalah bagian yang paling menunjukkan latensi, jadi baca cara mendapatkan balasan suara NPC AI di bawah satu detik. Untuk mengisi baris skrip Anda dengan suara yang sama, lihat text-to-speech untuk dialog NPC di Unity, dan untuk headset lihat karakter AI di game Meta Quest. Semua tutorial ada di panduan membangun NPC AI.

Pertanyaan yang sering diajukan

Bagaimana cara menambahkan obrolan suara dengan NPC AI di Unity?

Letakkan Neocortex Smart Agent, Audio Source, dan Neocortex Audio Receiver pada satu GameObject. Receiver merekam pemain, agen mentranskripsikannya dan membalas dengan suara karakter. Ini bekerja tanpa kode, dan push-to-talk hanya satu pengaturan.

Apakah pengenalan ucapan Unity bekerja di WebGL?

Kelas Microphone Unity tidak bekerja di browser. Neocortex SDK membawa mikrofon browser ke Unity lewat template WebGL-nya, sehingga NPC suara bekerja di build web yang dijalankan lewat HTTPS.

Push-to-talk atau deteksi suara untuk obrolan suara NPC?

Push-to-talk tidak pernah memotong pemain dan cocok untuk game PC dan controller. Deteksi suara tanpa tangan, yang cocok untuk VR. Neocortex Audio Receiver melakukan keduanya: deteksi suara secara default, push-to-talk dengan satu sakelar.

Bisakah NPC AI di Unity menggerakkan bibir?

Bisa. Tambahkan Neocortex Face Animator ke karakter. Ia menggerakkan mulut dari teks yang diucapkan pada blend shape bernama ARKit, yang dimiliki avatar Ready Player Me.

Apakah NPC suara bekerja di Android dan iOS?

Bisa. Neocortex Audio Receiver meminta izin mikrofon di Android dan iOS sendiri, dan komponen yang sama bekerja di desktop dan WebGL.

Artikel serupa

Baca juga