Unity'de Yapay Zeka NPC'lerine Sesli Sohbet Nasıl Eklenir
Unity'de yapay zeka NPC'lerine sesli sohbet ekleyin: ses algılamalı ya da bas-konuş mikrofon girişi, sesli yanıtlar, lip sync ve WebGL, Android ve iOS kurulumu.
Sercan AltundasFounder of Neocortex
· 9 dk okuma

Bir karaktere yazmak iyidir. Onunla konuşmak ve cevabını kendi sesiyle duymak ise başka bir oyundur. Bu rehber, Neocortex SDK ile bir yapay zeka NPC'sine Unity'de tam sesli sohbet ekliyor: oyuncunun mikrofonu içeri, konuşulmuş bir yanıt dışarı; ayrıca lip sync ve genellikle bir hafta sürebilen platform ayrıntıları.
SDK'da sesli sohbet nasıl çalışır
Bir sesli tur üç aşamadan geçer: konuşmadan metne oyuncuyu dinler, karakter bir yanıt yazar ve metinden sese onu seslendirir. Yapay zeka NPC sesli hattı rehberimiz her birini açıklıyor. Unity'de bunları kendiniz bağlamazsınız: SDK tüm zinciri tek bir GameObject üzerindeki üç bileşenden yönetir.
| Bileşen | Görevi |
|---|---|
| Neocortex Smart Agent | Karakter: kaydı gönderir, yanıtı alır |
| Neocortex Audio Receiver | Mikrofon; masaüstü, Android, iOS ve WebGL'de |
| Audio Source | Karakterin sesinin çalındığı yer |
SDK'yı henüz kurmadıysanız, Unity oyununuza bir yapay zeka karakteri nasıl eklenir yazısıyla başlayın.
Adım 1: kodsuz sesli NPC
Üç bileşeni karakterinizin GameObject'ine ekleyin ve Smart Agent'ın açılır listesinden karakteri seçin. Auto Voice Input açıkken (varsayılan), agent alıcıyı bulur, her kaydı bir ses mesajı olarak gönderir ve her yanıttan sonra mikrofonu yeniden açar. Play'e basın ve konuşun.
En hızlı yol, Hierarchy'de sağ tık > Neocortex > Complete Voice Chat; bu, bir sohbet paneli ve bir mikrofon düğmesi içeren aynı düzeneği kurar.
Adım 2: ses algılama ya da bas-konuş seçin
Audio Receiver varsayılan olarak ses algılamayla dinler. Üç ayar bunu şekillendirir:
- Amplitude Threshold (varsayılan 0,1): oyuncunun konuşuyor sayılması için ne kadar yüksek olması gerektiği. Gürültülü odalarda artırın.
- Max Wait Time (varsayılan 1 saniye): bir cümleyi bitiren sessizlik süresi. Daha kısa olması daha hızlı hissettirir, ama yavaş konuşanları keser.
- Lead In (varsayılan 0,3 saniye): oyuncu başlamadan hemen önceki sesin korunması; böylece ilk heceler kesilmez.
Bas-konuş için alıcıyı buna geçirin ve konuşmayı kendi girdinizden başlatıp durdurun. Bu, Unity'nin Input System'ini kullanır:
using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;
public class PushToTalk : MonoBehaviour
{
[SerializeField] private NeocortexAudioReceiver microphone;
private void Start() => microphone.SetPushToTalk(true);
private void Update()
{
var keyboard = Keyboard.current;
if (keyboard == null) return;
if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
}
}V tuşunu bıraktığınızda kayıt biter ve agent onu hemen gönderir. Ekrandaki bir düğme için SDK'nın Neocortex Push To Talk Button bileşeni basıldığında ve bırakıldığında aynısını yapar; Neocortex Microphone Dropdown ise oyuncuların cihazını seçmesini sağlar.
Adım 3: sesli yanıtı şekillendirin
Smart Agent'ın Chat Lines Mode ayarı yanıtın nasıl seslendirileceğine karar verir:
- PerLineAudio her satırı başladığında seslendirir; böylece uzun bir yanıt hızla konuşmaya başlar.
- SingleAudio tüm yanıtı tek bir klip olarak seslendirir.
- Off klibi
OnAudioResponseReceivedüzerinden size verir ve hiçbir şey oynatmaz; kendi ses sisteminiz için.
Konuşma sunucularımızdan akar ve tam klip hazır olmadan, birkaç yüzde saniyelik bir tampondan sonra çalmaya başlar; böylece karakter tüm klip oluşmadan konuşmaya başlar. Ses her satırın duygusunu izler; bu yüzden alarmlı bir satır alarmlı çıkar.
İki olay sunuma yardımcı olur: OnTranscriptionReceived oyuncunun söylediklerini, altyazılar ya da bir "söylediğiniz" satırı için verir; OnChatLineStarted ise yanıtın her satırını başladığı anda verir.
Adım 4: lip sync ekleyin
Karaktere Neocortex Face Animator (Add Component > Neocortex) ekleyin. Agent'ı ve ses kaynağını bulur ve ağzı konuşulan metinden hareket ettirir; bunu JawOpen ve MouthFunnel gibi ARKit adlı blend shape'lerle yapar. Ready Player Me avatarlarında bunlar hazır gelir. Duyguların yüz ifadelerine eşlenmesi size kalır; duygusal yapay zeka NPC'leri rehberinde pratik bir tablo var.
Platform notları
- Android ve iOS: alıcı, ilk kullanımda mikrofon iznini kendisi ister. On Permission Denied olayı bir mesaj göstermenize ya da metne geri dönmenize olanak tanır.
- WebGL: Unity'nin mikrofonu tarayıcılarda yoktur. Player Settings > Resolution and Presentation altında Neocortex WebGL şablonunu seçin (SDK bunu projenize içe aktarır; Tools > Neocortex > Import WebGL Template onu geri yükler). Derlemeyi HTTPS üzerinden yayımlayın, çünkü tarayıcılar mikrofona yalnızca güvenli sayfalarda izin verir. Şablon seçilmezse konsol, mikrofon girişinin çalışmayacağı konusunda uyarır.
- Masaüstü: Oyuncuların ilk kullanımda işletim sisteminin gizlilik ayarlarında mikrofon erişimine izin vermesi gerekebilir.
Sık karşılaşılan sorunlar
- NPC kendi sesini yanıtlıyor. Hoparlörlerde mikrofon yanıtı duyabilir. Ses algılama yanıt bittikten sonra yeniden açılır, ama bas-konuş ya da kulaklık bunu tamamen önler.
- Oyuncular cümlenin ortasında kesiliyor. Max Wait Time'ı biraz artırın ya da bas-konuşa geçin.
- Kısa tıklamalar yanıt tetikliyor. 0,15 saniyeden kısa sesler zaten yok sayılır. Arka plan gürültüsü hâlâ geçiyorsa Amplitude Threshold'u artırın.
- Web derlemesinde hiçbir şey olmuyor. Önce WebGL şablonunu ve HTTPS'i kontrol edin.
Sonraki adımlar
Ses, gecikmenin en çok hissedildiği yer; bu yüzden yapay zeka NPC seslerine bir saniyenin altında nasıl yanıt verilir yazısını okuyun. Yazılı satırlarınızı aynı sesle seslendirmek için Unity'de NPC diyaloğu için metinden ses yazısına, kulaklıklar için ise Meta Quest oyununda yapay zeka karakterleri yazısına bakın. Tüm eğitimler yapay zeka NPC'leri oluşturma rehberinde toplanmış.
Sık sorulan sorular
Unity'de bir yapay zeka NPC'si ile sesli sohbeti nasıl eklerim?
Aynı GameObject üzerine bir Neocortex Smart Agent, bir Audio Source ve bir Neocortex Audio Receiver koyun. Alıcı oyuncuyu kaydeder, agent konuşmayı metne çevirir ve karakterin sesiyle yanıtlar. Kodsuz çalışır; bas-konuş ise tek bir ayardır.
Unity konuşma tanıma WebGL'de çalışır mı?
Unity'nin Microphone sınıfı tarayıcılarda çalışmaz. Neocortex SDK, tarayıcının mikrofonunu WebGL şablonu üzerinden Unity'ye getirir; böylece sesli NPC'ler HTTPS üzerinden sunulan web derlemelerinde çalışır.
Yapay zeka NPC sesli sohbeti için bas-konuş mu, ses algılama mı?
Bas-konuş oyuncuları asla kesmez ve PC ile kontrolcü oyunlarına uyar. Ses algılama elleri serbest bırakır, bu da VR'a uyar. Neocortex Audio Receiver ikisini de yapar: varsayılan olarak ses algılama, tek bir anahtarla bas-konuş.
Unity yapay zeka NPC'si ağız hareketi yapabilir mi?
Evet. Karaktere Neocortex Face Animator'ı ekleyin. Ağzı, Ready Player Me avatarlarında bulunan ARKit adlı blend shape'ler üzerinde konuşulan metinden hareket ettirir.
Sesli NPC'ler Android ve iOS'ta çalışır mı?
Evet. Neocortex Audio Receiver, Android ve iOS'ta mikrofon iznini kendisi ister ve aynı bileşen masaüstünde ve WebGL'de de çalışır.






