Neocortex Logo

STT, LLM, TTS: Yapay Zeka NPC Sesi Nasıl Çalışır

Sesli bir yapay zeka NPC'si nasıl çalışır: konuşmadan metne oyuncuyu dinler, bir LLM yanıtı yazar, metinden konuşmaya onu seslendirir. STT ile TTS, gecikme ve ne kurulacağı.

Sercan AltundasFounder of Neocortex

· 8 dk okuma

Sesli bir yapay zeka NPC'si nasıl çalışır: konuşmadan metne oyuncuyu dinler, bir LLM yanıtı yazar, metinden konuşmaya onu seslendirir. STT ile TTS, gecikme ve ne kurulacağı.

Sesli bir yapay zeka NPC'si, art arda çalışan üç modeldir: konuşmadan metne oyuncuyu dinler, bir dil modeli yanıtı yazar ve metinden konuşmaya yanıtı sesli olarak söyler. Bu serideki her motor eğitimi bu zincire dayanır. Bu rehber her parçayı, gecikmenin nereden geldiğini ve Neocortex'in tüm bunları tek bir karakterin arkasında nasıl çalıştırdığını anlatıyor.

Yapay zeka NPC ses hattının üç aşaması

1. Konuşmadan metne (STT): oyuncuyu duymak

Oyun mikrofonu kaydeder ve sesi, metin döndüren bir konuşma tanıma modeline gönderir. Burada iki seçim önemlidir:

  • Bas-konuş ya da ses algılama. Bas-konuş, oyuncunun konuşurken basılı tuttuğu bir düğmedir. Ses etkinliği algılama (VAD) sürekli dinler ve oyuncunun ne zaman başlayıp durduğuna karar verir. Bas-konuş daha basittir ve kimseyi asla yarıda kesmez. VAD daha doğal hissettirir, özellikle VR'da, ama ayarladığınız bir sessizlik eşiği ister.
  • Kelime dağarcığı. Konuşma modelleri uydurma isimlerde takılır. Dünyanızda Varrowmere adında bir kasaba varsa, model "barrel mere" diye duyabilir. Tanıyıcıya özel isimlerinizin kısa bir listesini vermek sorunun çoğunu çözer.

2. Dil modeli: yanıtı yazmak

Transkript, karakteri o yapan her şeyle birlikte büyük bir dil modeline gider: kişilik, neyi bildiği, şimdiye kadarki konuşma ve oyunda olan biten şeyler. Model bir sonraki satırı yazar.

Bir oyun için düz metin yeterli değildir. Karakterin nasıl hissettiğini de bilmek istersiniz, böylece yüz ve animasyon buna uyabilir. Ayrıca bir kapıyı açmak ya da bir eşyayı vermek gibi bir şey yapmaya karar verip vermediğini de. Kendi kurduğunuz düzenlerin çoğu burada karışır, çünkü serbest metinde ipucu aramak zorunda kalırsınız.

3. Metinden konuşmaya (TTS): sesli söylemek

Yanıt metni bir ses modeline gider ve o ses döndürür. Karakterler için iyi bir TTS, uyan bir ses (kaba bir demirci, sinirli bir memur), satırı izleyen bir duygu ve oyuncularınızın konuştuğu dillerin desteğini gerektirir.

STT ile TTS: aynı konuşmanın iki ucu

İnsanlar "STT vs TTS" diye, sanki birbirinin alternatifiymiş gibi arar. Değiller: STT kulak, TTS ağızdır.

Konuşmadan metne (STT)Metinden konuşmaya (TTS)
YönOyuncunun sesinden metneKarakterin metninden sese
GirdiMikrofon sesiLLM'in yazdığı yanıt
Neler ters gidebilirYanlış duyulan isimler, arka plan gürültüsü, yarıda kesilen cümlelerDüz okuma, yanlış telaffuz, yavaş ilk ses
Neyi ayarlamalıBas-konuş ya da VAD, sessizlik eşiği, kelime dağarcığıSes seçimi, duygu, akış

Yalnızca yazan bir karakterin ikisine de ihtiyacı yoktur. Oyuncuların konuştuğu ama metinle yanıt veren bir karakterin STT'ye ihtiyacı vardır. Önceden yazılmış satırları söyleyen bir karakterin TTS'ye ihtiyacı vardır. Açık sesli sohbet ise ikisine ve ortadaki modele birden ihtiyaç duyar.

Gecikme nereden gelir

Oyuncular bir saniyeden uzun duraklamayı fark eder. Toplam bekleme kabaca şöyledir:

  1. Oyuncunun konuşmayı bitirdiğinden emin olmayı beklemek (VAD sessizlik eşiği ya da bas-konuşu bırakma).
  2. Sesi transkript etmek.
  3. Modelin ilk kelimelerini yazması.
  4. Ses modelinin ilk sesi üretmesi.

Bunları birbiri ardına, her birinin tamamen bitmesini bekleyerek çalıştırırsanız, üç ya da dört saniyelik duraklamalar oluşur. Çözüm akıştır: Yanıtın geri kalanı hâlâ yazılırken ilk cümleyi konuşmaya başlayın. Gecikme rehberimiz her aşamayı sayılarla adım adım anlatıyor.

Neocortex hattı nasıl çalıştırır

Neocortex ile üç servisi birbirine bağlamazsınız. Karakteri, kişiliği, bilgi tabanı, duyguları, eylemleri ve sesi olan bir tarayıcı editöründe kurarsınız. SDK zinciri yönetir:

  • Oyuncunun sesi için konuşmadan metne, 20'den fazla dilde, Unity, Unreal ve Godot'taki tek bir mikrofon bileşeninden. Bir Vocabulary düğümü dünyanızın isimlerini listeler, böylece "Varrowmere" olduğu gibi gelir.
  • Yanıt, HAPPY, CURIOUS ya da ANNOYED gibi bir duygu etiketiyle, bir de karakterin seçtiği eylemlerle birlikte döner. Oyununuz böylece serbest metni hiç ayrıştırmaz.
  • Karakterin kendi sesiyle metinden konuşmaya. Unity, Godot ve Web SDK'sında akar, yani yanıtın tamamı hazır olmadan karakter konuşmaya başlar.

Bunu kendiniz çağırmak isterseniz, Web API aynı işi HTTP üzerinden yapar. Metin bir tur tek bir istektir:

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

Yanıt bir sessionId ve bir messages dizisi taşır. Her mesajda lines (her biri text ve bir emotion ile), actions ve flowState bulunur. Konuşmayı sürdürmek için bir sonraki mesajla birlikte sessionId değerini geri gönderin.

NPC'nizin neye ihtiyacı olduğunu seçmek

Her NPC'nin tam zincire ihtiyacı yoktur:

  • Arka plan karakterleri yazılmış replikte kalabilir. Yapay zekaya gerek yok.
  • Görev verenler ve dükkâncılar, metin sohbeti ve TTS ile iyi çalışır: Oyuncular yazar, karakter konuşur.
  • Yoldaşlar ve VR karakterleri tam sesten en çok yararlanır, çünkü oyuncular zaten yüksek sesle konuşuyordur ya da elleri doludur.
  • Erişilebilirlik. Sesli girdi, yazmakta zorlanan oyunculara yardımcı olur. Sesli yanıtlar ise okumakta zorlanan oyunculara. İki yönü de zorunluluk olarak değil, seçenek olarak sunun.

Motorunuzda kurun

Bu serideki her motor rehberi aynı hattı adım adım kurar:

Hepsi yapay zeka NPC'leri kurma rehberimizde toplanmış durumda.

Sık sorulan sorular

STT ile TTS arasındaki fark nedir?

Ters yönlerde çalışırlar. Konuşmadan metne (STT), oyuncunun sesini oyunun okuyabileceği metne çevirir. Metinden konuşmaya (TTS) ise karakterin yazılı yanıtını sese çevirir. Sesli bir NPC ikisine de ihtiyaç duyar ve aralarında bir dil modeli bulunur.

Konuşan bir NPC için LLM gerekli mi?

Yalnızca NPC'nin sizin yazmadığınız şeylere yanıt vermesi gerekiyorsa. Önceden kaydedilmiş satırların hiç modele ihtiyacı yoktur. Açık sohbet için STT, bir LLM ve TTS gerekir. Neocortex bu üçünü tek bir karakterin arkasında çalıştırır.

Sesli bir yapay zeka NPC'si ne kadar hızlı yanıt verebilir?

Gecikme, oyuncunun konuşmayı bitirdiğini duymanın, transkript etmenin, ilk kelimeleri yazmanın ve bunları seslendirmenin toplamıdır. Her aşamanın bir sonrakine akması, bunu bir saniyeye yaklaştıran şeydir. Neocortex, yanıt hâlâ yazılırken seslendirir.

Yapay zeka NPC'si için kendi seslerimi kullanabilir miyim?

Evet. Neocortex'te hazır seslerden oluşan bir kütüphane var. Özel sesler ise Pro planda (5) ve Team planda (20) kullanılabilir. Her karakter sesini Unity, Unreal, Godot'ta ve web'de korur.

Yapay zeka NPC'siyle sesli sohbet çevrimdışı çalışır mı?

Yalnızca üç modelin de oyuncunun cihazında çalışması durumunda. Neocortex varsayılan olarak bulutta çalışır. Stüdyolar ise cihaz üzerinde bir çalışma zamanını Custom plan olarak ayarlayabilir.

Benzer yazılar

Okumaya devam et