Neocortex Logo

유니티 AI NPC에 음성 대화 추가하는 방법

유니티에서 AI NPC에 음성 대화 추가하기: 음성 감지 또는 누르고 말하기 마이크 입력, 말로 하는 답변, 립싱크, WebGL, Android, iOS 설정.

Sercan AltundasFounder of Neocortex

· 9분 분량

유니티에서 AI NPC에 음성 대화 추가하기: 음성 감지 또는 누르고 말하기 마이크 입력, 말로 하는 답변, 립싱크, WebGL, Android, iOS 설정.

캐릭터에게 타이핑하는 것도 괜찮습니다. 하지만 말을 걸고 그 캐릭터 고유의 목소리로 대답을 듣는 것은 전혀 다른 경험입니다. 이 가이드는 Neocortex SDK로 유니티의 AI NPC에 완전한 음성 대화를 추가합니다. 플레이어의 마이크가 입력되고, 말로 된 답변이 나오며, 립싱크와 보통 찾는 데 일주일이 걸리는 플랫폼별 세부 사항까지 다룹니다.

SDK에서 음성 대화가 동작하는 방식

음성 한 턴은 세 단계를 거칩니다. 음성 인식이 플레이어의 말을 듣고, 캐릭터가 답변을 쓰고, 음성 합성이 그것을 말합니다. AI NPC 음성 파이프라인 가이드가 각 단계를 설명합니다. 유니티에서는 이것을 직접 연결하지 않아도 됩니다. SDK가 하나의 GameObject에 붙은 세 컴포넌트로 전체 흐름을 처리합니다.

컴포넌트역할
Neocortex Smart Agent캐릭터. 녹음을 보내고 답변을 받음
Neocortex Audio Receiver마이크. 데스크톱, Android, iOS, WebGL에서 동작
Audio Source캐릭터의 목소리가 재생되는 곳

아직 SDK를 설정하지 않았다면 유니티 게임에 AI 캐릭터를 추가하는 방법부터 보세요.

1단계: 코드 없이 만드는 음성 NPC

캐릭터의 GameObject에 세 컴포넌트를 추가하고, Smart Agent의 드롭다운에서 캐릭터를 고르세요. Auto Voice Input(기본값으로 켜짐)을 켜 두면, 에이전트가 Receiver를 찾고, 각 녹음을 음성 메시지로 보내고, 답변이 올 때마다 마이크를 다시 엽니다. Play를 누르고 말하세요.

가장 빠른 방법은 Hierarchy에서 우클릭 > Neocortex > Complete Voice Chat입니다. 채팅 패널과 마이크 버튼이 붙은 같은 구성을 만들어 줍니다.

2단계: 음성 감지 또는 누르고 말하기 선택

Audio Receiver는 기본적으로 음성 감지로 듣습니다. 세 가지 설정이 이를 결정합니다.

  • Amplitude Threshold(기본 0.1): 플레이어가 얼마나 커야 말하는 것으로 인식되는지. 시끄러운 방에서는 올리세요.
  • Max Wait Time(기본 1초): 얼마나 조용해야 문장이 끝난 것으로 보는지. 짧으면 빨라 보이지만, 말이 느린 사람의 말을 끊습니다.
  • Lead In(기본 0.3초): 플레이어가 말하기 직전의 소리도 포함해, 첫 음절이 잘리지 않게 합니다.

누르고 말하기를 쓰려면 Receiver를 전환한 뒤, 직접 만든 입력으로 시작과 종료를 호출하세요. 다음은 유니티의 Input System을 사용하는 예입니다.

using UnityEngine;
using UnityEngine.InputSystem;
using Neocortex;

public class PushToTalk : MonoBehaviour
{
    [SerializeField] private NeocortexAudioReceiver microphone;

    private void Start() => microphone.SetPushToTalk(true);

    private void Update()
    {
        var keyboard = Keyboard.current;
        if (keyboard == null) return;
        if (keyboard.vKey.wasPressedThisFrame) microphone.StartMicrophone();
        if (keyboard.vKey.wasReleasedThisFrame) microphone.StopMicrophone();
    }
}

V를 떼면 녹음이 끝나고, 에이전트는 바로 보냅니다. 화면 버튼이 필요하면 SDK의 Neocortex Push To Talk Button이 누를 때와 뗄 때 같은 일을 합니다. Neocortex Microphone Dropdown을 쓰면 플레이어가 장치를 고를 수 있습니다.

3단계: 말로 하는 답변 다듬기

Smart Agent의 Chat Lines Mode는 답변을 어떻게 소리 낼지 결정합니다.

  • PerLineAudio는 각 줄을 시작할 때마다 소리 내므로, 긴 답변도 빨리 말하기 시작합니다.
  • SingleAudio는 답변 전체를 하나의 클립으로 소리 냅니다.
  • Off는 OnAudioResponseReceived를 통해 클립을 넘겨주고 아무것도 재생하지 않습니다. 직접 만든 오디오 시스템에 쓰세요.

음성은 우리 서버에서 스트리밍되며, 아주 짧은 버퍼 뒤에 재생을 시작하므로, 클립 전체가 만들어지기 전에 캐릭터가 말하기 시작합니다. 목소리는 각 줄의 감정을 따르므로, 놀란 줄은 놀란 목소리로 들립니다.

프레젠테이션에 도움이 되는 이벤트가 두 개 있습니다. OnTranscriptionReceived는 플레이어가 한 말을 알려 주므로 자막이나 “당신이 한 말” 줄에 쓸 수 있습니다. OnChatLineStarted는 답변의 각 줄이 시작될 때 알려 줍니다.

4단계: 립싱크 추가

캐릭터에 Neocortex Face Animator(Add Component > Neocortex)를 추가하세요. 이 컴포넌트는 에이전트와 오디오 소스를 찾고, 말하는 텍스트에 따라 JawOpen이나 MouthFunnel 같은 ARKit 이름의 블렌드 셰이프로 입을 움직입니다. Ready Player Me 아바타에는 이 블렌드 셰이프가 기본으로 들어 있습니다. 감정을 얼굴 표정에 연결하는 것은 여러분이 설정합니다. 감정이 있는 AI NPC 가이드에 실용적인 표가 있습니다.

플랫폼별 참고 사항

  • Android와 iOS: Receiver는 처음 사용할 때 마이크 권한을 스스로 요청합니다. On Permission Denied 이벤트로 메시지를 보여 주거나 텍스트 입력으로 전환할 수 있습니다.
  • WebGL: 유니티의 마이크는 브라우저에 없습니다. Player Settings > Resolution and Presentation에서 Neocortex WebGL 템플릿을 선택하세요(SDK가 프로젝트에 가져오며, Tools > Neocortex > Import WebGL Template으로 복원할 수 있습니다). 빌드는 HTTPS로 호스팅하세요. 브라우저는 보안 페이지에서만 마이크를 허용합니다. 템플릿이 선택되지 않으면 콘솔에 마이크 입력이 동작하지 않는다는 경고가 뜹니다.
  • 데스크톱: 플레이어는 처음에 운영체제의 개인정보 설정에서 마이크 접근을 허용해야 할 수 있습니다.

자주 생기는 문제

  • NPC가 자기 목소리에 대답합니다. 스피커를 쓰면 마이크가 답변을 들을 수 있습니다. 음성 감지는 답변이 끝난 뒤 다시 열리지만, 누르고 말하기나 헤드폰을 쓰면 아예 발생하지 않습니다.
  • 플레이어의 문장이 중간에 끊깁니다. Max Wait Time을 조금 올리거나, 누르고 말하기로 바꾸세요.
  • 짧은 클릭 소리에 답변이 나옵니다. 0.15초 미만의 소리는 이미 무시됩니다. 배경 소음이 계속 들어오면 Amplitude Threshold를 올리세요.
  • 웹 빌드에서 아무 일도 일어나지 않습니다. 먼저 WebGL 템플릿과 HTTPS를 확인하세요.

다음 단계

음성은 지연 시간이 가장 잘 드러나는 곳이므로, AI NPC 음성 답변을 1초 안에 받는 방법을 읽어 보세요. 미리 쓴 대사도 같은 목소리로 읽히게 하려면 유니티 NPC 대사를 위한 음성 합성 글을, 헤드셋은 Meta Quest 게임의 AI 캐릭터 글을 보세요. 모든 튜토리얼은 AI NPC 만들기 가이드에 있습니다.

자주 묻는 질문

유니티에서 AI NPC와 음성 대화를 어떻게 추가하나요?

하나의 GameObject에 Neocortex Smart Agent, Audio Source, Neocortex Audio Receiver를 붙이세요. Receiver가 플레이어의 말을 녹음하면, 에이전트가 그것을 텍스트로 바꾸고 캐릭터의 목소리로 답합니다. 코드 없이 동작하며, 누르고 말하기는 설정 하나입니다.

유니티 음성 인식이 WebGL에서 동작하나요?

유니티의 Microphone 클래스는 브라우저에서 동작하지 않습니다. Neocortex SDK는 WebGL 템플릿을 통해 브라우저의 마이크를 유니티로 가져오므로, HTTPS로 제공되는 웹 빌드에서도 음성 NPC가 동작합니다.

NPC 음성 대화에는 누르고 말하기와 음성 감지 중 무엇이 좋나요?

누르고 말하기는 플레이어의 말을 끊지 않으며 PC와 컨트롤러 게임에 맞습니다. 음성 감지는 손을 쓰지 않아도 되므로 VR에 맞습니다. Neocortex Audio Receiver는 둘 다 지원합니다. 기본은 음성 감지이고, 스위치 하나로 누르고 말하기로 바꿀 수 있습니다.

유니티 AI NPC도 립싱크를 할 수 있나요?

네. 캐릭터에 Neocortex Face Animator를 추가하세요. 말하는 텍스트에 따라 ARKit 이름의 블렌드 셰이프로 입을 움직이며, Ready Player Me 아바타에는 이 블렌드 셰이프가 들어 있습니다.

음성 NPC는 Android와 iOS에서도 동작하나요?

네. Neocortex Audio Receiver는 Android와 iOS에서 마이크 권한을 스스로 요청하며, 같은 컴포넌트가 데스크톱과 WebGL에서도 동작합니다.

비슷한 글

더 읽어 보기