Neocortex Logo

AI NPC 음성의 작동 방식: STT, LLM, TTS

음성이 있는 AI NPC의 작동 방식: 음성 인식이 플레이어의 말을 듣고, LLM이 답을 쓰고, 음성 합성이 그것을 말합니다. STT와 TTS의 차이, 지연 시간, 무엇을 만들지 설명합니다.

Sercan AltundasFounder of Neocortex

· 8분 분량

음성이 있는 AI NPC의 작동 방식: 음성 인식이 플레이어의 말을 듣고, LLM이 답을 쓰고, 음성 합성이 그것을 말합니다. STT와 TTS의 차이, 지연 시간, 무엇을 만들지 설명합니다.

음성이 있는 AI NPC는 세 가지 모델이 차례로 이어진 구조입니다. 음성 인식이 플레이어의 말을 듣고, 언어 모델이 답을 쓰고, 음성 합성이 그것을 소리 내어 말합니다. 이 시리즈의 모든 엔진 튜토리얼이 이 사슬을 바탕으로 하므로, 이 가이드는 각 부분을 설명하고, 지연이 어디서 생기는지 보여 주며, Neocortex가 하나의 캐릭터 뒤에서 전체를 어떻게 돌리는지 설명합니다.

AI NPC 음성 파이프라인의 세 단계

1. 음성 인식(STT): 플레이어의 말 듣기

게임은 마이크를 녹음하고 오디오를 음성 인식 모델로 보내며, 모델은 텍스트를 돌려줍니다. 여기서 중요한 선택은 두 가지입니다.

  • 푸시투토크 또는 음성 감지. 푸시투토크는 플레이어가 말하는 동안 누르고 있는 버튼입니다. 음성 활동 감지(VAD)는 항상 듣고 있다가 플레이어가 말을 시작하고 끝낸 시점을 정합니다. 푸시투토크가 더 단순하고 누구의 말도 끊지 않습니다. VAD는 특히 VR에서 더 자연스럽게 느껴지지만, 직접 조정해야 하는 침묵 임계값이 필요합니다.
  • 어휘. 음성 모델은 지어낸 이름에서 자주 헛다리를 짚습니다. 세계에 Varrowmere라는 마을이 있다면, 모델은 "barrel mere"로 들을 수 있습니다. 인식기에 고유명사 목록을 짧게 주면 대부분 해결됩니다.

2. 언어 모델: 답변 쓰기

전사된 텍스트는 캐릭터를 그 캐릭터답게 만드는 모든 것과 함께 대형 언어 모델로 보내집니다. 성격, 캐릭터가 아는 것, 지금까지의 대화, 게임에서 일어나는 일이 여기에 포함됩니다. 모델은 다음 대사를 씁니다.

게임에서는 일반 텍스트만으로는 충분하지 않습니다. 캐릭터가 어떤 감정인지 알아야 얼굴과 애니메이션을 맞출 수 있고, 캐릭터가 문을 열거나 아이템을 건네주는 등 무언가를 하기로 결정했는지도 알아야 합니다. 직접 만드는 구성 대부분이 여기서 복잡해집니다. 단서를 찾으려고 자유 텍스트를 파싱해야 하기 때문입니다.

3. 음성 합성(TTS): 소리 내어 말하기

답변 텍스트는 음성 모델로 보내지고, 모델은 오디오를 돌려줍니다. 캐릭터용 좋은 TTS에는 어울리는 목소리(무뚝뚝한 대장장이, 긴장한 사무원), 대사를 따라가는 감정, 플레이어가 쓰는 언어에 대한 지원이 필요합니다.

STT vs TTS: 같은 대화의 양 끝

사람들은 종종 "STT vs TTS"를 대안처럼 검색합니다. 그렇지 않습니다. STT는 귀이고 TTS는 입입니다.

음성 인식(STT)음성 합성(TTS)
방향플레이어의 음성을 텍스트로캐릭터의 텍스트를 음성으로
입력마이크 오디오LLM이 쓴 답변
잘못될 수 있는 것잘못 들은 이름, 배경 소음, 끊긴 문장밋밋한 전달, 잘못된 발음, 느린 첫 오디오
조정할 것푸시투토크 또는 VAD, 침묵 임계값, 어휘목소리 선택, 감정, 스트리밍

텍스트로만 타이핑하는 캐릭터에는 둘 다 필요하지 않습니다. 플레이어가 말을 걸지만 답은 텍스트로 하는 캐릭터에는 STT가 필요합니다. 스크립트된 대사를 말하는 캐릭터에는 TTS가 필요합니다. 열린 음성 대화에는 둘 다와 가운데의 모델이 필요합니다.

지연 시간은 어디서 생기나

플레이어는 약 1초가 넘는 멈춤을 알아챕니다. 전체 대기 시간은 대략 다음과 같습니다.

  1. 플레이어가 말을 끝냈는지 확인하며 기다리는 시간(VAD 침묵 임계값, 또는 푸시투토크를 놓는 시점).
  2. 오디오를 전사하는 시간.
  3. 모델이 첫 단어를 쓰는 시간.
  4. 음성 모델이 첫 오디오를 만드는 시간.

이 단계를 하나씩 순서대로, 각 단계가 완전히 끝날 때까지 기다리며 돌리면 3~4초의 멈춤이 생깁니다. 해결책은 스트리밍입니다. 답변의 나머지가 아직 쓰이는 동안 첫 문장을 말하기 시작하는 것입니다. 각 단계를 숫자와 함께 살펴보는 것은 지연 시간 가이드에서 다룹니다.

Neocortex가 파이프라인을 실행하는 방법

Neocortex에서는 세 가지 서비스를 직접 연결할 필요가 없습니다. 브라우저 에디터에서 성격, 지식 베이스, 감정, 액션, 음성을 갖춘 캐릭터를 만들면, SDK가 이 사슬을 처리합니다.

  • 플레이어 음성의 음성 인식. 유니티, 언리얼 엔진, 고도 엔진에서 마이크 컴포넌트 하나로 20개 이상의 언어를 지원합니다. Vocabulary 노드에 세계의 이름을 나열하면 "Varrowmere"는 그대로 Varrowmere로 인식됩니다.
  • 답변. HAPPY, CURIOUS, ANNOYED 같은 감정 태그가 붙어 돌아오며, 캐릭터가 고른 액션도 함께 옵니다. 따라서 게임이 자유 텍스트를 파싱할 필요가 없습니다.
  • 캐릭터 자신의 목소리로 하는 음성 합성. 유니티, 고도 엔진, Web SDK에서는 스트리밍되므로, 답변 전체가 준비되기 전에 캐릭터가 말하기 시작합니다.

직접 호출하고 싶다면 Web API가 HTTP로 같은 일을 합니다. 텍스트 턴은 요청 하나입니다.

curl -X POST https://api.neocortex.link/v3/chat \
  -H "x-api-key: $NEOCORTEX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'

응답에는 sessionId와 messages 배열이 들어 있습니다. 각 메시지에는 lines(각각 text와 emotion 포함), actions, flowState가 있습니다. 대화를 이어 가려면 다음 메시지와 함께 sessionId를 다시 보내세요.

NPC에 무엇이 필요한지 고르기

모든 NPC에 전체 사슬이 필요하지는 않습니다.

  • 배경 캐릭터는 작성된 바크에 머물 수 있습니다. AI가 필요 없습니다.
  • 퀘스트 제공자와 상점 주인은 TTS를 곁들인 텍스트 채팅과 잘 맞습니다. 플레이어는 타이핑하고 캐릭터는 말합니다.
  • 동반자와 VR 캐릭터는 전체 음성의 이점을 가장 많이 얻습니다. 플레이어가 이미 소리 내어 말하고 있거나 손이 바쁘기 때문입니다.
  • 접근성. 음성 입력은 타이핑이 어려운 플레이어에게, 음성 답변은 읽기가 어려운 플레이어에게 도움이 됩니다. 두 방향 모두 필수가 아니라 선택 사항으로 제공하세요.

엔진에서 만들기

이 시리즈의 각 엔진 가이드는 같은 파이프라인을 단계별로 설정합니다.

이 모든 내용은 AI NPC 만들기 가이드에 모여 있습니다.

자주 묻는 질문

STT와 TTS의 차이는 무엇인가요?

방향이 반대입니다. 음성 인식(STT)은 플레이어의 음성을 게임이 읽을 수 있는 텍스트로 바꾸고, 음성 합성(TTS)은 캐릭터의 글로 쓴 답변을 오디오로 바꿉니다. 음성이 있는 NPC에는 둘 다 필요하며, 그 사이에 언어 모델이 있습니다.

말하는 NPC에 LLM이 필요한가요?

미리 준비한 것이 아닌 질문에 답해야 하는 NPC에만 필요합니다. 미리 녹음된 대사에는 모델이 전혀 필요하지 않습니다. 열린 대화에는 STT, LLM, TTS가 필요하며, Neocortex는 이 셋을 하나의 캐릭터 뒤에서 돌립니다.

음성이 있는 AI NPC는 얼마나 빨리 답할 수 있나요?

지연 시간은 플레이어가 말을 끝낸 것을 확인하고, 전사하고, 첫 단어를 쓰고, 말하는 시간의 합입니다. 각 단계를 다음 단계로 스트리밍하는 것이 1초에 가깝게 만드는 방법입니다. Neocortex는 답변이 아직 쓰이는 동안에 말하기 시작합니다.

AI NPC에 제 목소리를 쓸 수 있나요?

네. Neocortex에는 기본 목소리 라이브러리가 있으며, 사용자 지정 목소리는 Pro 요금제에서 5개, Team 요금제에서 20개까지 가능합니다. 각 캐릭터는 유니티, 언리얼 엔진, 고도 엔진, 웹에서 자기 목소리를 유지합니다.

AI NPC와의 음성 채팅이 오프라인에서도 되나요?

세 모델이 모두 플레이어의 기기에서 돌아갈 때만 가능합니다. Neocortex는 기본적으로 클라우드에서 돌아가며, 스튜디오는 Custom 요금제로 기기 내 런타임을 마련할 수 있습니다.

비슷한 글

더 읽어 보기