Neocortex Logo

VR NPC를 위한 Meta Quest AI Building Blocks vs Neocortex

Meta의 AI Building Blocks는 LLM, 음성, TTS 공급자를 Quest용 유니티에 연결합니다. 직접 조립해야 할 부분과 Neocortex가 VR NPC를 다루는 방식.

Neocortex TeamThe team behind Neocortex

· 2026년 10월 20일 업데이트 · 6분 분량

Meta의 AI Building Blocks는 LLM, 음성, TTS 공급자를 Quest용 유니티에 연결합니다. 직접 조립해야 할 부분과 Neocortex가 VR NPC를 다루는 방식.

Quest를 대상으로 유니티에서 개발하고 있고, 플레이어가 말을 걸 수 있는 캐릭터를 원합니다. Meta의 AI Building Blocks에서 시작해야 할까요, 아니면 캐릭터 플랫폼에서 시작해야 할까요?

Meta의 도구가 당연한 첫 번째 선택지입니다. Meta XR SDK에는 언어 모델, 음성, 음성 합성을 위한 AI Building Blocks가 들어 있고, 오래된 Voice SDK는 음성 명령과 받아쓰기를 처리합니다. 이것들은 유용한 배관입니다. 캐릭터는 아닙니다. 이 비교는 각 쪽이 VR NPC에 무엇을 주고, 무엇이 남는지를 다룹니다.

Quest를 위해 Meta가 제공하는 AI 알아보기

  • AI Building Blocks. 네 가지 블록: Object Detection, Large Language Models, Speech to Text, Text to Speech. 각 블록은 유니티 컴포넌트를 추론이 실행되는 곳(클라우드, 로컬 머신, 헤드셋)을 정하는 공급자와 짝지어 줍니다. Meta 문서는 OpenAI, Ollama, Hugging Face, Replicate, ElevenLabs 같은 공급자를 언급합니다.
  • 요구 사항. 유니티 6 이상, Quest 3 또는 3S, 클라우드 공급자를 위한 인터넷 연결. 패스스루 카메라를 쓰는 블록은 최신 Meta XR Core SDK와 MR Utility Kit 버전도 필요합니다.
  • Voice SDK. Wit.ai 기반으로, 음성 명령, 받아쓰기, TTS를 제공합니다.
  • 바뀌는 모델 백엔드. Meta는 Llama API 프리뷰를 중단했으므로, 언어 모델 블록에 그것을 쓰던 프로젝트는 다른 공급자가 필요합니다.

Meta는 또한 클라우드 모델이 공급자 서버에서 항상 쓸 수 있는 것은 아니라고 경고하므로, 출시 전에 공급자와 모델의 가용성을 확인하세요.

직접 만들어야 할 부분 세기

Building Blocks는 모델을 연결합니다. 캐릭터에는 그보다 더 많은 것이 필요합니다. 블록 위에서 팀은 다음을 작성하고 유지해야 합니다.

  • 캐릭터 자체. 긴 플레이 세션 내내 일관성을 유지하는 페르소나, 배경 이야기, 지식, 메모리, 가드레일.
  • 블록 사이의 접착제. 음성 인식 결과를 언어 모델에 넣고, 응답을 음성 합성으로 보내며, 플레이어가 끼어들 수 있도록 중단을 처리하는 일.
  • 별도의 공급자 계정. 블록마다 다른 회사에 청구될 수 있으며, 각각 키, 한도, 가격 변경이 따로 있습니다.
  • 커스텀 음성. 제3자 음성 서비스를 통해.
  • 장면 인식과 행동. 플레이어가 무엇을 들고 있거나 보고 있는지 캐릭터에게 알려 주고, 응답을 세계에서 일어나는 일로 바꾸는 일.
  • 다른 모든 플랫폼. Building Blocks는 유니티의 Quest를 겨냥합니다. PC VR 빌드, 평면 화면 버전, 언리얼 이식은 처음부터 다시 시작해야 합니다.

Meta AI Building Blocks와 Neocortex 비교

Meta AI Building BlocksNeocortex
무엇인가Quest용 Unity 공급자 커넥터완전한 AI 캐릭터 플랫폼
캐릭터 설계직접 만들기시각 노드 편집기, 브라우저에서 테스트
언어 모델공급자를 골라 비용 지불우리가 관리
음성TTS 공급자 연결스트리밍 TTS와 STT, 음성 복제와 디자인
공급자와 청구여러 곳, 따로 청구계정 하나, 정액 월간 요금제
플랫폼Quest 3 및 3S데스크톱, 모바일, 웹의 Unity, 그리고 Unreal, Godot, Web API
게임플레이 연결직접 만들기행동, 상호작용 오브젝트, 대사별 감정
스토리 구조직접 만들기flowState 체크포인트가 있는 대화 흐름

복합현실 상점 주인 살펴보기

플레이어의 실제 책상 위에 패스스루로 서 있는 포션 상인을 떠올려 보세요.

Building Blocks로는, 음성 인식, 언어 모델, 음성 합성 블록을 넣고 공급자 세 곳을 고른 뒤 서로 연결합니다. 상점 주인의 성격은 시스템 프롬프트에 들어갑니다. 플레이어가 물약 병을 집어 들 때 그녀가 반응하게 하려면, 장면을 텍스트로 묘사해 프롬프트에 추가하고, 응답에서 의도를 파싱하고, 애니메이션을 트리거하는 코드를 작성해야 합니다. 그녀의 목소리는 별도의 음성 서비스를 설정하지 않으면 기본 프리셋입니다.

Neocortex로는, 먼저 편집기에서 그녀를 만듭니다. 배경을 위한 Agent 노드, 성격과 기분을 위한 Personality와 Emotion 노드, 가격표가 담긴 Knowledge 파일, 병들을 나열한 Objects 노드를 둡니다. 원하는 방식으로 흥정할 때까지 브라우저에서 테스트합니다. 유니티에서 게임은 플레이어가 들고 있는 태그된 오브젝트를 그녀에게 알려 줍니다. 그녀는 복제하거나 디자인한 자신의 목소리로 답하며, 응답이 빨리 시작되도록 스트리밍됩니다. 응답에는 얼굴을 위한 감정 태그와, 여러분의 코드가 실행하는 { "name": "OPEN_DOOR", "targetId": "door_02" } 형태의 행동이 들어 있어서, 예를 들어 그녀 뒤의 캐비닛을 열 수 있습니다. 퀘스트에 구조가 필요하다면, 대화 흐름이 그녀를 인사에서 흥정으로, 다시 비밀 레시피로 옮기고, API는 각 체크포인트를 flowState로 보고합니다.

헤드셋에서 돌아가는 캐릭터는 Unity의 XR Interaction Toolkit을 쓴 VR 데모에서 볼 수 있습니다.

Quest 프로젝트에 맞는 선택

Building Blocks가 맞는 경우: 팀이 텍스트 필드로의 받아쓰기나 혼합현실 기능의 객체 인식처럼 단 하나의 기능만 필요하고, 공급자 계정을 직접 관리할 준비가 된 경우.

Neocortex가 맞는 경우: 캐릭터가 필요한 팀. 앱을 다시 빌드하지 않고 성격과 지식을 편집하는 디자이너, 각 캐릭터에 속하는 목소리, 장면에 따라 행동하는 NPC가 필요할 때. Quest를 떠날 수도 있는 프로젝트에도 맞는데, 같은 캐릭터가 다른 플랫폼과 엔진에서도 돌아가기 때문입니다.

둘 다 한 앱에 둘 수 있습니다. "일시정지"나 "인벤토리" 같은 메뉴 명령에는 Voice SDK를 쓰고, 대화에는 Neocortex 캐릭터를 쓰세요.

요금제 기준으로, 상업 출시에는 Pro(월 €29) 또는 Team(월 €99)이 필요합니다. Pro는 API로 최대 여섯 명의 캐릭터가 함께하는 그룹 채팅을 추가하므로, VR의 동료 파티에 어울립니다.

헤드셋에 캐릭터 하나 넣기

플레이어가 처음 만날 NPC부터 시작하세요. 브라우저에서 만들고, 유니티 SDK를 추가하고, 헤드셋에서 그 대답을 들어 보세요. 이후의 모든 캐릭터도 같은 단계를 따릅니다.

Meta 세부 사항은 2026년 10월에 마지막으로 확인했습니다.

자주 묻는 질문

Meta AI Building Blocks는 무엇인가요?

Meta XR SDK의 유니티 컴포넌트로, 객체 인식, 언어 모델, 음성 인식, 음성 합성을 각각 여러분이 고른 공급자에 연결합니다. Neocortex는 시각 편집기, 음성, 게임플레이 행동을 하나의 유니티 SDK에 담은 완전한 캐릭터 플랫폼입니다.

Meta AI Building Blocks는 어떤 헤드셋을 지원하나요?

Meta는 Quest 3 또는 Quest 3S와 함께 유니티 6 이상을 권장합니다. Neocortex 캐릭터는 데스크톱, 모바일, 웹의 유니티에서 돌아가며, 같은 캐릭터가 언리얼, 고도 엔진, Web API를 통해서도 작동합니다.

Quest 앱에서 Meta Llama API를 아직 쓸 수 있나요?

아닙니다. Meta가 Llama API 프리뷰를 중단했으므로, 언어 모델 블록은 OpenAI나 Ollama 같은 다른 공급자가 필요합니다. Neocortex는 언어 모델을 대신 관리하므로 바꿔 끼울 공급자가 없습니다.

VR NPC가 플레이어 주변의 오브젝트에 반응할 수 있나요?

Building Blocks로는 기본으로 되지 않으며, 그 연동은 직접 작성해야 합니다. Neocortex에서는 게임이 주변 오브젝트와 최근 사건을 보내고, 캐릭터는 문을 열거나 물건을 건네는 것 같은 행동으로 답합니다.

VR 캐릭터의 목소리를 복제할 수 있나요?

Building Blocks에서는 TTS 공급자를 연결하고 음성은 거기서 관리합니다. Neocortex에는 권리가 있는 짧은 샘플로 하는 음성 복제와, 텍스트 설명으로 하는 음성 디자인이 포함되며, Pro는 커스텀 음성 5개, Team은 20개입니다.

비슷한 글

더 읽어 보기