Neocortex Logo

OpenAI Realtime API 직접 구현 vs Neocortex

OpenAI Realtime API를 Unity에 직접 연결할 수 있습니다. 그 작업에 무엇이 포함되는지 정리하고, Neocortex 같은 게임용 플랫폼이 언제 몇 주를 아껴 주는지 살펴봅니다.

Neocortex TeamThe team behind Neocortex

· 2026년 10월 20일 업데이트 · 5분 분량

OpenAI Realtime API를 Unity에 직접 연결할 수 있습니다. 그 작업에 무엇이 포함되는지 정리하고, Neocortex 같은 게임용 플랫폼이 언제 몇 주를 아껴 주는지 살펴봅니다.

금요일 밤에 마이크를 gpt-realtime-2.1에 연결하고, 성질 고약한 대장장이를 위한 시스템 프롬프트를 쓰면, 일요일이 되었을 때 그는 여러분의 갑옷 선택을 큰 소리로 비웃고 있습니다. 완성된 것처럼 느껴집니다. 하지만 아직 끝나지 않았습니다.

음성 대 음성 모델 덕분에 말하는 NPC 데모는 오후 한나절이면 만들 수 있습니다. 하지만 그 NPC를 플레이어에게 내놓는 데는 훨씬 오래 걸리며, 그 추가 작업의 거의 전부는 모델과 관계가 없습니다. 이 글은 OpenAI Realtime API에 직접 음성 NPC를 만드는 데 무엇이 필요한지, 그리고 Neocortex가 어디에 들어맞는지 정리합니다.

Realtime API가 제공하는 것

  • 음성 대 음성 모델. 현재는 gpt-realtime-2.1이 주도하며, 추론 강도 설정, 함수 호출, 128K 컨텍스트 창을 지원합니다.
  • 연결 방식. 브라우저와 모바일은 WebRTC, 서버는 WebSocket, 전화 통화는 SIP를 씁니다.
  • 단기 클라이언트 시크릿. 서버가 세션마다 만들어 주므로 API 키는 클라이언트에 남지 않습니다.
  • 기본 음성. 열 가지가 있습니다. 세션에서 모델이 말하기 시작하면 음성은 바꿀 수 없습니다.
  • 녹음으로 만든 커스텀 음성. 자격을 갖춘 고객이 OpenAI 영업팀에 문의해야 하며, 음성 주인의 동의 녹음이 필요합니다.
  • 토큰 기반 요금. 오디오와 텍스트에 대해 입력과 출력을 각각 과금합니다.
  • 세션은 60분으로 제한.
  • 공식 SDK. JavaScript, Python, .NET, Java, Go, Ruby용이 있습니다. 유니티 지원은 커뮤니티 라이브러리에서 옵니다.

OpenAI Realtime 직접 구현 vs Neocortex

OpenAI Realtime 직접 구현Neocortex
유니티 클라이언트직접 작성하거나 커뮤니티 라이브러리 채택Unity 6용 Unity SDK, 샘플 씬 6개
세션 처리클라이언트 시크릿 서버, 60분 전에 재연결세션 상한 없음: 턴마다 별도 API 호출
캐릭터 설계코드 안의 프롬프트시각적 노드 편집기
음성기본 음성; 자격 있는 고객만 커스텀 음성Pro와 Team에서 음성 복제와 음성 설계
게임 행동함수 호출을 직접 연결대상 ID와 씬 오브젝트가 내장된 행동
스토리 구조직접 만든 상태 기계flowState 체크포인트가 있는 Conversation Flows
엔진직접 만드는 것Unity, Unreal Engine 5, Godot, Web API
모델 선택OpenAI 모델관리형, 텍스트 채팅 프로토타입용으로 유니티에서 Ollama를 통한 로컬 모델
비용오디오와 텍스트 토큰사용량 한도가 있는 월간 요금제

직접 만들어야 하는 여덟 가지

Realtime API로 음성 NPC를 출시하려면 팀이 다음을 책임져야 합니다.

  1. 유니티 오디오 클라이언트. 마이크를 캡처하고, 스트리밍하고, 끊김 없이 답변을 재생합니다. 유니티에 내장 마이크 입력이 없는 WebGL 빌드도 포함됩니다.
  2. 작은 백엔드. 플레이어를 인증하고 세션마다 클라이언트 시크릿을 발급합니다. API 키는 게임 빌드에 절대 들어가면 안 되기 때문입니다.
  3. 프롬프트로서의 캐릭터 설계. 모든 모델 업데이트와, 그것을 건드리는 모든 작가에 걸쳐 일관되게 유지해야 합니다.
  4. 세션 수명 주기. 60분 상한에 닿기 전에 재연결하고, 연결이 끊긴 사이에도 대화를 이어 가야 합니다.
  5. 게임 연동. 함수 호출이 씬의 올바른 오브젝트에 대한 행동으로 바뀌도록 해야 합니다.
  6. 가드레일. 플레이어가 대장장이를 다른 무언가로 만들려고 해도 그가 대장장이로 남도록 해야 합니다.
  7. 비용 관리. 음성이 들어오고 나가는 매 초가 토큰으로 과금되기 때문입니다.
  8. 유지 보수. 모델, 가격, API가 바뀔 때마다, 출시하는 모든 엔진에서 다시 맞춰야 합니다.

불가능한 일은 아닙니다. 다만 모두 게임에 쓸 수 있었을 시간입니다.

상인 NPC를 두 방식으로 만들기

플레이어가 가게에 들어가 주인에게 치유 물약을 달라고 한다고 가정해 봅시다. 주인은 캐릭터답게 답해야 하고, 플레이어가 앞서 무례하게 굴었다면 짜증을 내야 하며, 실제로 물건을 건네야 합니다.

Realtime API에서

상인의 성격과 가게의 재고를 설명하는 프롬프트를 쓰고, give_item 함수를 정의합니다. 백엔드가 클라이언트 시크릿을 발급하면, 유니티 클라이언트가 세션을 열고 플레이어의 음성을 스트리밍하고 답변을 재생합니다. 모델이 give_item을 호출하면, 여러분의 코드가 물약을 찾아 인벤토리로 옮깁니다. 상인의 기분은 게임 상태에서 무례함을 추적해 프롬프트에 넣고, 텍스트를 파싱하거나 모델에 구조화된 출력을 요청해 애니메이션 신호를 추가합니다. 이 캐릭터만의 음성이 필요하다면 커스텀 음성 자격이 되는지 확인해야 합니다.

Neocortex에서

시각적 편집기에서 상인을 만듭니다. 기질을 위해 Personality와 시작 Emotion을, 재고 목록을 위해 Knowledge를, 물건을 사려는 의도를 위해 Intent를, 물건을 건네는 행동을 위해 Action을 설정합니다. 그에게 음성을 복제하거나 설계합니다. 유니티에서 게임은 주변 오브젝트와 최근 이벤트, 플레이어의 무례한 발언을 보냅니다. 답변은 감정 태그가 붙은 대사로 돌아오므로 애니메이터가 그가 짜증이 났다는 것을 알고, { "name": "GIVE_ITEM", "targetId": "potion_01" } 같은 행동도 함께 옵니다. 게임은 그것을 실행합니다. 전체 대화는 먼저 브라우저에서 테스트합니다.

두 방식 모두 성능이 좋은 모델을 씁니다. 차이는 상인이 어디에 사느냐입니다. 엔지니어가 관리하는 프롬프트 문자열과 접착 코드 안인지, 아니면 빌드를 건드리지 않고 디자이너가 열어 읽고 바꿀 수 있는 캐릭터인지입니다.

배관이 아니라 게임을 만드세요

직접 구현 방식의 진짜 비용은 출시 뒤에 드러납니다. 모델 업데이트로 대장장이의 말투가 바뀌고, 가격 변경으로 마진이 달라지고, 새 유니티 버전으로 여러분이 의존하던 커뮤니티 라이브러리가 깨집니다. 각각의 일은 보통 다른 일로 바쁠 때 팀에 떨어집니다.

Realtime API는 음성 스택을 그 위에 쌓는 모델입니다. Neocortex는 그 음성 스택 자체입니다. 캐릭터, 엔진 SDK, 게임플레이 연결점이 이미 갖춰져 있고, 모델과 API가 바뀔 때 저희가 유지합니다. 디자이너는 프롬프트가 코드에 묻혀 있는 대신, 그래프의 노드로 된 성격, 감정, 지식, 의도, 행동을 편집하고, 엔지니어는 시간을 게임에 씁니다.

OpenAI 세부 사항은 2026년 10월에 마지막으로 확인했습니다.

자주 묻는 질문

OpenAI Realtime API에 유니티 SDK가 있나요?

아니요. OpenAI의 공식 SDK는 JavaScript, Python, .NET, Java, Go, Ruby를 다루며, 유니티 지원은 커뮤니티 라이브러리에서 옵니다. Neocortex는 유니티 6용 유니티 SDK와 샘플 씬 6개를 제공하며, 언리얼 엔진 5, 고도 엔진, Web API도 있습니다.

OpenAI Realtime 세션은 얼마나 오래 지속되나요?

Realtime 세션은 60분으로 제한되므로, 긴 플레이 세션에는 재연결 로직과 컨텍스트를 넘기는 방법이 필요합니다. Neocortex에서는 턴마다 별도의 API 호출이며 SDK가 이를 처리하므로, 시간 초과가 날 세션이 없고 답변과 행동만 다루면 됩니다.

OpenAI Realtime API는 커스텀 음성을 지원하나요?

녹음으로 만든 커스텀 음성은 OpenAI 영업팀을 거치는 자격 있는 고객으로 제한되며, 나머지는 기본 음성 중에서 고릅니다. Neocortex에서는 권리가 있는 짧은 샘플로 음성을 복제하거나 텍스트 설명으로 음성을 설계할 수 있으며, Pro에서는 커스텀 음성 5개, Team에서는 20개를 씁니다.

OpenAI Realtime API의 요금은 어떻게 되나요?

입력과 출력의 텍스트 토큰과 오디오 토큰으로 계산되므로, 말하는 매 초가 요금에 더해집니다. Neocortex 요금제는 사용량 한도가 있는 월간 요금제입니다.

비슷한 글

더 읽어 보기