VR 음성 명령: Meta Quest에서 손을 쓰지 않는 조작
Neocortex로 VR에 음성 명령 추가하기: Meta Quest 헤드셋에서 오프라인으로 도구를 바꾸고, 메뉴를 열고, 훈련을 실행하며, AI 강사에게 물어볼 수 있습니다.
Neocortex TeamThe team behind Neocortex
· 6분 분량

VR에서 플레이어의 손이 곧 컨트롤러입니다. 한 손에는 렌치, 다른 손에는 손전등을 들고 있고, 손목 메뉴에 손을 뻗으려면 둘 중 하나를 놓아야 합니다. Neocortex Voice Commands를 쓰면 플레이어는 두 손을 그대로 쥔 채 조작할 수 있습니다. "시뮬레이션 일시정지" 또는 "압력계로 바꿔"라고 말하면, Meta Quest 헤드셋 안에서 오프라인으로 명령을 인식합니다. AI 강사 캐릭터를 더하면, 시나리오를 돌리는 바로 그 음성으로 "방금 압력이 왜 올랐는지" 물을 수도 있습니다.
실제 모습
Halvard Station은 가상의 해상 펌프 플랫폼에서 정비 기술자를 훈련하는 오리지널 VR 훈련 시뮬레이션입니다. 오늘의 시나리오는 펌프실 2의 새는 플랜지입니다. 훈련생은 파이프 아래에 웅크리고 있습니다. 왼손에는 손전등, 오른손에는 토크 렌치를 들고 볼트 위에 앉아 있습니다.
둘 다 놓지 않은 채 훈련생이 말합니다.
"격리 밸브를 보여 줘."
멀리 있는 벽의 휠 밸브 주위에 부드러운 윤곽선이 나타납니다. 이어서 "시뮬레이션을 일시정지하고 압력계로 바꿔." 누출음이 분사 도중에 멈추고, 오른손의 렌치가 휴대용 계기로 바뀝니다. "재개." 누출이 다시 시작됩니다. "관제실에 연결해", 그러자 무전 담당자가 훈련생의 채널에서 응답합니다.
측정값이 훈련생의 예상보다 높습니다. 이것은 명령이 아니라 질문이므로, AI 캐릭터인 수석 엔지니어 Odile Varga에게 전달됩니다.
훈련생: 그 볼트를 풀자 왜 압력이 올랐어요? Odile: 배관에 아직 압력이 남아 있어서예요. 블리드 밸브를 건너뛰었어요. 볼트를 다시 조이고, 라인을 블리드한 다음 다시 해 보세요.
Odile은 시나리오가 "블리드 전에 훈련생이 플랜지를 열었다"는 이벤트를 보냈기 때문에 훈련생이 단계를 건너뛰었다는 것을 압니다. 절차 자체는 그녀의 지식 베이스에 있으며, 이 지식 베이스는 기지의 정비 매뉴얼에서 업로드한 것입니다. 그녀의 응답에는 블리드 밸브를 강조하는 액션도 함께 들어 있어서, 훈련생은 정확히 어디를 봐야 하는지 알 수 있습니다.
Neocortex가 이것을 가능하게 하는 방법
- 헤드셋에서, 오프라인으로. 음성 인식과 명령 매칭은 Quest에서 실행됩니다. Wi-Fi가 불안정한 훈련실에서도 명령이 동작하며, 오디오는 헤드셋 밖으로 나가지 않습니다.
- 손은 작업에 남겨 둡니다. 메뉴, 도구 교체, 시나리오 제어, 팀원 호출이 모두 음성으로 옮겨 가므로, 플레이어는 쥐고 있던 것을 내려놓을 필요가 없습니다.
- 자연스러운 표현. "일시정지", "시뮬레이션 멈춰", "시뮬레이션 정지"가 모두 같은 액션을 실행할 수 있습니다. 훈련생은 압박 속에서 자연스럽게 나오는 말을 하며, 교육 자료에 있는 문구를 외워서 말하지 않습니다.
- 한 문장에 여러 액션. "시뮬레이션을 일시정지하고 압력계로 바꿔"는 명령 두 개로 전달됩니다.
- 맥락. "블리드 밸브를 보여 줘. 이제 열어." 에서 "이제 열어"의 "그것"은 방금 강조된 밸브로 해석됩니다.
- 누르고 말하기 또는 항상 듣기. 손가락 하나가 자유로울 때는 그립 버튼이나 얼굴 버튼으로 누르고 말하기를 쓸 수 있습니다. 양손이 항상 바쁜 훈련에서는 항상 듣기가 더 잘 맞는 경우가 많습니다.
- 행위자, 액션, 오브젝트로 이루어진 명령 세트. Neocortex 대시보드에서 설계합니다. 팀원과 관제실은 행위자, 일시정지, 보여 주기, 전환, 호출은 액션, 밸브, 도구, 방은 오브젝트입니다.
- 여러 언어. 언어마다 명령 세트를 하나씩 두므로, 팀은 자기가 일하는 언어로 훈련할 수 있습니다.
Odile은 비주얼 노드 편집기에서 만든 Neocortex AI 캐릭터로, 성격, 스트리밍 음성, 각 대사의 감정 태그가 있습니다. 그녀의 지식 베이스는 PDF나 TXT 업로드를 받습니다(Starter 5개, Pro 20개, Team 100개). 시나리오는 "훈련생이 블리드 전에 플랜지를 열었다" 같은 이벤트를 보내고, 그녀는 여러분이 만든 액션, 예를 들어 부품 강조를 돌려주며, 앱이 불을 밝혀야 할 대상도 함께 보냅니다. 맞춤 강사 음성은 Pro(맞춤 음성 5개)와 Team(20개)에서 쓸 수 있습니다.
만들어 볼 아이디어
VR 슈팅 분대. 두 손으로 라이플을 들고 플레이어가 "마라, 안뜰에 연막 쳐. 젠슨, 왼쪽 문 맡아."라고 외칩니다. 각 분대원이 행위자이므로 명령이 깔끔하게 나뉘고, 각자가 AI 캐릭터로서 플레이어가 상황 보고를 요청하면 자기 목소리로 답할 수 있습니다.
VR 건축 도구. 창작 앱에서는 손으로 조각하고 배치하며, 음성으로 툴바를 조작합니다. "브러시로 바꿔", "두 배로 키워", "그거 복제해", "실행 취소". 붓질 도중에 떠 있는 팔레트를 뒤질 필요가 없고, 작업은 눈앞에 그대로 있습니다.
VR 퍼즐 방. 플레이어는 한 손에 랜턴, 다른 손에 레버를 들고 방을 풀어 갑니다. "다리 내려", "왼쪽 거울 돌려". 요청하면 힌트를 주는 AI 캐릭터와 함께 쓰면, 플레이어의 진행 상황에 따라 방이 관대할 수도 인색할 수도 있습니다.
훈련 시나리오 제어. 긴 훈련 과정에서 음성은 훈련생이 헤드셋을 벗지 않고도 훈련을 다시 시작하고 변형할 수 있게 합니다. "누출 지점부터 다시 시작", "경보를 켜고 한 번 더 돌려". 시나리오는 한 세션에 두 번이 아니라 열 번 반복할 수 있게 됩니다.
만들기
Neocortex Voice Commands는 Meta Quest 헤드셋에서 여러분의 VR 앱 안에서 실행됩니다. 강사 같은 AI 캐릭터는 Neocortex API를 통해 연결됩니다. 오픈 소스 VR 데모는 AI 캐릭터가 들어 있는 동작하는 Quest 프로젝트이므로, 여기서 시작할 수 있습니다.
- 손이 가득 찬 순간을 찾으세요. 경험을 처음부터 끝까지 따라가며 도구 교체, 메뉴, 일시정지, 도움 요청을 모두 표시하세요. 그것들이 여러분의 명령이 됩니다.
- 명령 세트를 설계하세요. Neocortex 대시보드에서 팀원과 스테이션은 행위자로, 동사는 액션으로, 장면의 장비와 장소는 오브젝트로 정하고, 각각에 예시 문장을 몇 개 붙이세요.
- Quest 빌드에 Neocortex Voice Commands를 추가하세요. 매칭된 각 명령을 시나리오 컨트롤러와 도구 시스템에 연결하세요.
- 손에 맞는 듣기 방식을 고르세요. 양손이 계속 바쁜 훈련에는 항상 듣기를, 대화가 많은 게임에는 그립 버튼을 누르고 말하기를 쓰세요.
- AI 강사를 추가하세요. 성격과 음성, 여러분의 절차에 대한 지식 베이스, 장비를 강조하는 액션을 갖춘 Neocortex 캐릭터입니다. 질문마다 시나리오 이벤트를 함께 보내면, 답변이 훈련생이 실제로 한 행동과 맞아떨어집니다.
- 훈련생이나 플레이어가 쓰는 언어마다 명령 세트를 추가하세요.
모든 명령에 헤드셋 안에서 작은 확인 신호를 주세요. 부드러운 차임 소리나 손목 근처의 짧은 표시가 좋습니다. 화면 가장자리를 힐끗 볼 수 없으므로, 플레이어는 자기 말이 들렸는지 알아야 합니다. 말하기보다 손을 뻗는 편이 나은 사람을 위해 손목 메뉴도 손으로 닿게 두세요.
Voice Commands는 라이선스가 있는 SDK입니다. Voice Commands 라이선스 문의를 주세요. 강사와 다른 AI 캐릭터, 그리고 그 뒤의 API는 모든 요금제에 포함됩니다.
손을 쓰지 않는 VR은 AI NPC, 주변 AI, 음성 명령 활용 사례 중 하나입니다. 헤드셋에 대해 더 알고 싶다면 AI로 하는 VR 소프트 스킬 훈련과 VR 탈출 방을 위한 AI 캐릭터를 읽고, VR 경험 페이지를 보세요. 도구 교체 명령 하나와 일시정지 명령 하나로 시작해 보세요. 훈련생이 얼마나 빨리 메뉴에 손을 뻗지 않게 되는지 보게 될 겁니다.
2026년 10월 확인.
자주 묻는 질문
Meta Quest 앱에서 음성 명령을 쓸 수 있나요?
예. Neocortex Voice Commands는 Meta Quest 헤드셋 자체에서 실행되므로, 플레이어는 손을 컨트롤러에 둔 채 음성으로 메뉴를 열고, 도구를 바꾸고, 시나리오를 제어할 수 있습니다.
VR 음성 명령에 인터넷 연결이 필요한가요?
아니요. Neocortex Voice Commands는 헤드셋에서 오프라인으로 음성을 인식하고 매칭하며, 오디오는 기기 밖으로 나가지 않습니다. AI 캐릭터를 추가했다면 그 캐릭터만 Neocortex API를 사용합니다.
음성 명령으로 VR 훈련 시뮬레이션을 조작할 수 있나요?
예. "시뮬레이션 일시정지"나 "밸브 보여 줘" 같은 명령은 훈련 앱이 실행하는 액션과 오브젝트로 전달되며, Neocortex AI 강사 캐릭터는 절차에 대한 긴 질문에 답할 수 있습니다.
VR 앱에 AI 강사를 어떻게 추가하나요?
강사의 성격, 음성, 여러분의 절차에 대한 지식 베이스를 갖춘 Neocortex AI 캐릭터를 만든 뒤, 질문마다 시나리오 이벤트를 함께 보내세요. 오픈 소스 Meta Quest 데모는 VR 프로젝트가 AI 캐릭터와 대화하는 모습을 보여 줍니다.






