AI로 하는 VR 소프트 스킬 교육: 맞받아치는 롤플레이
Neocortex로 VR 소프트 스킬 교육 만들기: 교육생의 말에 반응하고, 체크포인트를 따르며, 사후 검토로 이어지는 Meta Quest의 AI 롤플레이 캐릭터.
Neocortex TeamThe team behind Neocortex
· 6분 분량

소프트 스킬 교육은 아직도 대부분 영상, 객관식 시험, 그리고 봐주는 동료와 하는 어색한 롤플레이 한 번으로 끝납니다. Neocortex를 쓰면 VR 시나리오에서 교육생이 봐주지 않는 상대를 마주하게 할 수 있습니다. 화가 난 손님, 불안한 환자, 까다로운 구매자는 교육생이 고른 모든 말에 반응하며, 실제 사람처럼 점점 진정되거나 더 화를 냅니다.
어떤 모습인지
알버리(The Albury)는 가상의 도시 호텔이며, 접객 교육 프로그램을 위해 VR로 다시 만들었습니다. 새로 들어온 프런트 데스크 교육생이 Meta Quest 헤드셋을 쓰면, 밤 11시에 접수대 뒤에 서 있는 자신을 발견합니다. 회전문으로 해리엇 로가 여행 가방을 끌고 들어오는데, 이미 짜증이 나 있습니다. 한 시간 전에 그녀의 방이 다른 손님에게 넘어갔기 때문입니다.
해리엇: 4개월 전에 이 방을 예약했어요. 4개월이요. 그런데 방이 없다고요? 교육생: 그건 옳지 않습니다. 죄송합니다. 지금 제가 해 드릴 수 있는 방법을 찾아보겠습니다. 해리엇: 좋아요. 하지만 빗자루 창고에서 잘 생각은 없어요.
교육생이 가상 예약 화면을 확인하면, 앱이 이벤트를 보냅니다. 꼭대기 층에 스위트룸 하나가 비어 있다는 내용입니다. 교육생이 원래 요금에 조식을 포함해 그 방을 제안하면, 해리엇의 다음 대사는 안도한 감정 태그와 함께 돌아오고, 그녀는 팔짱을 풉니다. 응답에는 TAKE_KEYCARD 행동이 들어 있어서, 앱은 그녀가 카드에 손을 뻗는 장면으로 재생합니다.
다른 교육생이 같은 시나리오를 돌리면서 "음, 그건 호텔 규정입니다"라고 시작할 수도 있습니다. 그러면 해리엇의 감정은 화남으로 바뀌고, 응답에는 ASK_FOR_MANAGER가 실리며, 장면은 더 어려워집니다. 어느 경로도 미리 대본으로 짜여 있지 않습니다. 트레이너가 해리엇이 누구인지, 무엇을 원하는지, 좋은 응대가 어떤 체크포인트를 거쳐야 하는지를 정의했을 뿐입니다.
장면이 끝나면 헤드셋에 사후 검토가 표시됩니다. 교육생이 도달한 체크포인트와 호텔의 불만 처리 지침에서 무엇을 제안해야 하는지에 관한 짧은 질문 네 개가 나옵니다.
Neocortex가 작동하게 하는 방법
- AI 캐릭터. 해리엇은 Neocortex 시각적 노드 편집기에서 설계합니다. 성격, 배경 이야기, 그녀가 기대하는 것, 그녀를 진정시키는 것, 상황을 더 나쁘게 만드는 것을 정합니다. 누군가 로비를 만들기 전에도 트레이너는 브라우저 대시보드에서 그녀와 연습할 수 있습니다.
- 감정. 모든 대사에는 감정 태그가 붙습니다. 애니메이션 시스템이 이를 자세와 표정으로 바꾸므로, 교육생은 실제 데스크에서처럼 손님의 상태를 읽을 수 있습니다.
- Conversation Flows. Start, Checkpoint, End 노드가 시나리오를 정의합니다. 인정하기, 사과하기, 해결책 제시하기, 다음 단계 확인하기입니다. 각 응답은 앱이 평가용으로 기록하는
flowState키워드를 돌려줍니다. Flows는 모든 요금제에서 쓸 수 있습니다. - 이벤트. 교육생이 손으로 하는 행동도 중요합니다. 예약 화면 확인, 객실 관리팀 호출, 바우처 전달은 이벤트로 들어가고, 해리엇은 그것에 반응합니다.
- 행동.
TAKE_KEYCARD,ASK_FOR_MANAGER,WALK_AWAY가 응답과 함께 돌아오면, 장면이 그것을 재생합니다. - 음성, 음성 인식, 립싱크. 교육생은 헤드셋에 자연스럽게 말하고, 캐릭터는 스트리밍 음성으로 응답합니다. 유니티 SDK가 그녀의 얼굴 블렌드셰이프를 구동하므로 입이 말에 맞춰 움직입니다.
- 퀴즈 엔진. API를 통한 질문 세트와 점수 계산으로 사후 검토를 만듭니다(Team 요금제).
- 사용량 관리. 교육생마다
playerId를 보내고 플레이어별, 캐릭터별 사용량을 추적합니다. 대시보드의 분석으로 프로그램 담당자가 누가 얼마나 자주 연습했는지 볼 수 있습니다. - 지식 베이스. 회사의 서비스 지침을 업로드하면, 코치 캐릭터가 사후 검토에서 정책이 실제로 허용하는 범위를 설명할 수 있습니다.
만들어 볼 만한 아이디어
의료 환자 접수. 긴장한 환자 토마시가 두려워하던 시술을 받으러 옵니다. 그는 짧고 피하는 듯한 답을 합니다. 교육 간호사는 그를 안심시키면서도 병력을 확인해야 합니다. 체크포인트는 알레르기, 복용 약, 동의를 다뤘는지 추적하고, 그의 감정 태그는 그가 긴장을 풀고 있는지 아니면 마음을 닫고 있는지 보여 줍니다.
영업 이의 연습. 구매 담당자 루스 앰블러는 제품을 마음에 들어 하지만 가격이 싫고, 다른 공급사의 더 싼 견적서를 책상에 두고 있습니다. 영업 교육생은 이의를 하나씩 차례로 다룹니다. 흐름은 할인을 제시하기 전에 교육생이 그녀의 실제 제약이 무엇인지 물었는지 기록하며, 이후 퀴즈가 교육생이 가격 규정을 알고 있는지 확인합니다.
갈등 완화 교육. 붐비는 매장에서 환불을 두고 소리치는 손님이 있고, 교육생은 보안 요원이나 매장 관리자입니다. 사람이 모이거나 동료가 도착하는 것 같은 장면의 이벤트가 긴장을 높이거나 낮춥니다. CALM_DOWN이나 STORM_OUT 행동은 앱에 장면이 어떻게 끝났는지 알려 줍니다.
두 번째 목소리. 호텔 데스크에서 의견이 엇갈리는 커플처럼 두 사람이 나오는 장면에서는, 그룹 채팅이 두 캐릭터를 하나의 대화에 넣습니다(Pro와 Team 요금제). Conversation Flows는 그룹 채팅에서 실행되지 않으므로, 이런 장면은 이벤트와 직접 만든 채점으로 평가하세요.
만들기
VR 교육은 Meta Quest에서 XR Interaction Toolkit과 함께 유니티로 돌아가며, 유니티 SDK를 씁니다. 헤드셋 쪽을 시작하기에는 오픈 소스 VR 데모가 좋은 출발점입니다.
- 트레이너처럼 시나리오 쓰기. 캐릭터가 누구인지, 무엇이 잘못되었는지, 좋은 결과는 어떤 모습인지, 교육생이 겪기를 원하는 실수는 무엇인지 적습니다.
- 캐릭터 만들기. 시각적 편집기에서 성격, 음성, 감정, 몸짓 행동 몇 가지를 설정합니다.
- 평가 기준을 Conversation Flow로 바꾸기. 보고 싶은 행동마다 체크포인트 하나를 둡니다.
- 대시보드에서 연습하기. 좋은 응답, 평범한 응답, 나쁜 응답을 넣어 보면서, 캐릭터가 경험 많은 트레이너가 기대하는 대로 반응할 때까지 다듬습니다.
- VR 데모로 장면 만들기. 마이크 입력, 음성과 립싱크 출력, 애니메이션에 연결된 행동, 교육생의 행동에 대한 이벤트를 구성합니다.
- 교육생별로 흐름 상태 기록하기. Team 요금제에서 사후 검토 퀴즈를 추가하고, 대시보드에서 사용량을 검토합니다.
각 캐릭터의 첫 버전은 실제 상황보다 조금 쉽게 만드세요. 한 번 성공한 교육생은 손님이 그렇게 빨리 진정되지 않는 더 어려운 버전을 기꺼이 다시 해 보려고 합니다.
소프트 스킬 교육은 AI NPC, 주변 AI, 음성 명령 활용 사례 중 하나입니다. 다른 VR 아이디어는 VR 탈출 방의 AI 캐릭터를, 교실 롤플레이는 언어 연습용 AI 대화 파트너를 참고하세요. 교육과 훈련 페이지와 VR 경험 페이지에서 나머지를 볼 수 있습니다. 어려운 손님 한 명과 체크포인트 네 개로 시작하세요.
2026년 10월 확인.
자주 묻는 질문
AI 캐릭터를 VR 소프트 스킬 교육에 쓸 수 있나요?
네. Neocortex 캐릭터는 유니티와 XR Interaction Toolkit으로 만든 Meta Quest 앱에서 실행됩니다. 교육생은 캐릭터에게 말하고, 캐릭터는 대화의 흐름을 반영한 감정으로 자신의 목소리로 답합니다.
AI 롤플레이에서 교육생을 어떻게 평가하나요?
시나리오를 체크포인트가 있는 Neocortex Conversation Flow로 설계하세요. 체크포인트는 문제 인정하기나 해결책 제시하기 같은 것입니다. 각 응답은 flowState 키워드를 돌려주므로, 앱이 교육생이 도달한 체크포인트를 기록할 수 있습니다.
VR 교육 시나리오를 퀴즈로 끝낼 수 있나요?
네. Neocortex 퀴즈 엔진은 Team 요금제에서 API를 통해 질문 세트와 점수 계산을 실행합니다. 롤플레이가 끝날 때마다 하는 짧은 사후 검토에 알맞습니다.
AI 교육 사용량을 교육생별로 추적할 수 있나요?
네. 요청마다 플레이어 ID를 보내면, Neocortex가 플레이어별, 캐릭터별 사용량과 한도를 추적하며, 대시보드에서 분석을 볼 수 있습니다.






