Neocortex Logo

Comandos de voz em VR: controle sem as mãos no Meta Quest

Adicione comandos de voz em VR com a Neocortex: controle offline no headset Meta Quest para trocar ferramentas, abrir menus e rodar treinamentos, além de um instrutor com IA.

Neocortex TeamThe team behind Neocortex

· 6 min de leitura

Adicione comandos de voz em VR com a Neocortex: controle offline no headset Meta Quest para trocar ferramentas, abrir menus e rodar treinamentos, além de um instrutor com IA.

Em VR, as mãos do jogador são o controle: uma segura a chave inglesa, a outra segura a lanterna, e alcançar um menu no pulso significa soltar uma delas. Os Comandos de Voz da Neocortex permitem que o jogador continue segurando as duas: ele diz "pause a simulação" ou "mude para o medidor", e o comando é reconhecido no próprio headset Meta Quest, offline. Acrescente um personagem instrutor com IA, e a mesma voz que comanda o cenário pode perguntar por que a pressão acabou de subir.

Como fica na prática

A Halvard Station é uma simulação de treinamento em VR original para técnicos de manutenção, em uma plataforma de bombeamento offshore fictícia. O cenário de hoje: uma flange vazando na sala de bombas dois. O treinando está agachado sob uma tubulação, com a lanterna na mão esquerda e uma chave de torque na direita, apoiado em um parafuso.

Sem soltar nenhuma das duas, ele diz:

"Mostre a válvula de isolamento."

Um contorno suave aparece em volta de uma válvula de volante na parede do fundo. Depois: "Pause a simulação e mude para o medidor de pressão." O chiado do vazamento para no meio do jato, e a chave na mão direita vira um medidor portátil. "Retomar." O vazamento volta. "Chame a sala de controle", e um operador de rádio responde no canal do treinando.

A leitura está mais alta do que o treinando esperava. Isso não é um comando, é uma pergunta, então ela vai para o instrutor, um personagem de IA chamado Engenheira-chefe Odile Varga:

Treinando: Por que a pressão subiu quando eu soltei aquele parafuso? Odile: Porque a linha ainda está viva. Você pulou a válvula de sangria. Aperte o parafuso de novo, sangre a linha e tente outra vez.

A Odile sabe que o treinando pulou uma etapa porque o cenário enviou isso como um evento. O procedimento em si fica na base de conhecimento dela, enviada a partir do manual de manutenção da estação. A resposta dela também trouxe uma ação de destaque na válvula de sangria, para que o treinando saiba exatamente onde olhar.

Como a Neocortex faz isso funcionar

  • No headset, offline. O reconhecimento de voz e a correspondência de comandos rodam no Quest. Os comandos continuam funcionando em uma sala de treinamento com Wi-Fi instável, e nenhum áudio sai do headset.
  • As mãos seguem na tarefa. Menus, trocas de ferramenta, controles do cenário e chamadas para colegas passam para a voz, então o jogador nunca precisa largar o que está segurando.
  • Frases naturais. "Pausar", "congelar a simulação" e "parar a simulação" podem disparar a mesma ação. Os treinandos dizem o que vem naturalmente sob pressão, e não uma frase de um manual.
  • Várias ações em uma frase. "Pause a simulação e mude para o medidor de pressão" chega como dois comandos.
  • Contexto. "Mostre a válvula de sangria. Agora abra." resolve o "ela" para a válvula que acabou de ser destacada.
  • Pressionar para falar ou escutar sempre. Um botão de empunhadura ou um botão de face pode funcionar como pressionar para falar quando sobra um dedo livre. Em treinamentos em que as duas mãos estão sempre ocupadas, escutar sempre costuma servir melhor.
  • Conjuntos de comandos de atores, ações e objetos, criados no painel da Neocortex: colegas e a sala de controle como atores; pausar, mostrar, trocar e chamar como ações; válvulas, ferramentas e salas como objetos.
  • Vários idiomas. Um conjunto de comandos por idioma, para que as equipes treinem no idioma em que trabalham.

A Odile é um personagem de IA da Neocortex criado no editor visual de nós, com personalidade, voz em streaming e tags de emoção em cada fala. A base de conhecimento dela aceita uploads de PDF ou TXT (5 no Starter, 20 no Pro, 100 no Team). O seu cenário envia eventos como "treinando abriu a flange antes de sangrar a linha", e ela devolve ações que você configurou, como destacar uma peça, com o alvo que o seu app deve iluminar. Uma voz de instrutor personalizada está disponível no Pro (5 vozes personalizadas) e no Team (20).

Ideias para criar

Um esquadrão de tiro em VR. Com um rifle apoiado com as duas mãos, o jogador chama "Mara, fume o pátio. Jensen, pegue a porta da esquerda." Cada integrante do esquadrão é um ator, então as ordens se separam com clareza, e cada um pode ser um personagem de IA que responde com a própria voz quando o jogador pede um relatório de situação.

Uma ferramenta de construção em VR. Em um app criativo, as mãos esculpem e posicionam, e a voz comanda a barra de ferramentas: "troque para o pincel", "deixe duas vezes maior", "duplique isso", "desfazer". Ninguém precisa procurar em uma paleta flutuante no meio de um traço, e o trabalho fica diante dos olhos.

Uma sala de quebra-cabeça em VR. Os jogadores seguram uma lanterna em uma mão e uma alavanca na outra enquanto descobrem a sala: "abaixe a ponte", "gire o espelho da esquerda". Combine isso com um personagem de IA que dá dicas quando pedido, e a sala pode ser generosa ou econômica, conforme o desempenho do jogador.

Controle de cenário para instrutores. Em um programa de treinamento mais longo, a voz permite que o treinando reinicie e varie o exercício sem sair do headset: "recomece a partir do vazamento", "rode de novo com o alarme ligado". O cenário vira algo que ele pode repetir dez vezes em uma sessão, em vez de duas.

Como construir

Os Comandos de Voz da Neocortex rodam no headset Meta Quest, dentro do seu app de VR. Personagens de IA como o instrutor se conectam pela API da Neocortex, e nossa demo de VR de código aberto é um projeto Quest funcionando, com personagens de IA, para você começar.

  1. Encontre os momentos em que as mãos estão ocupadas. Percorra a sua experiência e marque cada troca de ferramenta, menu, pausa e pedido de ajuda. Eles viram os seus comandos.
  2. Crie um conjunto de comandos no painel da Neocortex: colegas e estações como atores, os seus verbos como ações e os equipamentos e lugares da cena como objetos, com algumas frases de exemplo para cada um.
  3. Adicione os Comandos de Voz da Neocortex ao seu build do Quest e conecte cada comando reconhecido ao controlador do cenário e ao seu sistema de ferramentas.
  4. Escolha um modo de escuta que combine com as mãos: escutar sempre para exercícios em que as duas mãos ficam ocupadas, pressionar para falar em um botão de empunhadura para jogos com muita conversa.
  5. Adicione o instrutor com IA: um personagem da Neocortex com personalidade, voz, uma base de conhecimento dos seus procedimentos e ações para destacar equipamentos. Envie eventos do cenário com cada pergunta, para que as respostas sigam o que o treinando realmente fez.
  6. Adicione um conjunto de comandos por idioma que os seus treinandos ou jogadores falam.

Dê a cada comando um pequeno aviso no headset, como um som suave ou um rótulo curto perto do pulso. Sem uma borda de tela para olhar, os jogadores precisam saber que foram ouvidos. Mantenha também o menu do pulso ao alcance da mão, para quem prefere alcançar a falar.

Os Comandos de Voz são um SDK licenciado: fale conosco para uma licença de Comandos de Voz. O instrutor e os outros personagens de IA, com a API por trás deles, fazem parte de todos os planos.

VR sem as mãos é uma entrada da nossa lista de casos de uso de NPC com IA, IA ambiente e comandos de voz. Para saber mais sobre headsets, leia treinamento de habilidades interpessoais em VR com IA e personagens de IA para salas de fuga em VR, e veja a página de experiências em VR. Comece com uma troca de ferramenta e um comando de pausa, e veja como os treinandos param de alcançar o menu rapidamente.

Verificado em outubro de 2026.

Perguntas frequentes

Dá para usar comandos de voz em um app Meta Quest?

Dá. Os Comandos de Voz da Neocortex rodam no próprio headset Meta Quest, então os jogadores podem abrir menus, trocar ferramentas e controlar um cenário por voz enquanto as mãos permanecem nos controles.

Comandos de voz em VR precisam de conexão com a internet?

Não. Os Comandos de Voz da Neocortex reconhecem e correspondem a fala no headset, offline, e nenhum áudio sai do dispositivo. Só um personagem de IA, se você adicionar um, usa a API da Neocortex.

Comandos de voz podem controlar uma simulação de treinamento em VR?

Podem. Comandos como "pause a simulação" ou "mostre a válvula" chegam como ações e objetos que o seu app de treinamento executa, e um personagem instrutor com IA da Neocortex pode responder perguntas mais longas sobre o procedimento.

Como adiciono um instrutor com IA a um app de VR?

Crie um personagem de IA da Neocortex com a personalidade, a voz e uma base de conhecimento dos seus procedimentos do instrutor, depois envie eventos do cenário com cada pergunta. Nossa demo de Meta Quest de código aberto mostra um projeto de VR conversando com personagens de IA.

Artigos semelhantes

Continue lendo