VRの音声コマンド: Meta Questでハンズフリーに操作する
NeocortexでVRに音声コマンドを追加します。Meta Questのヘッドセットでオフラインに道具の切り替え、メニューの操作、訓練の実行ができ、AIインストラクターも加えられます。
Neocortex TeamThe team behind Neocortex
· 6分で読めます

VRでは、プレイヤーの手がそのままコントローラーです。片方でレンチを握り、もう片方で懐中電灯を持っています。手首のメニューに手を伸ばすには、どちらかを手放さなければなりません。Neocortexの音声コマンドを使えば、プレイヤーは両方を握ったままでいられます。「シミュレーションを一時停止」や「圧力計に切り替え」と言えば、コマンドはMeta Questのヘッドセットそのもので、オフラインで認識されます。AIインストラクターのキャラクターを加えれば、シナリオを動かしているのと同じ声で、圧力がなぜ急に上がったのかを尋ねることもできます。
どのように見えるか
Halvard Stationは、架空の沖合のポンプ基地で保守作業員を訓練する、オリジナルのVR訓練シミュレーションです。今日のシナリオは、ポンプ室2でフランジが漏れている状況です。訓練を受ける人は、パイプの下でしゃがみ、左手に懐中電灯、右手にトルクレンチを持ち、ボルトの上に座っています。
どちらも手放さずに、次のように言います。
「隔離バルブを見せて」
遠くの壁にあるハンドルバルブの周りに、やわらかい輪郭線が現れます。続けて「シミュレーションを一時停止して、圧力計に切り替えて」と言います。漏れの噴出音は途中で止まり、右手のレンチが手持ちの圧力計に変わります。「再開」と言うと、漏れが再び始まります。「制御室に連絡」と言うと、無線の担当者が訓練者のチャンネルで応答します。
表示された数値は、訓練者が予想していたよりも高いです。これはコマンドではなく質問なので、インストラクターに届きます。インストラクターはChief Engineer Odile Vargaというキャラクターです。
訓練者: このボルトを緩めたとき、なぜ圧力が跳ね上がったの? Odile: 配管がまだ生きているからです。抜き弁を飛ばしましたね。ボルトを締め直し、配管の圧を抜いてから、もう一度やってください。
Odileは、訓練者が手順を飛ばしたことを知っています。シナリオがそれをイベントとして送ってきたからです。手順そのものは、彼女のナレッジベースにあります。これは基地の保守マニュアルからアップロードされたものです。彼女の返答には、抜き弁をハイライトするアクションも含まれていました。そのため、訓練者はどこを見ればよいかを正確に知ることができます。
Neocortexでどのように動くか
- ヘッドセットの上で、オフラインに。 音声認識とコマンドの照合は、Questの上で動きます。Wi-Fiが不安定な訓練室でもコマンドは動き、音声がヘッドセットの外に出ることはありません。
- 手は作業に残す。 メニュー、道具の切り替え、シナリオの操作、仲間への連絡はすべて音声で行えるため、プレイヤーは手に持っているものを置く必要がありません。
- 自然な言い回し。 「一時停止」「シミュレーションを止めて」「止めて」のどれも、同じ操作を起こせます。訓練者は、マニュアルの言い回しではなく、プレッシャーの中で自然に出る言葉を使います。
- 1文で複数の操作。 「シミュレーションを一時停止して、圧力計に切り替えて」は、2つのコマンドとして扱われます。
- 文脈。 「バルブを見せて。それを開けて」は、「それ」をいま強調したバルブとして解釈します。
- プッシュトゥトークか常時待機か。 指が1本空いているときは、グリップかボタンをプッシュトゥトークとして使えます。両手が常に塞がっている訓練では、常時待機のほうが合うことが多いです。
- アクター、アクション、オブジェクトのコマンドセット。 Neocortexのダッシュボードで設計します。仲間と制御室はアクター、一時停止、表示、切り替え、連絡はアクション、バルブ、道具、部屋はオブジェクトです。
- 複数の言語。 言語ごとにコマンドセットを1つ用意できるため、チームは普段働いている言語で訓練できます。
Odileは、ビジュアルノードエディターで作られたNeocortexのAIキャラクターです。性格、ストリーミングされる声、各セリフの感情タグを持っています。彼女のナレッジベースは、PDFまたはTXTのアップロードを受け付けます(Starterで5件、Proで20件、Teamで100件)。シナリオは「配管を抜く前にフランジを開けた」のようなイベントを送り、彼女は、あなたが作ったアクションを返します。たとえば、部品のハイライトと、アプリが光らせるべき対象です。カスタムのインストラクターの声は、Proで利用でき(カスタムの声5つ)、Teamでは20です。
作ってみたいアイデア
VRのシューティングの分隊。 両手でライフルを構えたまま、プレイヤーは「マラ、中庭に煙幕。ジェンセン、左のドアを押さえろ」と言います。仲間ひとりひとりがアクターなので、指示はきれいに分かれます。また、それぞれがAIキャラクターとして、プレイヤーが状況報告を求めると、自分の声で答えられます。
VRの建築ツール。 クリエイティブなアプリでは、手で彫刻し配置します。ツールバーは音声で操作します。「ブラシに切り替え」「2倍の大きさに」「それを複製」「取り消し」。線を引いている途中で、浮かんだパレットを探す必要はありません。作業は目の前に残ります。
VRのパズルの部屋。 プレイヤーは片手にランタン、もう片方の手にレバーを持ち、部屋の仕掛けを解きます。「橋を下ろして」「左の鏡を回して」。質問されたときにヒントをくれるAIキャラクターと組み合わせれば、プレイヤーの進み具合に応じて、部屋を親切にも厳しくもできます。
訓練者のためのシナリオ操作。 長い訓練プログラムでは、音声によって、訓練者はヘッドセットを外さずに訓練をやり直したり、内容を変えたりできます。「漏れのところから再開」「警報を鳴らしてもう一度」。シナリオは、1回のセッションで2回だけでなく、10回繰り返せるものになります。
作り方
Neocortexの音声コマンドは、Meta Questのヘッドセット上で、あなたのVRアプリの中で動きます。インストラクターのようなAIキャラクターは、Neocortex APIを通じて接続します。また、オープンソースのVRデモ は、AIキャラクターを使う動作中のQuestプロジェクトで、出発点として使えます。
- 両手が塞がる瞬間を見つける。 体験を通して歩き、道具の切り替え、メニュー、一時停止、助けを求める呼びかけをすべて印を付けます。それがコマンドになります。
- コマンドセットを設計する。 Neocortexのダッシュボードで、仲間や場所をアクター、動詞をアクション、シーンにある機器や場所をオブジェクトとして設定し、それぞれに数個の例文を加えます。
- Quest版のビルドに、Neocortexの音声コマンドを追加する。 照合された各コマンドを、シナリオのコントローラーと道具のシステムに接続します。
- 手に合った聞き取りモードを選ぶ。 両手が常に塞がっている訓練では常時待機、会話の多いゲームではグリップボタンのプッシュトゥトークにします。
- AIインストラクターを加える。 性格、声、手順のナレッジベース、機器をハイライトするアクションを持つNeocortexのキャラクターです。各質問と一緒にシナリオのイベントを送ると、答えが訓練者の実際の行動に沿います。
- 訓練者やプレイヤーが話す言語ごとに、コマンドセットを加える。
どのコマンドにも、ヘッドセットの中で小さな反応を返してください。たとえば、やわらかいチャイムや、手首の近くに出る短いラベルです。画面の端を見てその場で確認できないため、プレイヤーは聞き取られたことを知る必要があります。手で触れる手首のメニューも残しておきましょう。話すより手を伸ばしたい人のためです。
音声コマンドはライセンス付きのSDKです。音声コマンドのライセンスについてはお問い合わせください。インストラクターやそのほかのAIキャラクターは、その裏にあるAPIとともに、すべてのプランに含まれます。
ハンズフリーのVRは、AI NPC、アンビエントAI、音声コマンドのユースケース の一つです。ヘッドセットについてさらに知りたい場合は、AIによるVRのソフトスキル訓練 と VR脱出ルーム向けのAIキャラクター をご覧ください。また、VR体験 のページもあります。まずは道具を1つ切り替えるコマンドと、1つの一時停止コマンドから始めてください。訓練者が手を伸ばして、メニューを触らなくなるのがどれほど早いか、見てみてください。
2026年10月に確認。
よくある質問
Meta Questのアプリで、音声コマンドを使えますか?
はい。Neocortexの音声コマンドは、Meta Questのヘッドセットそのものの上で動きます。そのため、プレイヤーは手をコントローラーに置いたまま、音声でメニューを開き、道具を切り替え、シナリオを操作できます。
VRの音声コマンドには、インターネット接続が必要ですか?
いいえ。Neocortexの音声コマンドは、音声をヘッドセット上でオフラインに認識して照合します。音声が機器の外に出ることはありません。AIキャラクターを加えた場合だけ、そのキャラクターがNeocortex APIを使います。
音声コマンドで、VRの訓練シミュレーションを操作できますか?
はい。「シミュレーションを一時停止」や「バルブを見せて」のようなコマンドは、アクションとオブジェクトとして届き、あなたの訓練アプリが実行します。また、Neocortexの AIインストラクターのキャラクターは、手順についての長い質問に答えられます。
VRアプリにAIインストラクターを加えるには、どうすればよいですか?
インストラクターの性格、声、手順のナレッジベースを持つNeocortexのAIキャラクターを作ります。そのあと、各質問と一緒にシナリオのイベントを送ります。当社のオープンソースのMeta Questデモは、AIキャラクターと話すVRプロジェクトの例です。






