Perintah Suara di VR: Kontrol Tanpa Tangan di Meta Quest
Tambahkan perintah suara di VR dengan Neocortex: kontrol offline di headset Meta Quest untuk ganti alat, buka menu, dan jalankan pelatihan, plus instruktur AI.
Neocortex TeamThe team behind Neocortex
· 6 menit baca

Di VR, tangan pemain adalah controller-nya: satu memegang kunci inggris, yang lain memegang senter, dan meraih menu di pergelangan tangan berarti melepaskan salah satunya. Neocortex Voice Commands memungkinkan pemain tetap memegang keduanya: mereka berkata "jeda simulasinya" atau "ganti ke pengukur tekanan", dan perintah itu dikenali di headset Meta Quest itu sendiri, secara offline. Tambahkan karakter instruktur AI, dan suara yang sama yang menjalankan skenario bisa bertanya mengapa tekanannya baru saja naik.
Seperti apa tampilannya
Halvard Station adalah simulasi pelatihan VR yang orisinal untuk teknisi perawatan di anjungan pemompaan lepas pantai fiktif. Skenario hari ini: flensa yang bocor di ruang pompa dua. Peserta berjongkok di bawah jalur pipa dengan senter di tangan kiri dan kunci torsi di tangan kanan, duduk di atas sebuah baut.
Tanpa melepaskan keduanya, mereka berkata:
"Tunjukkan katup isolasinya."
Garis kontur lembut muncul di sekitar katup roda di dinding seberang. Lalu: "Jeda simulasinya dan ganti ke pengukur tekanan." Desis kebocoran berhenti di tengah semprotan, dan kunci di tangan kanan berubah menjadi pengukur genggam. "Lanjutkan." Kebocoran kembali. "Hubungi ruang kontrol", dan seorang operator radio menjawab di kanal peserta.
Pembacaannya lebih tinggi dari yang diperkirakan peserta. Itu bukan perintah, melainkan pertanyaan, jadi pertanyaan itu diteruskan ke instruktur, karakter AI bernama Chief Engineer Odile Varga:
Peserta: Kenapa tekanannya naik saat saya melonggarkan baut itu? Odile: Karena jalurnya masih bertekanan. Anda melewatkan katup bleed. Kencangkan lagi baut itu, buang tekanan jalurnya, lalu coba lagi.
Odile tahu peserta melewatkan langkah karena skenario mengirimkannya sebagai event. Prosedurnya sendiri ada di basis pengetahuannya, diunggah dari manual perawatan stasiun. Balasannya juga membawa aksi sorot pada katup bleed, sehingga peserta tahu persis ke mana harus melihat.
Cara Neocortex membuatnya bekerja
- Di headset, offline. Pengenalan ucapan dan pencocokan perintah berjalan di Quest. Perintah tetap bekerja di ruang pelatihan dengan Wi-Fi yang tidak stabil, dan tidak ada audio yang keluar dari headset.
- Tangan tetap pada tugas. Menu, pergantian alat, kontrol skenario, dan panggilan ke rekan tim semuanya dipindahkan ke suara, sehingga pemain tidak perlu meletakkan apa yang sedang mereka pegang.
- Frasa yang alami. "Jeda", "bekukan simulasinya", dan "hentikan simulasinya" bisa memicu aksi yang sama. Peserta mengatakan apa yang wajar dikatakan di bawah tekanan, bukan frasa dari buku panduan.
- Beberapa aksi dalam satu kalimat. "Jeda simulasinya dan ganti ke pengukur tekanan" diterima sebagai dua perintah.
- Konteks. "Tunjukkan katup bleed. Sekarang buka." menyelesaikan "nya" menjadi katup yang baru disorot.
- Tekan-untuk-bicara atau selalu mendengarkan. Tombol grip atau tombol wajah bisa berfungsi sebagai tekan-untuk-bicara saat satu jari bebas. Dalam pelatihan saat kedua tangan selalu sibuk, selalu mendengarkan sering lebih cocok.
- Set perintah berisi aktor, aksi, dan objek, dirancang di dashboard Neocortex: rekan tim dan ruang kontrol sebagai aktor; jeda, tunjukkan, ganti, dan panggil sebagai aksi; katup, alat, dan ruangan sebagai objek.
- Banyak bahasa. Satu set perintah per bahasa, sehingga kru bisa berlatih dalam bahasa yang mereka gunakan di pekerjaan.
Odile adalah karakter AI Neocortex yang dibangun di editor node visual, dengan kepribadian, suara yang di-stream, dan tag emosi di setiap barisnya. Basis pengetahuannya menerima unggahan PDF atau TXT (5 di Starter, 20 di Pro, 100 di Team). Skenario Anda mengirim event seperti "peserta membuka flensa sebelum membuang tekanan jalur", dan ia mengembalikan aksi yang Anda rancang, seperti menyorot suatu bagian, dengan target yang harus disorot aplikasi Anda. Suara instruktur kustom tersedia di Pro (5 suara kustom) dan Team (20).
Ide untuk dibangun
Squad penembak VR. Dengan senapan di kedua tangan, pemain berkata "Mara, asapi halaman. Jensen, ambil pintu kiri." Setiap anggota squad adalah aktor, sehingga perintahnya terpisah dengan rapi, dan masing-masing bisa menjadi karakter AI yang menjawab dengan suaranya sendiri saat pemain meminta laporan status.
Alat bangun VR. Di aplikasi kreatif, tangan memahat dan menempatkan, dan suara menjalankan toolbar: "ganti ke kuas", "buat dua kali lebih besar", "duplikat itu", "undo". Tidak ada yang harus menggali palet mengambang di tengah goresan, dan pekerjaannya tetap di depan mereka.
Ruang teka-teki VR. Pemain memegang lentera di satu tangan dan tuas di tangan lainnya sambil memecahkan ruangan: "turunkan jembatannya", "putar cermin kiri". Pasangkan dengan karakter AI yang memberi petunjuk saat diminta, dan ruangan bisa murah hati atau pelit tergantung bagaimana kinerja pemain.
Kontrol skenario untuk pelatih. Dalam program pelatihan yang lebih panjang, suara memungkinkan peserta mengulang dan memvariasikan latihan tanpa melepas headset: "mulai ulang dari kebocoran", "jalankan lagi dengan alarm menyala". Skenario menjadi sesuatu yang bisa mereka ulang sepuluh kali dalam satu sesi, bukan dua kali.
Membangunnya
Neocortex Voice Commands berjalan di headset Meta Quest, di dalam aplikasi VR Anda. Karakter AI seperti instruktur terhubung lewat API Neocortex, dan demo VR open source kami adalah proyek Quest yang berfungsi dengan karakter AI sebagai titik awal.
- Cari momen ketika tangan penuh. Jalani pengalaman Anda dan tandai setiap pergantian alat, menu, jeda, dan permintaan bantuan. Itulah perintah Anda.
- Rancang set perintah di dashboard Neocortex: rekan tim dan stasiun sebagai aktor, kata kerja Anda sebagai aksi, dan peralatan serta tempat di scene sebagai objek, dengan beberapa contoh frasa untuk masing-masing.
- Tambahkan Neocortex Voice Commands ke build Quest Anda dan hubungkan setiap perintah yang cocok ke pengontrol skenario dan sistem alat Anda.
- Pilih mode mendengarkan yang sesuai dengan tangan: selalu mendengarkan untuk latihan saat kedua tangan tetap sibuk, tekan-untuk-bicara di tombol grip untuk game yang ramai.
- Tambahkan instruktur AI: karakter Neocortex dengan kepribadian, suara, basis pengetahuan prosedur Anda, dan aksi untuk menyorot peralatan. Kirim event skenario bersama setiap pertanyaan agar jawabannya mengikuti apa yang benar-benar dilakukan peserta.
- Tambahkan satu set perintah per bahasa yang digunakan peserta atau pemain Anda.
Berikan setiap perintah pengakuan kecil di headset, seperti denting lembut atau label pendek di dekat pergelangan tangan. Tanpa tepi layar untuk dilirik, pemain perlu tahu bahwa mereka didengar. Pertahankan juga menu pergelangan tangan tetap bisa dijangkau dengan tangan, untuk siapa pun yang lebih suka meraih daripada berbicara.
Voice Commands adalah SDK berlisensi: hubungi kami untuk lisensi Voice Commands. Instruktur dan karakter AI lainnya, beserta API di baliknya, termasuk dalam setiap paket.
Pengendalian VR tanpa tangan adalah satu entri dalam kasus penggunaan NPC AI, AI ambient, dan perintah suara kami. Untuk lebih banyak tentang headset, baca pelatihan soft skill VR dengan AI dan karakter AI untuk escape room VR, dan lihat halaman pengalaman VR. Mulailah dengan satu pergantian alat dan satu perintah jeda, lalu lihat seberapa cepat peserta berhenti meraih menu.
Diperiksa Oktober 2026.
Pertanyaan yang sering diajukan
Bisakah saya memakai perintah suara di aplikasi Meta Quest?
Bisa. Neocortex Voice Commands berjalan di headset Meta Quest itu sendiri, sehingga pemain bisa membuka menu, mengganti alat, dan mengontrol skenario dengan suara sementara tangan mereka tetap di controller.
Apakah perintah suara VR membutuhkan koneksi internet?
Tidak. Neocortex Voice Commands mengenali dan mencocokkan ucapan di headset, secara offline, dan tidak ada audio yang keluar dari perangkat. Hanya karakter AI, jika Anda menambahkannya, yang memakai API Neocortex.
Bisakah perintah suara mengendalikan simulasi pelatihan VR?
Bisa. Perintah seperti "jeda simulasinya" atau "tunjukkan katupnya" masuk sebagai aksi dan objek yang dijalankan aplikasi pelatihan Anda, dan karakter instruktur AI Neocortex bisa menjawab pertanyaan prosedur yang lebih panjang.
Bagaimana cara menambahkan instruktur AI ke aplikasi VR?
Buat karakter AI Neocortex dengan kepribadian, suara, dan basis pengetahuan prosedur instruktur, lalu kirim event skenario bersama setiap pertanyaan. Demo Meta Quest open source kami menunjukkan proyek VR yang berbicara dengan karakter AI.






