Neocortex Logo

Latihan Soft Skill VR dengan AI: Roleplay yang Membalas

Bangun latihan soft skill VR dengan Neocortex: karakter roleplay AI di Meta Quest yang bereaksi terhadap ucapan peserta, mengikuti checkpoint, dan menyiapkan debrief.

Neocortex TeamThe team behind Neocortex

· 6 menit baca

Bangun latihan soft skill VR dengan Neocortex: karakter roleplay AI di Meta Quest yang bereaksi terhadap ucapan peserta, mengikuti checkpoint, dan menyiapkan debrief.

Sebagian besar latihan soft skill masih berupa video, tes pilihan ganda, dan mungkin satu sesi roleplay yang canggung dengan rekan kerja yang berlaku lunak pada Anda. Neocortex memungkinkan skenario VR menempatkan peserta di hadapan karakter yang tidak begitu: tamu yang kesal, pasien yang gugup, atau pembeli yang keras yang bereaksi terhadap setiap kata yang mereka pilih dan menjadi lebih tenang atau lebih marah seperti orang sungguhan.

Seperti apa tampilannya

The Albury adalah hotel kota fiktif, dibangun ulang dalam VR untuk program pelatihan perhotelan. Seorang peserta resepsionis baru memakai headset Meta Quest dan mendapati dirinya berdiri di balik meja resepsionis pukul sebelas malam. Dari pintu putar masuklah Harriet Lowe, menyeret koper dan sudah kesal. Kamarnya sudah diberikan kepada orang lain satu jam sebelumnya.

Harriet: Saya memesan kamar ini empat bulan lalu. Empat. Dan Anda bilang kamarnya sudah tidak ada? Peserta: Itu tidak benar, dan saya minta maaf. Izinkan saya memeriksa apa yang bisa saya lakukan untuk Anda sekarang juga. Harriet: Baiklah. Tapi saya tidak mau tidur di gudang sapu.

Peserta memeriksa layar pemesanan virtual, dan aplikasi mengirim sebuah event: satu suite kosong di lantai teratas. Ia menawarkannya, dengan tarif awal, termasuk sarapan. Balasan Harriet berikutnya datang dengan tag lega, ia melepas lipatan tangannya, dan balasan itu membawa tindakan TAKE_KEYCARD yang oleh aplikasi diputar sebagai gerakan Harriet meraih kartu.

Peserta lain menjalankan skenario yang sama dan membuka dengan "Yah, itu kebijakan hotel." Emosi Harriet berubah menjadi marah, balasannya membawa ASK_FOR_MANAGER, dan adegannya menjadi lebih sulit. Tidak ada jalur yang ditulis sebelumnya. Trainer yang menentukan siapa Harriet, apa yang ia inginkan, dan checkpoint mana yang harus dilalui respons yang baik.

Ketika adegan berakhir, headset menampilkan debrief: checkpoint yang dicapai peserta, dan empat pertanyaan singkat tentang apa yang seharusnya ditawarkan menurut pedoman keluhan hotel.

Cara Neocortex membuatnya bekerja

  • Karakter AI. Harriet dirancang di editor node visual Neocortex: kepribadian, latar belakang, apa yang ia harapkan, apa yang bisa menenangkannya, dan apa yang akan memperburuk keadaan. Trainer bisa berlatih dengannya di dashboard browser sebelum siapa pun membangun lobinya.
  • Emosi. Setiap baris membawa tag emosi. Sistem animasi Anda mengubahnya menjadi postur dan ekspresi, sehingga peserta membaca tamu itu seperti yang akan mereka lakukan di meja sungguhan.
  • Conversation Flows. Node Start, Checkpoint, dan End mendefinisikan skenario: mengakui, meminta maaf, menawarkan solusi, memastikan langkah berikutnya. Setiap balasan mengembalikan kata kunci flowState yang dicatat aplikasi Anda untuk penilaian. Flows tersedia di setiap paket.
  • Events. Apa yang dilakukan peserta dengan tangannya juga penting. Memeriksa layar pemesanan, menelepon housekeeping, atau menyerahkan voucher dimasukkan sebagai event, dan Harriet meresponsnya.
  • Actions. TAKE_KEYCARD, ASK_FOR_MANAGER, atau WALK_AWAY kembali bersama balasan, dan adegan Anda memutarnya.
  • Suara, speech-to-text, dan lip sync. Peserta berbicara secara alami ke headset, karakter membalas dengan suara yang di-stream, dan SDK Unity menggerakkan blendshape wajahnya sehingga mulutnya bergerak mengikuti kata-kata.
  • Quiz engine. Kumpulan pertanyaan dan penilaian lewat API membuat debrief (paket Team).
  • Kontrol pemakaian. Kirim playerId untuk setiap peserta dan lacak pemakaian per pemain dan per karakter, dengan analitik di dashboard, sehingga pemimpin program bisa melihat siapa yang sudah berlatih dan seberapa sering.
  • Basis pengetahuan. Unggah pedoman layanan perusahaan agar karakter pelatih bisa menjelaskan dalam debrief apa yang sebenarnya diizinkan kebijakan.

Ide untuk dibangun

Penerimaan pasien di layanan kesehatan. Seorang pasien yang gugup, Tomasz, datang untuk prosedur yang selama ini ia takutkan dan memberikan jawaban singkat yang menghindar. Perawat peserta harus membuatnya tenang dan tetap mengumpulkan riwayat medisnya. Checkpoint melacak apakah alergi, obat-obatan, dan persetujuan sudah dibahas, dan tag emosinya menunjukkan apakah ia mulai rileks atau menutup diri.

Latihan menangani keberatan penjualan. Seorang kepala pengadaan bernama Ruth Ambler menyukai produknya, tidak suka harganya, dan punya penawaran lebih murah dari pemasok lain di mejanya. Peserta sales berlatih menangani setiap keberatan secara bergantian. Flow mencatat apakah mereka menanyakan kendala sebenarnya sebelum memberi diskon, dan kuis setelahnya memastikan mereka memahami aturan harga.

Latihan de-eskalasi. Seorang pembeli di toko yang ramai berteriak soal pengembalian dana, dan peserta adalah petugas keamanan atau manajer toko. Event dari adegan, seperti kerumunan yang terbentuk atau rekan yang datang, menaikkan atau menurunkan ketegangan. Tindakan CALM_DOWN atau STORM_OUT memberi tahu aplikasi bagaimana adegan itu berakhir.

Suara kedua. Untuk adegan dengan dua orang, seperti pasangan yang berselisih di meja hotel, group chat menempatkan kedua karakter dalam satu percakapan (paket Pro dan Team). Conversation Flows tidak berjalan dalam group chat, jadi nilailah adegan seperti ini dari event dan penilaian Anda sendiri.

Membangunnya

Latihan VR berjalan di Meta Quest lewat Unity dengan XR Interaction Toolkit dan SDK Unity. Demo VR open source kami adalah titik awal yang baik untuk sisi headset.

  1. Tulis skenarionya seperti trainer. Siapa karakternya, apa yang salah, seperti apa hasil yang baik, dan kesalahan yang ingin Anda biarkan dialami peserta.
  2. Buat karakternya di editor visual dengan kepribadian, suara, emosi, dan beberapa tindakan bahasa tubuh.
  3. Ubah kriteria penilaian menjadi Conversation Flow, satu checkpoint untuk setiap perilaku yang ingin Anda lihat.
  4. Berlatih di dashboard dengan respons yang baik, biasa, dan buruk sampai karakter bereaksi seperti yang diharapkan trainer berpengalaman.
  5. Bangun adegannya dari demo VR: mikrofon masuk, suara dan lip sync keluar, tindakan dipetakan ke animasi, dan event untuk apa yang dilakukan peserta.
  6. Catat flow state per peserta, tambahkan kuis debrief di paket Team, dan tinjau pemakaian di dashboard.

Buat versi pertama setiap karakter sedikit lebih mudah daripada kehidupan nyata. Peserta yang berhasil sekali lebih mau mengulang versi yang lebih sulit, di mana tamu tidak langsung tenang.

Latihan soft skill adalah salah satu entri dalam kasus penggunaan NPC AI, ambient AI, dan perintah suara kami. Untuk ide VR lainnya, baca karakter AI untuk escape room VR, dan untuk roleplay di kelas lihat mitra percakapan AI untuk latihan bahasa. Halaman pendidikan dan pelatihan serta pengalaman VR membahas sisanya. Mulailah dengan satu tamu yang sulit dan empat checkpoint.

Diperiksa Oktober 2026.

Pertanyaan yang sering diajukan

Bisakah karakter AI dipakai untuk latihan soft skill VR?

Bisa. Karakter Neocortex berjalan di aplikasi Meta Quest yang dibangun dengan Unity dan XR Interaction Toolkit. Peserta berbicara kepada mereka, dan karakter menjawab dengan suaranya sendiri dengan emosi yang mencerminkan arah percakapan.

Bagaimana cara menilai peserta dalam roleplay AI?

Rancang skenarionya sebagai Conversation Flow Neocortex dengan checkpoint seperti mengakui masalah atau menawarkan solusi. Setiap balasan mengembalikan kata kunci flowState, sehingga aplikasi Anda bisa mencatat checkpoint mana yang dicapai peserta.

Bisakah skenario latihan VR diakhiri dengan kuis?

Bisa. Quiz engine Neocortex menjalankan kumpulan pertanyaan dan penilaian lewat API di paket Team, yang cocok untuk debrief singkat setelah setiap roleplay.

Bisakah pemakaian latihan AI dilacak per peserta?

Bisa. Kirim ID pemain bersama setiap permintaan dan Neocortex melacak pemakaian serta batasnya per pemain dan per karakter, dengan analitik di dashboard.

Artikel serupa

Baca juga