Neocortex Logo

OpenAI Realtime APIで音声NPCを作る場合と、Neocortexを使う場合

OpenAI Realtime APIをUnityに自分で組み込むことは可能です。その構築に必要なすべてと、Neocortexのようなゲーム向けプラットフォームが何週間の作業を省くかを解説します。

Neocortex TeamThe team behind Neocortex

· 2026年10月20日更新 · 5分で読めます

OpenAI Realtime APIをUnityに自分で組み込むことは可能です。その構築に必要なすべてと、Neocortexのようなゲーム向けプラットフォームが何週間の作業を省くかを解説します。

金曜の夜にマイクをgpt-realtime-2.1につなぎ、機嫌の悪い鍛冶屋のシステムプロンプトを書きます。日曜日には、彼はあなたの鎧の選び方を声に出して馬鹿にしています。 完成したように感じます。しかし、完成してはいません。

音声から音声へのモデルがあれば、話すNPCのデモは半日で作れます。ただし、そのNPCをプレイヤーに届けるには、はるかに長い時間がかかります。そして、その追加の作業のほとんどはモデルとは関係ありません。 この記事では、OpenAI Realtime APIでUnityに音声NPCを直接作るために何が必要かを示し、Neocortexがどこに当てはまるかを説明します。

Realtime APIが提供するもの

  • 音声から音声へのモデル。現在はgpt-realtime-2.1が中心で、推論の強度の設定、関数呼び出し、128Kのコンテキストウィンドウに対応しています。
  • 接続方法。ブラウザとモバイルはWebRTC、サーバーからはWebSocket、電話通話にはSIPです。
  • 短命のクライアントシークレット。サーバーがセッションごとに作成するため、APIキーはクライアントに置かずに済みます。
  • 組み込みの声。10種類あります。セッションでモデルが一度話し始めると、声は変えられません。
  • 録音からのカスタム音声。対象となる顧客だけが利用でき、OpenAIの営業に問い合わせる必要があります。声の持ち主の同意録音も必要です。
  • トークン単位の料金。音声とテキストの入力と出力に対してかかります。
  • セッションは60分まで。
  • 公式SDKは、JavaScript、Python、.NET、Java、Go、Rubyに対応しています。Unityのサポートはコミュニティのライブラリから提供されています。

OpenAI Realtimeで自作する場合とNeocortexの比較

OpenAI Realtimeで自作Neocortex
Unityクライアント自分で書くか、コミュニティのライブラリを採用Unity SDK、Unity 6、サンプルシーン6つ
セッションの管理クライアントシークレットのサーバー。60分の前に再接続セッションの上限なし。各ターンは別のAPI呼び出し
キャラクターの設計コード内のプロンプトビジュアルノードエディター
声組み込みの声。対象の顧客はカスタム音声ProとTeamでは、音声のクローンと声の設計が可能
ゲームのアクション関数呼び出しを組み込むターゲットIDとシーンのオブジェクトを使うアクションが組み込み済み
ストーリーの構造自分で作るステートマシンflowStateのチェックポイント付きの会話フロー
エンジン自分で作るものUnity、Unreal Engine 5、Godot、Web API
モデルの選択OpenAIのモデル管理されたモデルを提供。テキストチャットのプロトタイプ用に、Unityでは Ollama経由のローカルモデルも利用可能
費用音声とテキストのトークン利用枠付きの月額プラン

自分で作ることになる8つのこと

Realtime APIで音声NPCを公開するには、チームが次のものを担当する必要があります。

  1. Unityの音声クライアント。マイクの入力を取り込み、ストリーミングし、返答をとぎれなく再生します。Unityに標準のマイク入力がないWebGLビルドも含みます。
  2. 小さなバックエンド。プレイヤーを認証し、セッションごとにクライアントシークレットを発行します。APIキーをゲームのビルドに含めることは決してできないからです。
  3. プロンプトとしてのキャラクター設計。モデルが更新されるたびに、それに触れるすべての担当者の間で一貫性を保つ必要があります。
  4. セッションのライフサイクル。60分の上限の前に再接続し、その間も会話をつなぎ続けます。
  5. ゲームとの統合。関数呼び出しを、シーン内の正しいオブジェクトに対するアクションに変換します。
  6. ガードレール。プレイヤーが鍛冶屋を別の何かにしようとしても、彼が鍛冶屋のままであるようにします。
  7. コストの管理。音声の入力と出力の1秒ごとに、トークンで課金されるためです。
  8. 保守。モデル、料金、APIが変わるたびに、出荷するすべてのエンジンで対応します。

どれも不可能ではありません。ただし、どれも、ゲームに使えたはずの時間を費やすことになります。

店主のNPCを両方の方法で作る

プレイヤーが店に入り、店主に回復薬をくれと頼むとします。店主はキャラクターらしく答え、プレイヤーが先ほど失礼な態度をとっていたら苛立った声を出し、実際にアイテムを渡すべきです。

Realtime APIの場合

店主と店の在庫を説明するプロンプトを書き、give_itemという関数を定義します。 バックエンドがクライアントシークレットを発行し、Unityクライアントがセッションを開き、プレイヤーの声を送って返答を再生します。モデルがgive_itemを呼び出すと、コードが回復薬を見つけて、インベントリに移します。 店主の機嫌については、ゲームの状態で無礼さを追跡し、それをプロンプトに注入します。さらに、テキストを解析するか、モデルに構造化された出力を求めて、アニメーションの合図を追加します。この店主だけの声にしたい場合は、カスタム音声の対象になるかを確認します。

Neocortexの場合

ビジュアルエディターで店主を作ります。気質のためにPersonalityと初期のEmotionを設定し、在庫のリストにはKnowledgeを使い、購入にはIntent、アイテムを渡すにはActionを使います。彼のために声をクローンするか、設計します。 Unityでは、ゲームが近くのオブジェクトと最近の出来事を送ります。その中には、プレイヤーの失礼な発言も含まれます。返答は、感情のタグが付いたセリフとして届くため、アニメーターは彼が苛立っていることを知ることができます。さらに、{ "name": "GIVE_ITEM", "targetId": "potion_01" }のようなアクションも届き、ゲームがそれを実行します。 やり取り全体は、まずブラウザでテストできます。プランの利用量は消費しません。

どちらの方法でも、高性能なモデルを使います。違いは、店主がどこに存在するかです。エンジニアが保守するプロンプトの文字列と接着コードの中にあるのか、ビルドに触れずにデザイナーが開いて、読んで、変更できるキャラクターの中にあるのかです。

配管ではなく、ゲームを作る

自分で作る方法の本当のコストは、公開後に表れます。モデルの更新で鍛冶屋の言い回しが変わり、料金の変更で利益が変動し、新しいUnityのバージョンで頼りにしていたコミュニティのライブラリが壊れます。どれも、たいてい別の作業で忙しいときに、チームに降りかかります。

Realtime APIは、その周りに音声のスタックを組み立てるためのモデルです。Neocortexは、キャラクター、エンジンのSDK、ゲームプレイのフックがすでに整った音声のスタックであり、モデルやAPIの変化に合わせて、こちらが保守しています。 デザイナーは、性格、感情、知識、インテント、アクションを、コードに埋め込まれたプロンプトではなく、グラフのノードとして編集できます。エンジニアは、その週をゲームに費やせます。

OpenAIの詳細は2026年10月に最後に確認しました。

よくある質問

OpenAI Realtime APIにはUnity SDKがありますか?

いいえ。OpenAIの公式SDKは、JavaScript、Python、.NET、Java、Go、Rubyに対応しています。Unityのサポートはコミュニティのライブラリから提供されています。Neocortexには、Unity 6向けのUnity SDK(サンプルシーン6つ付き)に加え、Unreal Engine 5、Godot、Web APIがあります。

OpenAI Realtimeのセッションはどのくらい続けられますか?

Realtimeのセッションは60分が上限です。そのため、長いプレイのセッションには、再接続のロジックと、文脈を引き継ぐ方法が必要です。Neocortexでは、各ターンが別のAPI呼び出しになり、SDKがそれを扱います。そのためタイムアウトになるセッションはなく、返答とアクションを扱うだけで済みます。

OpenAI Realtime APIはカスタム音声に対応していますか?

録音からのカスタム音声は、OpenAIの営業を通じて対象となる顧客に限られます。それ以外の人は、組み込みの声から選びます。Neocortexでは、権利のある短いサンプルから声をクローンするか、テキストの説明から声を設計できます。カスタム音声はProで5つ、Teamで20まで使えます。

OpenAI Realtime APIの料金はどうなっていますか?

入力と出力のテキストと音声のトークンで決まるため、話すたびに1秒ごとに料金が加算されます。Neocortexのプランは、利用枠付きの月額制です。

関連記事

こちらもおすすめ