Neocortex Logo

Neocortex Godot SDKを公開:Godot 4向けの音声付きAI NPC

オープンソースのGodot SDKで、Godot 4にAI NPCを導入できます。音声チャット、感情付きのAI対話、アクション、リップシンク、グループ会話をGDScriptから使えます。

Neocortex TeamThe team behind Neocortex

· 6分で読めます

オープンソースのGodot SDKで、Godot 4にAI NPCを導入できます。音声チャット、感情付きのAI対話、アクション、リップシンク、グループ会話をGDScriptから使えます。

AIキャラクタープラットフォームの多くが対応を後回しにしているエンジンがGodotです。もうそうではありません。私たちのGodot SDKを公開しました。Neocortexでキャラクターを設計し、アドオンをGodot 4のプロジェクトに入れるだけで、プレイヤーは声に出して話しかけられ、キャラクター自身の声で返答を聞け、ワールドの中で行動する様子を見られます。

オープンソースで、GDScriptから使えます。7つのサンプルシーンが付属しているので、自分で作り始める前に、すべての動作を確認できます。

Godot SDKがゲームに加えるもの

  • プレイヤーが話しかけられるキャラクター。 入力でも、声に出しても話しかけられます。
  • すべてのセリフの声と感情。 アニメーションや肖像画が、キャラクターの気分に合わせて変化できます。
  • アクション。 ドアを開けたり、アイテムを渡したりといった、自分のコードを実行します。
  • シーンの認識。 キャラクターは、自分の周りにあるものを把握します。
  • リップシンク、グループ会話、クイズの司会。
  • 記憶。 会話は、前回の続きから再開されます。

テキストチャットのサンプルでプレイヤーに答えるCora

対話ツリーを使わないGodotのAI対話

分岐する対話ツリーは、プレイヤーがあなたの書いていないことを尋ねた瞬間に壊れます。Neocortexでは、すべてのセリフを書く代わりに、キャラクターを設計します。性格、ワールドについての知識、話し方、してもよいことを決めます。音が正しくなるまでブラウザーでテストし、そのあとで同じキャラクターをGodotで使います。

各返答はセリフの連続として届き、それぞれに感情が付きます。そのため、店主は同じ返答の中で、売れたことには喜び、値切られたことには苛立つ、という話し方ができます。キャラクターは会話も覚えています。さらに「プレイヤーが決闘に勝った」といった最近のゲームプレイのイベントを送れるので、返答が起きたことに合います。設計の面については、NPCに固有の性格を与える方法とNPCのメモリのガイドで詳しく説明しています。

GodotでNPCと音声で話す

プレイヤーは入力の代わりに話せます。SDKは、音声検出またはプッシュトゥトークでマイクを録音し、音声をテキストに変換し、キャラクターが自分の声で答えます。返答の残りがまだ生成されている間に音声の再生が始まるため、会話が止まることはありません。

返答の音声の出し方は、選べます。各行をそれぞれの感情で話す、返答全体を1つのクリップとして話す、またはテキストのみです。Androidでは、SDKが起動時にマイクの許可を求めます。マイクからスピーカーまでの間で何が起きるかは、AI NPCの音声パイプラインの記事で説明しています。

言ったことに基づいて動くGodotのNPC

話すことは半分にすぎません。エディターでキャラクターにアクションを与えます。たとえばGIVE_ITEM、OPEN_DOOR、FOLLOW_PLAYERです。そして、それぞれをGDScriptの関数につなぎます。

@onready var agent: NeocortexSmartAgent = $Blacksmith/NeocortexSmartAgent

func _ready() -> void:
	agent.chat_line_started.connect(func(line: NeocortexChatLine): $Subtitle.text = line.text)
	agent.register_action("GIVE_ITEM", _give_item)

func _give_item(action: NeocortexChatAction) -> void:
	inventory.give(action.target_id)  # your own inventory code

キャラクターが尋ね、ゲームが決めます。シーン内のオブジェクトを操作可能としてマークすると、キャラクターは近くにあるものを把握し、アクションをそれらに向けられます。たとえば「赤い四角へ行き、それから青い四角へ」は、それぞれターゲットを持つ2つのアクションになります。1つの返答には複数のアクションを含められ、順番に実行されます。

サンプルのInteractablesで床の図形へ歩いていくCora

リップシンク、グループ会話、クイズ

  • リップシンク: キャラクターの口は、ARKit形式のブレンドシェイプに沿って、話す言葉と一緒に動きます。ほとんどのキャラクターモデルがすでに使っている標準です。
  • グループ会話: 1つのシーンに複数のキャラクターを置き、プレイヤーとお互いに話させ、会話の途中で参加したり退出したりさせられます。
  • クイズの司会: キャラクターが、あなたの問題セットから1人以上のプレイヤーに向けてクイズを進行します。ヒント、パス、採点はSDKが処理します。

サンプルのQuiz ShowでクイズをするCora

Godot 4にAI NPCを追加する方法

  1. 最新リリースをダウンロードし、addons/neocortex-godot-sdkをプロジェクトにコピーします。
  2. Project Settings > PluginsでNeocortexを有効にし、APIキーをNeocortexのドックに貼り付けます。
  3. Project > Tools > Neocortex > Complete Voice Chatを選び、キャラクターを選んで、Playを押します。

詳細はGodotのクイックスタートにあります。Godot 4でAI NPCの対話を追加するのチュートリアルでは、鍛冶屋のシーンを段階的に作っています。

Godot SDKか、自分でLLMを組み込むか?

GodotのHTTPRequestノードを使って、LLMのAPIにテキストを送り、答えを表示することはできます。それは週末の試作として良いものです。プレイヤーが何時間も一緒に過ごすキャラクターには、さらに多くのものが必要です。音声認識、キャラクターごとの声、感情、セッションをまたぐ記憶、ゲームが信頼できるアクション、そして1人のプレイヤーが請求額を膨らませないための上限です。

SDKはそれらすべてを扱います。APIキーごとのプレイヤー単位とキャラクター単位の利用上限は、私たちのサーバーで適用されます。選択肢の全体像については、GodotのAI NPCツールまとめをご覧ください。

オープンソース

SDKはApache 2.0のGitHubで公開されているため、Issueやプルリクエストを歓迎します。同じキャラクターは、Unity、Unreal Engine、Webでも動くため、Godotのゲームのために設計したキャラクターは、次のプロジェクトにも持ち越せます。

Godotのゲームに次に必要なものは、Discordでお知らせください。

よくある質問

GodotのAI NPCプラグインはありますか?

はい。Neocortex Godot SDKは、Godot 4.7以降向けのオープンソースのエディタープラグインです。プロジェクトに、感情、アクション、リップシンク、グループ会話、クイズを備えた音声付きのAIキャラクターを追加します。

GodotのNPCにAI対話を追加するにはどうすればよいですか?

Neocortexでキャラクターを設計し、SDKをプロジェクトのaddonsフォルダーに追加し、プラグインを有効にして、APIキーを貼り付けます。その後、Project > Tools > Neocortexからチャットのシーンを追加するか、GDScriptからNeocortexSmartAgentのtext_to_audioを呼び出します。

GodotのNPCにChatGPTやほかのLLMを使えますか?

GodotのHTTPRequestノードでLLMのAPIを自分で呼び出せますが、その上に音声、感情、記憶、アクションを自分で作ることになります。Neocortex Godot SDKは、それらすべてを1つのアドオンで提供し、キャラクターはビジュアルエディターで設計します。

プレイヤーは声でGodotのNPCと話せますか?

はい。プレイヤーは、音声検出またはプッシュトゥトークを使ってマイクに話しかけ、キャラクターは、各行に感情を付けて自分の声で答えます。

Godot SDKはリップシンクに対応していますか?

はい。NeocortexFaceAnimatorが、話している間、キャラクターのメッシュ上のARKit形式の口のブレンドシェイプを動かします。

GodotのAI NPCでゲームプレイを起こせますか?

はい。GIVE_ITEMやOPEN_DOORなどのアクションをキャラクターに与えると、それぞれが登録したGDScriptの関数を呼び出します。アクションはシーン内のオブジェクトを対象にでき、実行するかどうかはあなたのコードが決めます。

SDKはどのGodotのバージョンに対応していますか?

Godot 4.7以降です。

Neocortex Godot SDKはオープンソースですか?

はい。GitHubでApache 2.0ライセンスの下で公開されています。

関連記事

こちらもおすすめ