Neocortex Logo

Neocortex Godot SDK już dostępny: NPC AI z głosem w Godot 4

Nasz SDK do Godot na licencji open source przynosi NPC AI do Godot 4: czat głosowy, dialogi AI z emocjami, akcje, synchronizację ust i rozmowy grupowe, z GDScript.

Neocortex TeamThe team behind Neocortex

· 6 min czytania

Nasz SDK do Godot na licencji open source przynosi NPC AI do Godot 4: czat głosowy, dialogi AI z emocjami, akcje, synchronizację ust i rozmowy grupowe, z GDScript.

Godot to silnik, który większość platform postaci AI pomija. Już nie: nasz SDK do Godot jest gotowy. Zaprojektuj postać w Neocortex, wrzuć dodatek do projektu Godot 4, a gracze będą mogli z nią rozmawiać na głos, słyszeć odpowiedzi w jej własnym głosie i patrzeć, jak działa w Twoim świecie.

Jest open source, działa z GDScript i zawiera siedem przykładowych scen, dzięki czemu zobaczysz wszystko w działaniu, zanim zbudujesz własne.

Co SDK do Godot dodaje do Twojej gry

  • Postacie, z którymi gracze mogą rozmawiać, pisząc lub mówiąc na głos.
  • Głos i emocję w każdej kwestii, dzięki czemu animacje i portrety mogą podążać za nastrojem.
  • Akcje, które uruchamiają Twój własny kod, na przykład otwierają drzwi albo przekazują przedmiot.
  • Świadomość sceny, dzięki czemu postacie wiedzą, co je otacza.
  • Synchronizację ust, rozmowy grupowe i prowadzących quizy.
  • Pamięć, dzięki czemu rozmowa podejmuje się tam, gdzie została przerwana.

Cora odpowiada graczowi w przykładzie Text Chat

Dialogi AI w Godot bez drzew dialogowych

Rozgałęzione drzewa dialogowe rozpadają się w chwili, gdy gracz zapyta o coś, czego nie napisałeś. W Neocortex projektujesz postać zamiast każdej kwestii: jej osobowość, to, co wie o Twoim świecie, jak mówi i na co jej wolno. Testujesz ją w przeglądarce, aż brzmi dobrze, a potem używasz tej samej postaci w Godot.

Każda odpowiedź przychodzi jako seria linii, a każda ma własną emocję, więc sprzedawca może brzmieć na zadowolonego z transakcji i zirytowanego targowaniem w tej samej odpowiedzi. Postać zapamiętuje też rozmowę, a Ty możesz wysłać jej ostatnie zdarzenia z rozgrywki, na przykład „gracz właśnie wygrał pojedynek”, żeby odpowiedzi pasowały do tego, co się wydarzyło. Nasze przewodniki po unikalnych osobowościach NPC i pamięci NPC opisują stronę projektową dokładniej.

Czat głosowy z NPC w Godot

Gracze mogą mówić zamiast pisać. SDK nagrywa mikrofon z wykrywaniem głosu albo przy przytrzymanym klawiszu, zamienia mowę na tekst, a postać odpowiada w swoim głosie. Głos zaczyna grać, zanim reszta odpowiedzi jest jeszcze generowana, więc rozmowy nie stają.

Wybierasz, jak odpowiedzi są podkładane głosem: każda linia we własnej emocji, cała odpowiedź jako jeden klip albo sam tekst. Na Androidzie SDK prosi o uprawnienie do mikrofonu przy starcie. Nasz wpis o potoku głosowym AI NPC wyjaśnia, co dzieje się między mikrofonem a głośnikiem.

NPC w Godot, które działają na podstawie tego, co mówią

Rozmowa to połowa sprawy. Nadaj postaci akcje w edytorze, na przykład GIVE_ITEM, OPEN_DOOR albo FOLLOW_PLAYER, i podłącz każdą do funkcji GDScript:

@onready var agent: NeocortexSmartAgent = $Blacksmith/NeocortexSmartAgent

func _ready() -> void:
	agent.chat_line_started.connect(func(line: NeocortexChatLine): $Subtitle.text = line.text)
	agent.register_action("GIVE_ITEM", _give_item)

func _give_item(action: NeocortexChatAction) -> void:
	inventory.give(action.target_id)  # your own inventory code

Postać pyta, a o wszystkim decyduje Twoja gra. Oznacz obiekty w scenie jako interaktywne, a postać będzie wiedziała, co jest w pobliżu, i będzie mogła kierować na nie swoje akcje: „idź do czerwonego kwadratu, potem do niebieskiego” staje się dwiema akcjami, każdą z celem. Jedna odpowiedź może nieść kilka akcji, wykonywanych jedna po drugiej.

Cora idzie do kształtów na podłodze w przykładzie Interactables

Synchronizacja ust, rozmowy grupowe i quizy

  • Synchronizacja ust: usta postaci poruszają się zgodnie z jej słowami, na blend shape'ach w stylu ARKit, czyli standardzie, którego używa większość modeli postaci.
  • Rozmowy grupowe: umieść kilka postaci w jednej scenie, pozwól im rozmawiać z graczem i między sobą, a dołączać lub odchodzić, gdy rozmowa trwa.
  • Prowadzący quizy: postać prowadzi quiz z Twojego zestawu pytań dla jednego lub wielu graczy, a podpowiedzi, pasy i wyniki są obsługiwane za Ciebie.

Cora prowadzi quiz w przykładzie Quiz Show

Jak dodać NPC AI do Godot 4

  1. Pobierz najnowsze wydanie i skopiuj addons/neocortex-godot-sdk do swojego projektu.
  2. Włącz Neocortex w Project Settings > Plugins i wklej swój klucz API w panelu Neocortex.
  3. Wybierz Project > Tools > Neocortex > Complete Voice Chat, wskaż swoją postać i naciśnij Play.

Szybki start dla Godot zawiera szczegóły, a nasz poradnik jak dodać dialogi NPC AI w Godot 4 krok po kroku buduje pełną scenę kowala.

SDK Godot czy własna integracja z LLM?

Możesz wysłać tekst do API LLM przez węzeł HTTPRequest w Godot i wypisać odpowiedź. To dobry prototyp na weekend. Postać, z którą gracze spędzą godziny, potrzebuje więcej: rozpoznawania mowy, głosu dla każdej postaci, emocji, pamięci między sesjami, akcji, którym gra może ufać, i limitów, żeby jeden gracz nie podbił rachunku.

SDK obejmuje to wszystko, a limity użycia dla gracza i dla postaci na każdym kluczu API są egzekwowane na naszych serwerach. Szersze spojrzenie na możliwości znajdziesz w zestawieniu narzędzi NPC AI dla Godot.

Open source

SDK jest na GitHubie na licencji Apache 2.0, więc zgłoszenia i pull requesty są mile widziane. Te same postacie działają też w Unity, Unreal Engine i w sieci, więc postać zaprojektowana do gry w Godot może przejść z Tobą do następnego projektu.

Napisz nam, czego Twoja gra w Godot potrzebuje w następnej kolejności, na naszym Discordzie.

Często zadawane pytania

Czy istnieje wtyczka NPC AI do Godot?

Tak. Neocortex Godot SDK to otwarta wtyczka edytora dla Godot 4.7 i nowszych. Dodaje do projektu postacie AI z głosem, emocjami, akcjami, synchronizacją ust, rozmowami grupowymi i quizami.

Jak dodać dialogi AI do NPC w Godot?

Zaprojektuj postać w Neocortex, dodaj SDK Godot do folderu addons projektu, włącz wtyczkę i wklej klucz API. Potem dodaj scenę czatu z Project > Tools > Neocortex albo wywołaj text_to_audio na NeocortexSmartAgent z GDScript.

Czy mogę użyć ChatGPT lub innego LLM dla NPC w Godot?

Możesz wywołać API LLM samodzielnie przez węzeł HTTPRequest w Godot, ale wtedy sam budujesz głos, emocje, pamięć i akcje. Neocortex Godot SDK daje to wszystko w jednym dodatku, z postaciami zaprojektowanymi w wizualnym edytorze.

Czy gracze mogą rozmawiać z NPC w Godot głosem?

Tak. Gracz mówi do mikrofonu, z wykrywaniem głosu albo przy przytrzymanym klawiszu, a postać odpowiada własnym głosem z emocją w każdej linii.

Czy SDK Godot obsługuje synchronizację ust?

Tak. NeocortexFaceAnimator porusza blend shape'ami ust w stylu ARKit na siatce Twojej postaci, gdy mówi.

Czy NPC AI w Godot mogą uruchamiać rozgrywkę?

Tak. Nadaj postaci akcje, takie jak GIVE_ITEM albo OPEN_DOOR, a każda wywołuje funkcję GDScript, którą zarejestrujesz. Akcje mogą celować w obiekty w scenie, a o tym, czy się wykonają, decyduje Twój kod.

Które wersje Godot obsługuje SDK?

Godot 4.7 lub nowszy.

Czy Neocortex Godot SDK jest open source?

Tak. Jest na GitHubie na licencji Apache 2.0.

Podobne artykuły

Czytaj dalej