STT, LLM и TTS: как работает голос ИИ-NPC
Как устроен озвученный ИИ-NPC: распознавание речи слышит игрока, LLM пишет ответ, синтез речи его произносит. STT против TTS, задержка и что построить.
Sercan AltundasFounder of Neocortex
· 8 мин чтения

Озвученный ИИ-NPC это три модели подряд: распознавание речи слышит игрока, языковая модель пишет ответ, а синтез речи произносит его вслух. Каждое руководство по движкам в этой серии опирается на эту цепочку, поэтому здесь разобрано каждое звено, откуда берётся задержка и как Neocortex выполняет всё это за одним персонажем.
Три этапа голосового конвейера ИИ-NPC
1. Распознавание речи (STT): как слышится игрок
Игра записывает микрофон и отправляет аудио в модель распознавания речи, которая возвращает текст. Здесь важны два выбора:
- Push-to-talk или определение голоса. Push-to-talk это кнопка, которую игрок держит, пока говорит. Определение голосовой активности (VAD) слушает постоянно и решает, когда игрок начал и закончил. Push-to-talk проще и никогда никого не обрывает. VAD ощущается естественнее, особенно в VR, но ему нужен порог тишины, который вы настраиваете.
- Словарь. Модели распознавания спотыкаются на выдуманных именах. Если в вашем мире есть город Varrowmere, модель может услышать «barrel mere». Короткий список собственных имён для распознавателя устраняет большую часть таких ошибок.
2. Языковая модель: написание ответа
Расшифровка уходит в большую языковую модель вместе со всем, что делает персонажа им самим: личность, что он знает, предыдущий разговор и происходящее в игре. Модель пишет следующую реплику.
Для игры одного текста мало. Вам также нужно знать, что чувствует персонаж, чтобы лицо и анимация совпадали, и решил ли он что-то сделать, например открыть ворота или передать предмет. Здесь большинство самодельных схем запутываются, потому что приходится разбирать свободный текст в поисках подсказок.
3. Синтез речи (TTS): как произносится ответ
Текст ответа уходит в голосовую модель, которая возвращает аудио. Хороший синтез речи для персонажей нужен голос, который подходит (грубоватый кузнец, нервный клерк), эмоция, которая следует за репликой, и поддержка языков, на которых говорят ваши игроки.
STT против TTS: два конца одного разговора
Люди часто ищут «STT vs TTS» так, будто это альтернативы. Это не так: STT это ухо, а TTS это рот.
| Распознавание речи (STT) | Синтез речи (TTS) | |
|---|---|---|
| Направление | Голос игрока в текст | Текст персонажа в голос |
| Вход | Аудио с микрофона | Ответ, который написала LLM |
| Что может пойти не так | Неправильно услышанные имена, фоновый шум, обрезанные фразы | Невыразительная подача, неверное произношение, медленное первое аудио |
| Что настраивать | Push-to-talk или VAD, порог тишины, словарь | Выбор голоса, эмоция, потоковая передача |
Персонажу, который только печатает, не нужно ни то, ни другое. Персонажу, с которым игрок говорит, но который отвечает текстом, нужен STT. Персонажу, который произносит заранее написанные реплики, нужен TTS. Открытый голосовой разговор требует обоих плюс модель посередине.
Откуда берётся задержка
Игроки замечают паузу дольше примерно одной секунды. Общее ожидание складывается примерно так:
- Ожидание, пока мы убедимся, что игрок закончил говорить (порог тишины VAD или отпускание push-to-talk).
- Расшифровка аудио.
- Написание моделью первых слов.
- Создание голосовой моделью первого аудио.
Если выполнять это по очереди, дожидаясь полного завершения каждого шага, получаются паузы в три-четыре секунды. Решение это потоковая передача: начать произносить первое предложение, пока остальной ответ ещё пишется. В нашем руководстве по задержке каждый этап разобран с цифрами.
Как Neocortex выполняет конвейер
С Neocortex не нужно связывать три сервиса вручную. Вы создаёте персонажа в браузерном редакторе с его личностью, базой знаний, эмоциями, действиями и голосом, а SDK выполняет всю цепочку:
- Распознавание речи для голоса игрока, более чем на 20 языках, через один компонент микрофона в Unity, Unreal и Godot. Узел Vocabulary содержит имена вашего мира, поэтому «Varrowmere» распознаётся как Varrowmere.
- Ответ приходит с тегом эмоции, например
HAPPY,CURIOUSилиANNOYED, плюс с любыми действиями, которые выбрал персонаж, поэтому ваша игра никогда не разбирает свободный текст. - Синтез речи собственным голосом персонажа. В Unity, Godot и Web SDK он потоковый, поэтому персонаж начинает говорить до того, как весь ответ готов.
Если вы предпочитаете вызывать всё сами, Web API делает то же самое по HTTP. Текстовый ход это один запрос:
curl -X POST https://api.neocortex.link/v3/chat \
-H "x-api-key: $NEOCORTEX_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "characterIds": ["CHARACTER_ID"], "message": "Is the north road safe?" }'Ответ содержит sessionId и массив messages, где у каждого сообщения есть lines (каждая со text и emotion), actions и flowState. Отправляйте sessionId обратно вместе со следующим сообщением, чтобы продолжить разговор.
Что нужно вашему NPC
Не каждому NPC нужна полная цепочка:
- Фоновым персонажам можно оставаться на написанных barks. ИИ не нужен.
- Тем, кто даёт квесты, и торговцам хорошо работают текстовый чат с TTS, так что игроки печатают, а персонаж говорит.
- Спутникам и персонажам в VR полный голос нужен больше всего, потому что игроки уже говорят вслух или заняты руками.
- Доступность. Голосовой ввод помогает тем, кому трудно печатать, а озвученные ответы помогают тем, кому трудно читать. Предлагайте оба направления как опции, а не как обязательные требования.
Постройте в своём движке
Каждое руководство по движку в этой серии пошагово настраивает один и тот же конвейер:
- Как добавить ИИ-персонажа в свою игру на Unity, затем голосовой чат для ИИ-NPC в Unity
- Как добавить ИИ-NPC в Unreal Engine 5
- Как добавить диалоги ИИ-NPC в Godot 4
Все они собраны в нашем руководстве по созданию ИИ-NPC.
Часто задаваемые вопросы
В чём разница между STT и TTS?
Они работают в противоположных направлениях. Распознавание речи (STT) превращает голос игрока в текст, который может прочитать игра, а синтез речи (TTS) превращает написанный ответ персонажа в аудио. Озвученному NPC нужны оба, а между ними языковая модель.
Нужна ли LLM для говорящего NPC?
Только если NPC должен отвечать на то, что вы не прописали заранее. Заранее записанным репликам модель не нужна вовсе. Для открытого разговора нужны STT, LLM и TTS, и Neocortex запускает все три за одним персонажем.
Насколько быстро озвученный ИИ-NPC может ответить?
Задержка складывается из того, что игрок закончил говорить, расшифровки, написания первых слов и их произнесения. Именно потоковая передача каждого этапа в следующий приближает это к одной секунде. Neocortex озвучивает ответ, пока тот ещё пишется.
Могу ли я использовать собственные голоса для ИИ-NPC?
Да. У Neocortex есть библиотека готовых голосов, а собственные голоса доступны на тарифе Pro (5) и Team (20). Каждый персонаж сохраняет свой голос в Unity, Unreal, Godot и в вебе.
Работает ли голосовой чат с ИИ-NPC офлайн?
Только если все три модели работают на устройстве игрока. Neocortex по умолчанию работает в облаке, а студии могут договориться о рантайме на устройстве по индивидуальному тарифу.






