Neocortex Logo

让元宇宙世界有生活气息的AI居民

用Neocortex为元宇宙世界打造AI居民:浏览器中的迎宾员、咖啡师和DJ,他们会彼此闲聊,并在有新访客到来时做出反应。

Neocortex TeamThe team behind Neocortex

· 阅读约 6 分钟

用Neocortex为元宇宙世界打造AI居民:浏览器中的迎宾员、咖啡师和DJ,他们会彼此闲聊,并在有新访客到来时做出反应。

大多数社交世界的热闹程度,只取决于在线的人数,因此在安静的时段到访的访客会穿过空荡荡的广场,然后离开。Neocortex可以用会彼此交谈、注意到新人到来、并回应任何与之说话的人的AI居民填满这座广场。即使服务器上的人数很少,这个世界也依然有脉搏。

实际效果

灯笼码头是一个原创的浏览器世界:一座常年处于黄昏中的港口广场,挂满纸灯笼,人们在这里碰面,然后前往周围的画廊和游戏室。水边立着漂流咖啡馆,是一个由咖啡师雷恩经营的小亭子。她知道每个人点什么,却假装不知道。隔壁的潮汐酒吧里,特奥多尔在吧台后面工作,他语气干巴,不慌不忙,认为六点之后还喝咖啡是一种道德缺陷。

一位名叫凯的访客走下渡轮。暂时没有人和他说话,但世界会发出一个事件,告诉大家有新人到来,下一轮环境对话便会接住这件事:

雷恩: 码头来了张新面孔。赌十枚金币,他要点一杯平白咖啡。 特奥多尔: 赌十枚金币,他会聪明到来这里。 雷恩: 你好!别听他的,从灯亮起来那刻起,他就一直在擦同一个杯子。

凯笑了起来,问雷恩有什么好喝的。她直接回答了他,而她的回复中带有一个指向凯化身的SERVE_DRINK动作,世界会将其呈现为一只杯子滑过吧台。十分钟后,渡轮再次靠岸,游戏把渡轮的船长亨里克加入了角色阵容。特奥多尔不用开口就给他倒上了他惯常喝的那杯。雷恩则想知道雾是不是要来了。

凯下线之后,对话仍然保持着原有的线索。下一位访客来到时,会发现雷恩和特奥多尔仍在为那个赌约争论不休。

Neocortex如何实现这一点

  • 群聊 可以让最多六位居民共处于同一段对话中(Pro和Team套餐),每位居民都有自己的性格、声音和知识。
  • 环境轮次 是没有访客message的群聊请求。居民们会彼此继续交谈,回复会列出每句台词、说话的人以及对应的情绪。
  • AI导演 决定下一位发言者。当某个节拍需要特定居民时,例如船长宣布开船,可以用speakerCharacterId强制指定。
  • 动态阵容 会跟随你发送的角色列表。加入亨里克船长后,其他人会和他打招呼;渡轮离开时将他移除,其他人就会提到他已经走了。
  • 事件 用于传递世界中刚刚发生的事情:有新人到来、烟火开始、画廊开了新展。居民会谈论这个世界,而不会漫无目的地闲聊。
  • 动作 会随台词一起发出,因此雷恩可以在说话的同时端上一杯饮品,特奥多尔也可以在说话时调暗酒吧的灯光。
  • 会话记忆。 为世界中的每个地点保存返回的sessionId,并在每轮对话中发送,这样咖啡馆的对话就能跨越不同访客持续下去。
  • 语音与语音转文字。 每句台词都以居民自己的声音流式播放。访客可以通过Unity WebGL麦克风(经由HTTPS)说话,或者通过你自己采集的麦克风音频发送到Neocortex语音转文字。
  • 用量控制。 随每位访客的消息发送playerId,按玩家设置的限额可以让繁忙世界的成本保持可预测。

可以构建的创意

带DJ主持的夜店。 DJ角色会介绍每首曲目,在安静的间隙与保安聊几句,并在访客大声点歌时返回CHANGE_TRACK动作。当舞池坐满时推送一个事件,DJ便会为人群打气;当压轴演出开始时,则强制让DJ发言。

浏览器MMO中的奇幻小镇。 铁匠、草药师和镇上的传令官共享一座广场。在玩家来访的间隙,环境轮次会让他们闲聊昨晚失败的团本,这些内容由你服务器上的真实事件提供。停留的玩家会了解哪座地下城值得一去。

品牌世界。 一家运动服饰品牌在浏览器中建造了一个屋顶球场。两位居民,一位教练和一位球鞋收藏家,会在环境轮次中聊起新品,并根据产品笔记的知识库回答问题。当教练提到某双鞋时,一个动作会为访客打开该鞋的3D模型。

居民会议。 在一个小型社区世界中,让访客以playAs的方式扮演一个角色,即居民会议上的新租户,这样当大家争论坏掉的电梯时,其他人会用这个身份来称呼他们。

构建方法

Unity SDK支持WebGL构建,并将环境轮次封装在一个带有Continue()调用的群组导演组件中。使用其他任何网页技术栈的世界可以直接调用Web API,最好从自己的服务器发起调用。

  1. 在Neocortex可视化编辑器中创建居民:性格、背景故事、每位居民对世界和其他居民的了解、语音,以及它们可能返回的动作。
  2. 在控制台中排练,使用群组预览中的“开始场景”和“继续”按钮,直到他们之间的互动感觉对味为止。
  3. 为世界中的每个地点分配独立会话。 咖啡馆、酒吧和码头各自保留自己的sessionId。
  4. 在访客进入区域时或按慢速定时器请求环境轮次,并附上刚刚发生事情的事件。
  5. 在每位访客的屏幕上播放台词并执行动作,这样附近的每个人都能听到同一段对话。
  6. 将访客的语音路由到同一会话中,并随着居民的进出更换阵容。

下面是咖啡馆的一轮环境对话,船长刚刚加入:

const res = await fetch("https://api.neocortex.link/v3/chat", {
  method: "POST",
  headers: {
    "x-api-key": apiKey, // from your own server config, never hard-coded
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    characterIds: [wren, teodor, henrik], // Henrik just stepped off the ferry
    sessionId: cafeSession,               // one session per spot in the world
    maxTurns: 2,
    events: [{ priority: 1, content: "A visitor called Kai has just arrived on the dock" }],
    // no "message": the residents talk among themselves
  }),
});
const { sessionId, messages } = await res.json();
broadcastLines(messages); // your own helper: voices and chat bubbles for everyone nearby

请从你的服务器而不是浏览器发起请求,这样你的API密钥就不会下发给访客,同时也要控制轮次的节奏。每当有人走过时,两位居民交换一两句台词,会让世界显得有生气;而不间断的输出则像一台谁也关不掉的收音机。

元宇宙居民是我们AI NPC、环境AI和语音命令用例中的一项。这一思路在游戏中的体现见环境NPC对话,如果是有组织的聚会,请阅读虚拟活动的AI主持人。浏览器相关的细节见WebGL和浏览器游戏中的AI NPC,其余内容可参考动态角色页面和群聊文档。先让两位居民守在同一个柜台前,看看访客会和谁说话。

核查于2026年10月。

常见问题

当在线用户很少时,如何让元宇宙世界显得有生气?

为它配备AI居民。借助Neocortex群聊,多个角色可以在环境轮次中彼此交谈、对世界中的事件作出反应,并回应与之说话的访客,这样即使是安静的广场也会有对话。

AI居民能在浏览器世界中彼此交谈吗?

可以。在Pro和Team套餐中,Neocortex群聊可以让最多六个角色处于同一段对话中。没有访客消息的请求会让他们继续彼此交谈,并且通过Web API,任何网页技术栈都可以使用。

AI居民会注意到有人加入场景吗?

会。将角色加入阵容后,其他人会与之打招呼;移除某个角色后,他们会注意到其离开。访客的到来可以作为事件发送,因此居民会以自己的方式迎接新人。

访客可以用声音与AI居民交谈吗?

可以。居民会以流式语音回复,访客可以通过HTTPS经由Unity WebGL麦克风说话,也可以通过你自己采集的麦克风音频发送到Neocortex语音转文字。

相关文章

继续阅读