Digital Life Project:能够在数字环境中模拟生活的自主3D角色
该项目通过AI技术和动作合成技术,创造出能够进行社交互动并通过身体动作表达自己的虚拟角色。
这些角色不仅能进行对话,还能通过身体动作来表达情感和反应,就像人类一样。
而且能够根据所处的不同社交环境自动调整它们的行为和反应。
Digital Life Project的核心有两部分组成:
SocioMind:这是一个模拟人类心理过程的数字大脑。它能够根据少量示例来建立角色的人格,并且能够根据心理学原理进行思考和反思。这个大脑还能够自主地发起对话主题。
MoMat-MoGen:这是一个用于控制角色身体动作的系统。它结合了两种技术:一种是运动匹配,用于确保动作的质量;另一种是运动生成,用于创造多样化的动作。
通过这些Digital Life Project能够做到以下几点:
1、创建具有社会智能的3D角色:这些虚拟角色不仅能进行对话,还能通过身体动作来表达情感和反应,就像真实的人类一样。
2、模拟人类社交互动:这些角色能够在不同的社交场景中展现出适当的行为和反应,例如在交谈、共享兴趣或其他社交活动中。
3、个性化和自主性:通过SocioMind组件,每个角色都有自己的“人格”,能够根据不同的情境和经历发展和改变,表现出独特的社交行为。
4、高质量和多样化的动作:利用MoMat-MoGen技术,这些角色能够产生既自然又多样化的身体动作,增强了虚拟交互的真实感。
5、与人类互动:项目还包括一个运动字幕模块,使得虚拟角色能够识别并适当响应人类玩家的动作,实现人与虚拟角色之间的交互。
工作原理:
1. SocioMind(社会心智)
SocioMind是一个模拟人类心理过程的数字大脑。它的工作原理如下:
人格建模:利用少量示例(few-shot exemplars)来形成角色的人格。这意味着通过分析少量的数据,SocioMind能够快速学习并模拟一个角色的性格特点。
心理学原理:它结合了社会认知心理学理论,帮助角色进行思考和反思,使其行为更加符合人类的心理和社会行为模式。
自主对话:SocioMind能够使角色自主地发起和参与对话,这些对话内容和主题是根据角色的“人格”和之前的交互历史来确定的。
2. MoMat-MoGen(运动匹配与运动生成)
MoMat-MoGen是用于控制角色身体动作的系统,它结合了两种技术:运动匹配和运动生成。
运动匹配:这部分从数据库中检索高质量的运动片段,以确保角色动作的自然性和准确性。它根据角色的当前姿态和目标轨迹来选择最合适的动作。
运动生成:这部分负责创造新的动作,以适应不同的情境和剧情。它能够根据文本输入(如指令或描述)生成多样化的动作,同时保持角色之间的互动关系。
3、大语言模型代理(LLM代理):
使用大语言模型来驱动角色的对话和决策过程。
这些模型可以生成连贯、有意义的文本,使得虚拟角色能够以自然的方式进行对话和交流。
4、综合应用
当这两个系统结合时,就能创造出能够进行复杂社交互动的3D虚拟角色。角色的行为不仅仅是预设的动作,而是根据其“人格”、之前的经历和当前的社交环境来动态生成的。这使得每个角色都有独特的社交特征和行为模式,能够在虚拟环境中模拟真实的人类社交互动。
这种技术的应用前景非常广泛,可以用于视频游戏、虚拟现实体验、在线教育、交互式娱乐等领域,为用户提供更加丰富和真实的交互体验。
作者:@liuziwei7
南洋理工大学S-Lab、商汤科技、上海人工智能实验室
项目及演示:https://t.co/ysHMEON0db
论文:https://t.co/gwwPVwoYyY
* 演示视频中的所有故事、互动对话、被动/主动身体动作均由人工智能生成