▲一、实验室简介

多模态人工智能实验室主要聚焦于多模态大模型和人形机器人两大领域的研究。在多模态大模型方面，实验室致力于开发能够应用于各种通用场景的多模态大模型，及其应用场景的探索；在人形机器人方面，实验室致力于开发基于大模型的人形机器人“大脑”模型，实现其多模态的感知、长时任务的推理、自然流畅的人机交互能力。

▲二、研究方向

（1）多模态大模型。致力于研究多模态大模型的开发及其各个领域的应用。目前，团队已经开发了一项能够结合视觉-语言任务的多模态大模型，能够在不损失大语言模型本身的自然语言处理能力的基础上高效地完成视觉理解、目标检测、图像分割等视觉基础任务；此外，团队已开始探索将多模态大模型与语音合成、虚拟形象生成技术结合，用于视频、演示文稿、海报等多媒体内容的生成。

（2）人形机器人。聚焦于开发基于人工智能大模型的“大脑”模型，实现人形机器人对人和环境的感知、行为控制、人机交互能力。已完成人形机器人运动学、动力学建模，构建人形机器人元动作库，确保基础动作灵活准确；增加语音交互模型实现多语种、多场景的语音交互；利用视觉语言模型实现目标任务导航及目标对象抓取功能；实现“动作映射模型” 赋予人形机器人执行人体动作的能力。

图1-1 人体动作数据库

图1-2 仿真验证

图1-3动作执行

▲三、团队成员

实验室成员包括国家高层次人才1名，副研究员1名，博士后1名，工程师2名，博士生7名。

实验室负责人郭国栋教授从事计算机视觉和人工智能领域研究20多年，是国际知名学者、科学家，现已发表超200篇高水平期刊/会议论文，并入选了由美国斯坦福大学发布的全球前2％顶尖科学家榜单。郭教授现任宁波数字孪生（东方理工）研究院副院长以及宁波东方理工大学（暂名）计算机科学与技术学院副院长、教授，涉及科研领域包括：人工智能、大数据、工业互联网、三维建模仿真、信息安全、智能硬件等。

▲四、科研条件

实验室场地面积近500平米，可满足科研人员日常办公及各类科研需求。实验室已配备人形机器人GR1，并在其基础上进行了丰富软硬件改装设计。另外，配备了A6000GPU服务器2台，A4000GPU服务器5台，可进行各类模型、算法的搭建和调试。

▲五、主持/参与项目情况

近年来，团队主持/参与科研项目超30项，其中国家级项目超20项，获批宁波市“科创甬江2035”关键技术突破计划项目1项。

▲六、成果情况

近年来，团队共发表学术论文超200篇。申请/授权国内外专利近40余项，其中申请/授权国际专利近10项。多次获得高水平国际会议最佳论文奖、国际比赛冠军等。