一、实验室简介

多模态人工智能实验室主要聚焦于多模态大模型和人形机器人两大领域的研究。在多模态大模型方面，实验室致力于开发能够应用于各种通用场景的多模态大模型，及其应用场景的探索；在人形机器人方面，实验室致力于开发基于大模型的人形机器人“大脑”模型，实现其多模态的感知、长时任务的推理、自然流畅的人机交互能力。

二、研究方向

（1）多模态大模型。致力于研究多模态大模型的开发及其各个领域的应用。目前，团队已经开发了一项能够结合视觉-语言任务的多模态大模型，能够在不损失大语言模型本身的自然语言处理能力的基础上高效地完成视觉理解、目标检测、图像分割等视觉基础任务；此外，团队已开始探索将多模态大模型与语音合成、虚拟形象生成技术结合，用于视频、演示文稿、海报等多媒体内容的生成。

（2）人形机器人。聚焦于开发基于人工智能大模型的“大脑”模型，实现人形机器人对人和环境的感知、行为控制、人机交互能力。已完成人形机器人运动学、动力学建模，构建人形机器人元动作库，确保基础动作灵活准确；增加语音交互模型实现多语种、多场景的语音交互；利用视觉语言模型实现目标任务导航及目标对象抓取功能；实现“动作映射模型” 赋予人形机器人执行人体动作的能力。

三、负责人

实验室负责人郭国栋教授从事计算机视觉和人工智能领域研究20多年，是国际知名学者、科学家，现已发表超200篇高水平期刊/会议论文，并入选了由美国斯坦福大学发布的全球前2％顶尖科学家榜单。郭教授现任宁波数字孪生（东方理工）研究院副院长以及宁波东方理工大学（暂名）计算机科学与技术学院副院长、教授，涉及科研领域包括：人工智能、大数据、工业互联网、三维建模仿真、信息安全、智能硬件等。