SOLAMI: 基于端到端社交多模态模型
3D自主角色的沉浸式交互
SOLAMI是首个面向3D自主角色沉浸式交互的端到端社交多模态模型框架。该框架通过统一的视觉-语言-动作架构、自动生成的多模态交互数据集和沉浸式VR界面,实现了更自然、精确且低延迟的人机社交互动,为构建具有社交智能的3D自主角色提供了新的解决方案。
了解更多算法研究员 -- 商汤科技研究院
工学博士 -- 东南大学
前技术负责人 -- 东南大学产品可靠性研究所
前校园大使 -- Unity Technology
作为一名热爱跨领域技术研发的科研工作者,我致力于将深度学习与计算机图形学的前沿技术相结合,探索内容生成领域的创新解决方案。过去五年,我的研究重点聚焦在AIGC、PCG和3D数字人等领域,博士在读期间成功完成多项与国内知名企业的合作项目,再商汤工作期间参与发表多篇顶级会议论文。目前,我的工作主要围绕多模态内容生成技术展开,尤其关注大模型在3D内容创作中的应用。期待能够继续在人工智能与计算机图形学的交叉领域深耕,为数字内容创作的智能化贡献力量。
了解更多五年图形图像开发经验,长期关注前沿的图形学研究成果,在Rendering\Geometry\Motions等领域具有丰富的科研实践经验,所研发的合成数据生成管线曾助力多项优秀成果发表
三年以上深度学习研发经验,熟悉大模型相关知识,熟悉常见生成模型框架(GAN\VAE\Diffusion等),熟悉常用的生成模型插件(LoRA\ControlNet\Redux等),论文阅读与复现能力良好
具备专业的设计与艺术功底,熟练使用Figma\PS\FCPX\Davinci等等图形\影视软件,熟练掌握Blender\Maya\Substance Designer\Houdini等3D创作软件。能够独立完成完整的游戏\影视DCC工作流