SOLAMI: 基于端到端社交多模态模型

3D自主角色的沉浸式交互

SOLAMI是首个面向3D自主角色沉浸式交互的端到端社交多模态模型框架。该框架通过统一的视觉-语言-动作架构、自动生成的多模态交互数据集和沉浸式VR界面,实现了更自然、精确且低延迟的人机社交互动,为构建具有社交智能的3D自主角色提供了新的解决方案。

了解更多
AnimoXtend

AIGC 3D生成插件

一款创新的 AIGC 3D生成插件,为 Blender 用户带来全新的创作体验。通过自然语言交互,用户可以轻松生成场景和角色模型,并实现自动化的角色骨骼绑定。插件内置超过4000个专业级动作捕捉数据,并支持将这些动作灵活重定向到任意角色模型上。作为一站式AI辅助创作工具,AnimoXtend致力于帮助3D创作者在 Blender 中高效完成从建模到动画的完整工作流程,大幅提升创作效率。

了解更多
多通道交互

载人登月虚拟现实仿真

项目来源于中国航天员科研训练中心,通过集成仿真飞行摇杆和穿戴式手势识别传感器的虚拟现实设备,完整模拟了载人登月任务流程。系统包含可交互的指令舱操控面板、模拟增强现实的虚拟界面以及可遥操作的探月车等多个功能模块。

了解更多
节点式编辑

手势交互可视化编程系统

为提升虚拟环境下的开发和测试效率,我们开发了一套基于手势交互的VR可视化编程工具。针对VR开发者在调试过程中需要频繁切换现实与虚拟环境的痛点,我们创新性地将VR软件的开发与调试统一到虚拟环境中进行。

了解更多
../../assets/images/about/about.png

玮烨

算法研究员 -- 商汤科技研究院
工学博士 -- 东南大学
前技术负责人 -- 东南大学产品可靠性研究所
前校园大使 -- Unity Technology

作为一名热爱跨领域技术研发的科研工作者,我致力于将深度学习与计算机图形学的前沿技术相结合,探索内容生成领域的创新解决方案。过去五年,我的研究重点聚焦在AIGC、PCG和3D数字人等领域,博士在读期间成功完成多项与国内知名企业的合作项目,再商汤工作期间参与发表多篇顶级会议论文。目前,我的工作主要围绕多模态内容生成技术展开,尤其关注大模型在3D内容创作中的应用。期待能够继续在人工智能与计算机图形学的交叉领域深耕,为数字内容创作的智能化贡献力量。

了解更多
service

计算机图形

五年图形图像开发经验,长期关注前沿的图形学研究成果,在Rendering\Geometry\Motions等领域具有丰富的科研实践经验,所研发的合成数据生成管线曾助力多项优秀成果发表

service

深度学习

三年以上深度学习研发经验,熟悉大模型相关知识,熟悉常见生成模型框架(GAN\VAE\Diffusion等),熟悉常用的生成模型插件(LoRA\ControlNet\Redux等),论文阅读与复现能力良好

service

设计与艺术

具备专业的设计与艺术功底,熟练使用Figma\PS\FCPX\Davinci等等图形\影视软件,熟练掌握Blender\Maya\Substance Designer\Houdini等3D创作软件。能够独立完成完整的游戏\影视DCC工作流

代表作