
视频链接:https://mp.weixin.qq.com/s/BiadZ8NYMAaVZ_mmavjXvQ
行业痛点
在数字时代,如何将真实世界中的人体动作、几何、外观高效、精准地转化为三维数字信息,是推动虚实融合、沉浸式交互、智能分析与仿真推演的关键。传统多视角采集系统设备昂贵、维护复杂,而单RGB相机人体重建技术往往面临两难困境:追求高精度则计算量大、无法实时;追求高效率则损失细节、质量不佳。如何在单台普通RGB相机(如常见网络摄像头)条件下,实现实时高质量重建,以及应对大范围、多人、遮挡严重的复杂场景,一直是国际公认的技术挑战。
解决方案
为解决以上挑战,天津大学李坤教授团队聚焦单RGB相机下的人体高效高质量重建,取得了突破性进展,其成果在国际上居于领先地位:
1. 提出了全新三维几何表示——傅里叶占有率场,构建了国际首个仅用单RGB相机即可实现30帧/秒以上实时速率的高质量人体三维重建与渲染系统。该系统仅需普通摄像头和消费级GPU,成本低廉,易于部署。
2. 针对数百人群、尺度多变、严重遮挡的复杂场景,提出了首个从单张图像重建数百人全局一致三维姿态、形状与位置的方法,并进一步解耦了相机焦距与透视畸变,实现了任意焦距相机下绝对位置的人群三维重建,荣获国际权威比赛第一名。
3. 研发了支持视、听、触、嗅、表情、姿态、眼动、自然语言八种模态的智能VR系统。用户无需复杂手柄,通过自然肢体动作即可在虚拟场景中进行火灾逃生、地震避险、心肺复苏等沉浸式培训。该技术将于今年上半年在四个国家级科普教育基地投入应用示范。
一、实时高质:在普通单RGB相机输入下实现实时高质量重建与渲染;
二、部署简便:无需复杂设备,成本低、便于复制推广;
三、强兼容性:可适配不同焦距相机与不同场景。
目前,该技术已实现的关键指标包括:单RGB相机输入、30+FPS实时重建帧率、2cm以内几何误差,大场景群体下人体关节点相似度(OKS)达到 0.82,预测的人与人之间距离与真实距离的平均误差在 12% 以内。这些指标在国际上处于领先水平,尤其在高精度与高效率的平衡上表现突出。本技术从算法源头创新,具备显著的技术自主性与成本优势,为大规模商业化落地奠定了坚实基础。
李坤教授团队长期深耕三维视觉,尤其是人体三维重建与生成方向。以第一作者/通讯作者在IEEE TPAMI、CVPR等国际知名期刊和会议上发表论文70余篇,部分研究成果实现了产业化应用。主持了国家自然科学基金优秀青年科学基金、天津市杰出青年科学基金、国家重点研发计划等17 项科研项目。荣获中国图象图形学学会石青云女科学家奖、ICME最佳论文奖、FIFA Skeletal Tracking ‘Light’ 国际挑战赛第一名(受邀在CVPR 2025报告)等荣誉。指导的“一键成模——数字世界模型基建轻量供应商”项目荣获2023年中国国际大学生创新大赛(互联网)总决赛季军、金奖。团队以国家重大需求和企业应用需求为导向,致力于做应用驱动的有价值有意义的科研,主要包括数字人重建与生成、大场景多对象重建与生成、多模态感知与交互等相关方向的研究,技术应用于智能电商、视频监控、公共安全、应急救援、智慧城市、具身智能等领域。
涉及授权专利 8 项、高水平论文(IEEE TPAMI、CVPR、ICCV等)8篇、软件著作权 1 项。远程通讯、元宇宙、公共安全、应急救援、城市治理、具身智能
合作方式:专利许可、转让、作价入股等。
联系方式:成果转化处 022-27400019 cgzh@tju.edu.cn
咨询电话:成果转化处 022-27400019
征集邮箱:cgzh@tju.edu.cn
办公地址:天津大学北洋园校区1895行政楼B203
信息下载:关注下方二维码获取征集信息表
