联手人机交互和计算机辅助设计与图形学专业委员会：“数字人的渲染技术”术语发布
中文名：数字人的渲染技术
外文名：Digital human rendering
学科：人机交互、计算机图形学
实质：数字人的渲染是根据人物角色及其身处的物理环境，综合利用计算机图形学、计算机视觉和计算摄影学等领域的技术合成数字人二维图像的过程。
研究背景：
在当今社会，数字化已渗透到日常生活的每一个角落。随着人工智能、计算机图形学以及人机交互技术的快速发展，数字人已经成为计算机科学、人工智能和人机交互领域的一个重要研究热点。数字人的目标是利用先进的数字化技术创造出虚拟人类形象，这些形象不仅在视觉上逼真，而且还在行为上接近真实人类，甚至能够模拟人类的情感和认知过程。渲染是创造逼真数字人的关键步骤，通过模拟光照、阴影和材质等物理世界状态及光线传播过程，呈现出具有真实感的皮肤与服饰表面、自然光影效果和细致的面部表情，增强用户的体验感。根据数字人表示方式的不同，现有渲染方法主要有传统图形学渲染方法和神经网络渲染方法两种。传统图形学渲染方法主要利用数学和计算机图形学的基本原理来模拟光照、阴影和颜色等物理现象，生成数字人的二维图像，在工业领域得到广泛应用。神经网络渲染方法则是利用神经网络来学习图像生成的特征和规律，再结合图形学渲染原理推理生成数字人的二维图像，由于其逼真的渲染效果受到学术领域的关注。
研究概况：
数字人的概念起源于医学领域，可追溯到1989年美国国立医学图书馆发起的“可视人计划”，旨在实现人体解剖结构的三维展示。随后，数字人研究受到不同领域研究者的关注，不再局限于医学领域。自1982年以来，研究者尝试将虚拟人物引入到现实世界中，虚拟数字人进入萌芽阶段。计算机图形学技术在2001年后得到快速发展，三维建模和渲染技术取得突破，逐渐成为数字人构建的主流方法[1,2]。2021年以来，生成式人工智能在图像生成、语言交互等领域取得了重要突破，也为数字人的构建提供新的技术方案[3,4]。利用生成式方法构建三维数字人模型主要包括模型表示、渲染与学习三个步骤[5]。其中，渲染环节的好坏将决定数字人呈现的视觉效果，受到国内外研究者的广泛关注。
渲染是将三维数字人模型映射到二维图像的过程，需要根据目标三维模型的表示选择合适的方法。传统的显示表示渲染方法在处理数字人时通常采用朗伯反射模型等传统渲染方法，它假设观察者接收的光线亮度不随观察视角的变化而变化，能够在减轻计算量的同时，达到接近复杂模型的粗糙表面渲染效果[6,7]。Burley等人将物体表面粗糙度参数引入渲染过程，有效地对粗糙表面的回溯光照效果进行模拟[8]。Lattas等人对高光分量在模拟平滑皮肤表面对光源的反射效果进行研究，有效提升了渲染效果[9]。随着硬件性能的提升和算法的不断优化，基于物理渲染的实时渲染方法受到国内外学者的研究，数字人渲染的真实性和渲染效率得到进一步提升。Jensen等人提出一种光在次表面传播模型，解决了皮肤、硅胶等散射材质由BRDF渲染效果生硬的问题[10]。Marschner等人分析了真实世界的毛发构成及特性并且提出一种高效的头发着色模型，提升了头发渲染的效率[11]。Burley等人于SIGGRAPH 2012提出迪士尼原则的BRDF，将材质复杂的物理属性用非常直观的少量变量表达出来[12]，有效减轻渲染的复杂度和提升渲染效率。隐式表示渲染方法在处理数字人时通常利用神经网络渲染方法，通过将特定的渲染参数输入神经网络，获得网络中存储的隐含三维信息，再结合图形学渲染原理，得到渲染后的数字人图像。Gafni等人于2021年提出利用动态神经辐射场对人脸的外观和表情变化进行建模，并且使用体积渲染从头像和场景的混合表示中生成逼真图像[13]。Peng等人提出Neural Body来捕捉数字人的3D几何外形和外观，将其用于数字人的3D重建和多视图合成[14]。Kwon等人于2021年提出一种新颖的基于参数人体模型学习通用神经辐射场的方法，以实现鲁棒的数字人动作捕捉[15]。Jiang等人于2022年提出使用显式表示来获得数字人的整体形状，然后通过神经渲染对细节进行优化[16]。Zheng等人于2023年提出一种全新的NeRF 3D数字人建模和渲染方法，能够实现数字人的实时驱动、编辑和渲染[17]。
传统图形学渲染和神经网络渲染具有各自的优势，在不同领域发挥着重要的作用。传统图形学渲染研究的起始时间较早，相关物理模型和算法完善，在三维场景制作和渲染等工业领域有广泛的软硬件支持和应用场景。神经网络渲染方法虽然兴起的时间较短，但是得益于网络中存储了物体在真实场景下的多视角信息，它的渲染逼真度优于传统图形学渲染方法。此外，受到隐式表达的可控性和可编辑性方面的限制，当前神经渲染主要还停留在研究阶段，尚未在工业中得到广泛应用。
未来展望：
数字人研究希望通过高度逼真的虚拟人类形象，突破传统图形界面在交互和认知模拟方面的限制，实现更加自然、高效和有情感的人机交互体验。为了提升数字人的真实性，现有研究围绕渲染做了一系列工作，使得数字人的形象越来越逼真。然而，这些渲染方法还存在一些局限性。首先，现有的工作更多地关注人脸、躯干和胳膊等主要身体部位，较少对头发、衣服和眼睛等局部区域进行研究，使得现有数字人普遍存在局部细节不丰富的问题。其次，尽管现有的神经网络渲染方法能够编辑发型、肤色和脸型等多种语义属性的渲染结果，但是可编辑的语义属性类型仍相对有限，且存在偏离使用者预期的情况。进一步提高神经网络渲染的可编辑性和可控性，有利于创造更为多元、富有创意的数字人形象。最后，在实际应用上，虽然神经网络渲染方法的渲染效果比传统图形学渲染方法更加逼真，但是由于缺少相关上下游软件支持，将神经网络渲染应用到现有的数字人制作管线是一件具有挑战性的事情。
数字人渲染领域面临着广泛而深刻的挑战，要有效解决这些挑战，需要结合计算机图形学、计算机视觉、人机交互等多个学科领域的知识，以便更全面地理解和应对这些问题，从而推动数字人渲染技术的不断进步。
参考文献
[1] Debevec, Paul. "The light stages and their applications to photoreal digital actors." SIGGRAPH Asia 2.4, 2012. 1-6.[2] Liu, Shiqiang, et al. "A wearable motion capture device able to detect dynamic motion of human limbs." Nature communications 11.1, 2020. 5615.[3] Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.[4] Ray, Partha Pratim. "ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope." Internet of Things and Cyber-Physical Systems, 2023.[5] Yan Y C, Cheng Y H, Chen Z, et al. A survey on generative 3D digital humans based on neural networks: representation, rendering and learning (in Chinese). Sci Sin Inform. 2022.[6] Basri R, Jacobs D W. Lambertian reflectance and linear subspaces. IEEE Trans Pattern Anal Machine Intell, 2003, 25: 218–233 13.[7] Oren M, Nayar S K. Generalization of Lambert’s reflectance model. In: Proceedings of the ACM SIGGRAPH, 1994. 239–246.[8] Burley B, Studios W D A. Physically-based shading at Disney. In: Proceedings of the ACM SIGGRAPH, 2012. 1–7.[9] Lattas A, Moschoglou S, Gecer B, et al. AvatarMe: realistically renderable 3D facial reconstruction “in-the-wild”. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. 760–769.[10] Jensen H, Marschner S, Levoy M, and Hanrahan P. A practical model for subsurface light transport. In: Proceedings of the ACM SIGGRAPH, 2001. 511-518.[11] Marschner, Stephen R., et al. "Light scattering from human hair fibers." ACM Transactions on Graphics (TOG) 22.3 (2003): 780-791.[12] Burley, Brent, and Walt Disney Animation Studios. "Physically-based shading at disney." Acm Siggraph. Vol. 2012. vol. 2012, 2012.[13] Gafni G, Thies J, Zollhofer M, et al. Dynamic neural radiance fields for monocular 4D facial avatar reconstruction. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2021. 8649–8658.[14] Peng S, Zhang Y, Xu Y, et al. Neural body: implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2021. 9054–9063.[15] Kwon Y, Kim D, Ceylan D, et al. Neural human performer: learning generalizable radiance fields for human performance rendering. In: Proceedings of the Advances in Neural Information Processing Systems, 2021. 2474124752.[16] Jiang B, Hong Y, Bao H, et al. SelfRecon: self reconstruction your digital avatar from monocular video. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2022. 5605–5615.[17] Zheng Z, Zhao X, Zhang H, Liu B, Liu Y. "AvatarRex: Real-time Expressive Full-body Avatars". ACM Trans. Graph. (Proc. SIGGRAPH) 2023
单位：厦门大学
研究领域：普适计算、人机交互
邮箱：longbiaochen@xmu.edu.cn
单位：厦门大学
研究领域：普适计算
邮箱：guofengluo@stu.xmu.edu.cn
计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。
主任（代理）：
李国良（清华大学）
副主任：
王昊奋（同济大学）
主任助理：
李一斌（上海海乂知信息科技有限公司）
执行委员：
丁 军（上海海乂知信息科技有限公司）
林俊宇（中国科学院信息工程研究所）
兰艳艳（清华大学）
张伟男（哈尔滨工业大学）
委员：
柴成亮（北京理工大学）
彭 鑫（复旦大学）
李博涵（南京航空航天大学）
李 超（上海交通大学）
李晨亮（武汉大学）
杨 敏（中国科学院深圳先进技术研究院）
张 鹏（天津大学）
王昌栋（中山大学）
张宁豫（浙江大学）
孔祥杰（浙江工业大学）
魏 巍（华中科技大学）
术语投稿热线：ccfpedia@ccf.org.cn
返回首页
京公网安备 11010802032778号