浏览全部资源
扫码关注微信
收稿日期：2024-12-26，
修回日期：2025-02-19，
录用日期：2025-03-10，
网络出版日期：2025-03-12，
移动端阅览
在计算成像领域中，场景重光照是一项用于调整和编辑给定图像中光照属性的技术，以呈现与指定光照条件一致且趋近于真实的重光照图像。近年来，场景重光照任务作为元宇宙与虚拟现实应用中的重要组成部分备受学术界和工业界关注，在数码摄像、曝光纠正和影视后期处理等领域都具有重要的应用价值。然而，基于人工的场景重新照明流程通常费时费力，既需要影视特效师手动提取准确的前景图像，还需要精心处理图像中的光影信息、边缘细节以及场景各物体之间的交互关系进行调整，以获得与给定虚拟光照环境相融合的真实效果。近年来，随着机器视觉技术和计算机图形学的发展，利用算法实现场景重照的方法开始取代人工，以其重渲染的精度和效率吸引包括影视制作在内的许多行业的目光。并且同传统成像模型、光照模型、三维重建与深度学习等结合之后，相关技术在场景重光照的真实性与可控性等方面取得了显著进步。鉴于国内外鲜有关于场景重光照任务的研究综述，本文对场景重光照方法进行了系统梳理和评述。根据场景重光照研究中各个环节的特点，将现有的研究工作按照流程分为光照解耦、本征分解和重渲染三个过程：光照解耦从原图像中提取环境光照信息并予以本征表达，不仅为后续过程提供了光照信息，而且提升了本征分解过程中对于光照不变特征图像的分解效率与估计精度；本征分解过程则旨在利用解耦得到的光照信息从原图像中获取场景的表面几何属性与纹理属性；最终的重渲染方法根据给定的目标光照信息与分解得到的表面属性实现对场景的重渲染，使得输出图像的光照属性符合期望光影效果。在剖析上述过程的核心原理与特点的基础上，着重分类讨论典型算法的优势与不足；为方便研究人员开展进一步的工作，介绍了场景重光照任务中常用数据集种类以及相关采集设备；最后，总结了该领域研究面临的主要问题和挑战，并展望了未来潜在的研究方向。
Scene relighting， a specialized area within computational imaging， aims to modify the illumination properties of a given image to produce a realistic and visually cohesive representation of the scene under specified lighting conditions. This process is of paramount importance in applications requiring lifelike rendering， such as the metaverse， virtual reality （VR）， digital imaging， facial recognition， and studio entertainment. The ability to simulate and manipulate lighting in images and scenes has garnered significant interest in both academic and industrial domains， owing to its potential to enhance user experiences and streamline workflows in these fields. However， traditional methods for scene relighting remain labor-intensive and time-consuming， requiring manual intervention to achieve precise and realistic results. These conventional approaches often involve extracting the foreground image with high accuracy， followed by manual adjustments to illumination conditions， shadow details， edge consistency， and other scene attributes to ensure compatibility with the target lighting. While effective， these methods are not scalable for large-scale or dynamic applications， necessitating the development of more efficient and automated solutions. The advent of machine learning technologies has revolutionized the field of scene relighting， enabling the automation of complex relighting tasks and significantly improving the quality and efficiency of the results. By integrating computational imaging models， illumination models， 3D modeling， and deep learning techniques， researchers have achieved remarkable progress in generating high-quality relit images. These advancements have reduced the reliance on manual effort and opened new possibilities for applications in dynamic and complex scenarios. Despite these achievements， comprehensive reviews of scene relighting methodologies remain scarce， particularly those that systematically analyze recent developments and provide a holistic perspective on the field. To address this gap， this paper presents a methodical and discerning review of contemporary scene relighting methods， focusing on two pivotal aspects： the employed algorithms and the prevalent datasets. The paper begins by introducing the scene relighting task， its practical applications， and the key challenges associated with it. One of the primary challenges lies in efficiently extracting high-quality texture and geometric information from input images， especially under unknown or ambiguous illumination conditions. Additionally， the scarcity of high-quality， relightable datasets poses a significant obstacle to the training and evaluation of machine learning models. Other challenges include ensuring temporal coherence in dynamic scenarios， such as video-based relighting， and accurately representing complex materials like reflective or translucent surfaces. These challenges underscore the need for innovative approaches that can overcome these limitations and expand the capabilities of scene relighting technologies. To provide a comprehensive understanding of the field， the paper categorizes existing scene relighting methods into three main groups based on their procedural workflow： illumination decoupling， intrinsic decomposition， and re-rendering. Each of these steps plays a critical role in the overall relighting process. The first step， illumination decoupling， involves extracting environmental illumination information from the input image and representing it using an appropriate model. This step is crucial for providing accurate lighting data for subsequent processes and improving the efficiency and accuracy of intrinsic decomposition. The second step， intrinsic decomposition， focuses on separating the intrinsic properties of the scene， such as geometric and texture attributes， from extrinsic factors like lighting. This step ensures that the structural integrity of the scene is preserved while adapting to new illumination conditions. The final step， re-rendering， involves generating the target scene under specified lighting conditions by applying the surface attributes obtained during intrinsic decomposition. This process ensures that the illumination in the rendered image aligns with the given lighting parameters， resulting in a cohesive and realistic final output. In addition to reviewing scene relighting methods， the paper provides an overview of commonly employed datasets and acquisition devices used in this domain. High-quality datasets are essential for training and evaluating scene relighting algorithms， as they provide the ground truth data needed to assess model performance. These datasets often include images captured under various lighting conditions， along with corresponding 3D models， surface normals， or reflectance maps. Acquisition devices， such as light stage systems and multi-camera setups， play a vital role in capturing detailed information about the scene's geometry， texture， and illumination. However， the limited variety and scope of available datasets remain a significant barrier to the development of more generalized and robust relighting models. Despite the progress made in recent years， contemporary scene relighting techniques still face several limitations. For instance， existing methods often struggle to handle extreme lighting scenarios， such as very low or high illumination levels or complex shadow patterns. Ensuring temporal coherence in dynamic scenarios， such as video relighting， remains a significant challenge， as inconsistencies in illumination across frames can disrupt the realism of the output. Additionally， accurately modeling and rendering complex materials， such as translucent， reflective， or anisotropic surfaces， is an ongoing area of research. The scarcity of diverse and high-quality datasets further exacerbates these challenges， limiting the generalizability of current models. To address these deficiencies， the paper outlines several promising directions for future research in scene relighting. These include developing robust methods for illumination decoupling under extreme lighting conditions， enhancing temporal coherence in dynamic scenarios， creating more sophisticated models for representing and rendering intricate materials， and expanding the variety and scope of available datasets. By tackling these challenges， future advancements in scene relighting are expected to further enhance the quality， efficiency， and applicability of this technology across various domains. In summary， this paper provides a comprehensive review of recent advancements in scene relighting methodologies， highlighting the key challenges， current approaches， and future directions in the field. By synthesizing and analyzing the employed methods and prevalent datasets， the paper aims to support ongoing research and innovation in scene relighting， paving the way for more efficient and realistic solutions in this rapidly evolving domain. The insights and recommendations presented in this study are expected to contribute to the development of next-generation relighting technologies， with far-reaching implications for applications in the metaverse， VR， digital imaging， and beyond.
Afifi M ， Derpanis K G ， Ommer B ， and Brown M S . 2021 . Learning multi-scale photo exposure correction // Proceedings of the 2021 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2021） . Nashville， TN， USA ： IEEE： 9153 - 9163 ［ DOI： 10.1109/CVPR46437.2021.00904 http://dx.doi.org/10.1109/CVPR46437.2021.00904 ］
Aittala M ， Weyrich T ， and Lehtinen J . 2015 . Two-shot SVBRDF capture for stationary materials . ACM Transactions on Graphics ， 34 （ 4 ）： 110 ： 1 - 110 ： 13 ［ DOI： 10.1145/2766967 http://dx.doi.org/10.1145/2766967 ］
Alexander O ， Rogers M ， Lambeth W ， Chiang M ， and Debevec P . 2009a . Creating a photoreal digital actor： the digital emily project //2009 Conference for Visual Media Production. 176 - 187 ［ DOI： 10.1109/CVMP.2009.29 http://dx.doi.org/10.1109/CVMP.2009.29 ］
Alexander O ， Rogers M ， Lambeth W ， Chiang M ， and Debevec P . 2009b . The digital emily project： photoreal facial modeling and animation // Proceedings of the 2009 ACM SIGGRAPH courses . New York， NY， USA ： Association for Computing Machinery ［ DOI： 10.1145/1667239.1667251 http://dx.doi.org/10.1145/1667239.1667251 ］
Alldieck T ， Magnor M ， Xu W ， Theobalt C ， and Pons-Moll G . 2018 . Detailed human avatars from monocular video // Proceedings of the 2018 International Conference on 3D Vision （3DV） . Verona， Italy ： IEEE： 98 - 109 ［ DOI： 10.1109/3DV.2018.00022 http://dx.doi.org/10.1109/3DV.2018.00022 ］
Azinović D ， Maury O ， Hery C ， Nießner M ， and Thies J . 2023 . High-res facial appearance capture from polarized smartphone images // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023） . Vancouver， BC， Canada ： IEEE： 16836 - 16846 ［ DOI： 10.1109/CVPR52729.2023.01615 http://dx.doi.org/10.1109/CVPR52729.2023.01615 ］
Bai J ， He Z ， Yang S ， Guo J ， Chen Z ， Zhang Y ， and Guo Y . 2023 . Local-to-global panorama inpainting for locale-aware indoor lighting prediction . IEEE Transactions on Visualization and Computer Graphics ， 29 （ 11 ）： 4405 - 4416 ［ DOI： 10.1109/TVCG.2023.3320233 http://dx.doi.org/10.1109/TVCG.2023.3320233 ］
Barmpoutis A ， Kumar R ， Vemuri B C ， and Banerjee A . 2008 . Beyond the Lambertian assumption： a generative model for apparent BRDF fields of faces using anti-symmetric tensor splines // Proceedings of the 2008 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2008） . Anchorage， AK， USA ： IEEE： 1 - 6 ［ DOI： 10.1109/CVPR.2008.4587770 http://dx.doi.org/10.1109/CVPR.2008.4587770 ］
Bhattad A ， Soole J ， and Forsyth D A . 2024 . StyLitGAN： image-based relighting via latent control // Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE： 4231 - 4240 ［ DOI： 10.1109/CVPR52733.2024.00405 http://dx.doi.org/10.1109/CVPR52733.2024.00405 ］
Blanz V and Vetter T . 1999 . A morphable model for the synthesis of 3D faces // Proceedings of the 26th annual conference on computer graphics and interactive techniques （SIGGRAPH 1999） . USA ： Association for Computing Machinery： 187 - 194 ［ DOI： 10.1145/311535.311556 http://dx.doi.org/10.1145/311535.311556 ］
Bogo F ， Kanazawa A ， Lassner C ， Gehler P ， Romero J ， and Black M J . 2016 . Keep it SMPL： automatic estimation of 3D human pose and shape from a single image // Proceedings of the 2016European Conference on Computer Vision （ECCV 2016） . Amsterdam， The Netherlands ： Springer： 561 - 578 ［ DOI： 10.1007/978-3-319-46454-1_34 http://dx.doi.org/10.1007/978-3-319-46454-1_34 ］
Boom B ， Orts-Escolano S ， Ning X X ， McDonagh S ， Sandilands P ， and Fisher R B . 2013 . Point light source estimation based on scenes recorded by a rgb-d camera // British Machine Vision Conference . Bristol ［ DOI： 10.5244/C.27.105 http://dx.doi.org/10.5244/C.27.105 ］
Cai Y ， Bian H ， Lin J ， Wang H ， Timofte R ， and Zhang Y . 2023 . Retinexformer： one-stage retinex-based transformer for low-light image enhancement // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV 2023 . Paris， France ： IEEE ［ DOI： 10.1109/ICCV51070.2023.01149 http://dx.doi.org/10.1109/ICCV51070.2023.01149 ］
Caselles P ， Ramon E ， Garcia J ， Giro-i-Nieto X ， Moreno-Noguer F ， and Triginer G . 2023 . SIRA： relightable avatars from a single image // Proceedings of the 2023 IEEE/CVF winter conference on applications of computer vision （WACV 2023） . Waikoloa， HI， USA ： IEEE： 775 - 784 ［ DOI： 10.1109/WACV56688.2023.00084 http://dx.doi.org/10.1109/WACV56688.2023.00084 ］
Chan E R ， Lin C Z ， Chan M A ， Nagano K ， Pan B ， De Mello S ， Gallo O ， Guibas L ， Tremblay J ， Khamis S ， Karras T ， and Wetzstein G . 2022 . Efficient geometry-aware 3D generative adversarial networks // Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans， LA， USA ： IEEE： 16102 - 16112 ［ DOI： 10.1109/CVPR52688.2022.01565 http://dx.doi.org/10.1109/CVPR52688.2022.01565 ］
Chandran S ， Hold-Geoffroy Y ， Sunkavalli K ， Shu Z ， and Jayasuriya S . 2022 . Temporally consistent relighting for portrait videos // Proceedings of the 2022 IEEE/CVF winter conference on applications of computer vision workshops （WACVW 2022） . Waikoloa， HI， USA ： IEEE： 719 - 728 ［ DOI： 10.1109/WACVW54805.2022.00079 http://dx.doi.org/10.1109/WACVW54805.2022.00079 ］
Chen Z ， Chen A ， Zhang G ， Wang C ， Ji Y ， Kutulakos K N ， and Yu J . 2020 . A neural rendering framework for free-viewpoint relighting // Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， WA， USA ： IEEE： 5598 - 5609 ［ DOI： 10.1109/CVPR42600.2020.00564 http://dx.doi.org/10.1109/CVPR42600.2020.00564 ］
Chen Z and Liu Z . 2022 . Relighting4 D： neural relightable human from videos// Proceedings of the 2022 European Conference on Computer Vision （ECCV 2022 ）. Tel Aviv， Israel ： Springer： 606 - 623 ［ DOI： 10.1007/978-3-031-19781-9_35 http://dx.doi.org/10.1007/978-3-031-19781-9_35 ］
Choudhury B and Chandran S . 2009 . A survey of image-based relighting techniques . Journal of Virtual Reality and Broadcasting ， 4 （ 7 ） ［DOI： 10.20385/1860-2037/4.2007.7］
Corona E ， Zanfir M ， Alldieck T ， Bazavan E G ， Zanfir A ， and Sminchisescu C . 2023 . Structured 3D features for reconstructing controllable avatars // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023） . Vancouver， BC， Canada ： IEEE： 16954 - 16964 ［ DOI： 10.1109/CVPR52729.2023.01626 http://dx.doi.org/10.1109/CVPR52729.2023.01626 ］
Debevec P . 1998 . Rendering synthetic objects into real scenes： bridging traditional and image-based graphics with global illumination and high dynamic range photography // Proceedings of the 25th annual conference on computer graphics and interactive techniques （SIGGRAPH 1998） . New York， NY， USA ： Association for Computing Machinery： 189 - 198 ［ DOI： 10.1145/280814.280864 http://dx.doi.org/10.1145/280814.280864 ］
Debevec P ， Hawkins T ， Tchou C ， Duiker H P ， Sarokin W ， and Sagar M . 2000 . Acquiring the reflectance field of a human face // Proceedings of the 27th annual conference on computer graphics and interactive techniques （SIGGRAPH 2000） . USA ： Association for Computing Machinery： 145 - 156 ［ DOI： 10.1145/344779.344855 http://dx.doi.org/10.1145/344779.344855 ］
Debevec P ， Wenger A ， Tchou C ， Gardner A ， Waese J ， and Hawkins T . 2002 . A lighting reproduction approach to live-action compositing . ACM Transactions on Graphics ， 21 （ 3 ）： 547 - 556 ［ DOI： 10.1145/566654.566614 http://dx.doi.org/10.1145/566654.566614 ］
Deschaintre V ， Aittala M ， Durand F ， Drettakis G ， and Bousseau A . 2018 . Single-image SVBRDF capture with a rendering-aware deep network . ACM Transactions on Graphics ， 37 （ 4 ） ［DOI： 10.1145/3197517.3201378］
Dhariwal P and Nichol A . 2021 . Diffusion models beat gans on image synthesis // Proceedings of the 2021 Advances in Neural Information Processing Systems：Vol . 34 . LongBeach， California， USA ： Curran Associates， Inc.： 8780 - 8794 ［ DOI： 10.5555/3540261.3540933 http://dx.doi.org/10.5555/3540261.3540933 ］
Dib A ， Thebault C ， Ahn J ， Gosselin P H ， Theobalt C ， and Chevallier L . 2021 . Towards high fidelity monocular face reconstruction with rich reflectance using self-supervised learning and ray tracing // Proceedings of the 2021 IEEE/CVF international conference on computer vision （ICCV 2021） . Montreal， QC， Canada ： IEEE： 12799 - 12809 ［ DOI： 10.1109/ICCV48922.2021.01258 http://dx.doi.org/10.1109/ICCV48922.2021.01258 ］
Ding Z ， Zhang X ， Xia Z ， Jebe L ， Tu Z ， and Zhang X . 2023 . DiffusionRig： learning personalized priors for facial appearance editing // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023 . Vancouver， BC， Canada ： IEEE ［ DOI： 10.1109/cvpr52729.2023.01225 http://dx.doi.org/10.1109/cvpr52729.2023.01225 ］
Dong Y ， Chen G ， Peers P ， Zhang J ， and Tong X . 2014 . Appearance-from-motion： recovering spatially varying surface reflectance under unknown lighting . ACM Transactions on Graphics ， 33 （ 6 ）： 193 ： 1 - 193 ： 12 ［ DOI： 10.1145/2661229.2661283 http://dx.doi.org/10.1145/2661229.2661283 ］
Egger B ， Schönborn S ， Schneider A ， Kortylewski A ， Morel-Forster A ， Blumer C ， and Vetter T . 2018 . Occlusion-aware 3D morphable models and an illumination prior for face image analysis . International Journal of Computer Vision ， 126 （ 12 ）： 1269 - 1287 ［ DOI： 10.1007/s11263-018-1064-8 http://dx.doi.org/10.1007/s11263-018-1064-8 ］
Egger B ， Smith W A P ， Tewari A ， Wuhrer S ， Zollhoefer M ， Beeler T ， Bernard F ， Bolkart T ， Kortylewski A ， Romdhani S ， Theobalt C ， Blanz V ， and Vetter T . 2020 . 3D morphable face models—past， present， and future . ACM Transactions on Graphics ， 39 （ 5 ）： 157 ［ DOI： 10.1145/3395208 http://dx.doi.org/10.1145/3395208 ］
Einarsson P ， Chabert C F ， Jones A ， Ma W C ， Lamond B ， Hawkins T ， Bolas M ， Sylwan S ， and Debevec P . 2006 . Relighting human locomotion with flowed reflectance fields // Proceedings of the 17th Eurographics Conference on Rendering Techniques . Goslar， DEU ： Eurographics Association： 183 - 194 ［ DOI： 10.5555/2383894.2383917 http://dx.doi.org/10.5555/2383894.2383917 ］
Feng Y . 2008 . Estimation of light source environment for illumination consistency of augmented reality //2008 Congress on Image and Signal Processing： Vol. 3 . 771 - 775 ［ DOI： 10.1109/CISP.2008.87 http://dx.doi.org/10.1109/CISP.2008.87 ］
Fyffe G ， Wilson C A ， and Debevec P . 2009 . Cosine lobe based relighting from gradient illumination photographs // Proceedings of the 2009 annual conference on computer graphics and interactive techniques （SIGGRAPH 2009 . YorkNew， USA ： Association for Computing Machinery ［DOI： 10.1109/CVMP.2009.18 ｝ ］
Geng C ， Yu H X ， Zhang S ， Agrawala M ， and Wu J . 2023 . Tree-structured shading decomposition // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 488 - 498 ［ DOI： 10.1109/ICCV51070.2023.00051 http://dx.doi.org/10.1109/ICCV51070.2023.00051 ］
Ghosh A ， Fyffe G ， Tunwattanapong B ， Busch J ， Yu X ， and Debevec P . 2011 . Multiview face capture using polarized spherical gradient illumination . ACM Transactions on Graphics ， 30 （ 6 ）： 1 - 10 ［ DOI： 10.1145/2070781.2024163 http://dx.doi.org/10.1145/2070781.2024163 ］
Goodfellow I J ， Pouget-Abadie J ， Mirza M ， Xu B ， Warde-Farley D ， Ozair S ， Courville A ， and Bengio Y . 2014 . Generative adversarial nets // Proceedings of the 27th international conference on neural information processing systems （NeurIPS 2014） . Cambridge， MA， USA ： MIT Press： 2672 - 2680 ［ DOI： 10.5555/2969033.2969125 http://dx.doi.org/10.5555/2969033.2969125 ］
Gross R ， Matthews I ， Cohn J ， Kanade T ， and Baker S . 2008 . Multi-PIE // Proceedings of the 2008 8th IEEE international conference on automatic face & gesture recognition . Amsterdam， Netherlands ： IEEE： 1 - 8 ［ DOI： 10.1109/AFGR.2008.4813399 http://dx.doi.org/10.1109/AFGR.2008.4813399 ］
Guo K ， Lincoln P ， Davidson P ， Busch J ， Yu X ， Whalen M ， Harvey G ， Orts-Escolano S ， Pandey R ， Dourgarian J ， Tang D ， Tkach A ， Kowdle A ， Cooper E ， Dou M ， Fanello S ， Fyffe G ， Rhemann C ， et al . 2019 . The relightables： volumetric performance capture of humans with realistic relighting . ACM Transactions on Graphics ， 38 （ 6 ）： 1 - 19 ［ DOI： 10.1145/3355089.3356571 http://dx.doi.org/10.1145/3355089.3356571 ］
Han X F ， Laga H ， and Bennamoun M . 2021 . Image-based 3D object reconstruction： state-of-the-art and trends in the deep learning era . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 43 （ 5 ）： 1578 - 1604 ［ DOI： 10.1109/TPAMI.2019.2954885 http://dx.doi.org/10.1109/TPAMI.2019.2954885 ］
Han X ， Yang H ， Xing G ， and Liu Y . 2020 . Asymmetric joint GANs for normalizing face illumination from a single image . IEEE Transactions on Multimedia ， 22 （ 6 ）： 1619 - 1633 ［ DOI： 10.1109/TMM.2019.2945197 http://dx.doi.org/10.1109/TMM.2019.2945197 ］
Hawkins T ， Cohen J ， and Debevec P . 2001 . A photometric approach to digitizing cultural artifacts // Proceedings of the 2001 conference on virtual reality， archeology， and cultural heritage . New York， NY， USA ： Association for Computing Machinery： 333 - 342 ［ DOI： 10.1145/584993.585053 http://dx.doi.org/10.1145/584993.585053 ］
Hou A ， Sarkis M ， Bi N ， Tong Y ， and Liu X . 2022 . Face relighting with geometrically consistent shadows // Proceedings of the 2022 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2022 . OrleansNew， LA， USA ： IEEE ［ DOI： 10.1109/CVPR52688.2022.00418 http://dx.doi.org/10.1109/CVPR52688.2022.00418 ］
Hou A ， Zhang Z ， Sarkis M ， Bi N ， Tong Y ， and Liu X . 2021 . Towards high fidelity face relighting with realistic shadows // Proceedings of the 2021 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2021） . Nashville， TN， USA ： IEEE： 14714 - 14723 ［ DOI： 10.1109/CVPR46437.2021.01448 http://dx.doi.org/10.1109/CVPR46437.2021.01448 ］
Iqbal U ， Caliskan A ， Nagano K ， Khamis S ， Molchanov P ， and Kautz J . 2023 . RANA： relightable articulated neural avatars // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 23085 - 23096 ［ DOI： 10.1109/ICCV51070.2023.02115 http://dx.doi.org/10.1109/ICCV51070.2023.02115 ］
Iwase S ， Saito S ， Simon T ， Lombardi S ， Bagautdinov T ， Joshi R ， Prada F ， Shiratori T ， Sheikh Y ， and Saragih J . 2023 . RelightableHands： efficient neural relighting of articulated hand models // Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， BC， Canada ： IEEE： 16663 - 16673 ［ DOI： 10.1109/CVPR52729.2023.01599 http://dx.doi.org/10.1109/CVPR52729.2023.01599 ］
Ji C ， Yu T ， Guo K ， Liu J ， and Liu Y . 2022 . Geometry-aware single-image full-body human relighting // Proceedings of the 2022 European Conference on Computer Vision （ECCV 2022） . Tel Aviv， Israel ： Springer： 388 - 405 ［ DOI： 10.1007/978-3-031-19787-1_22 http://dx.doi.org/10.1007/978-3-031-19787-1_22 ］
Jiang K ， Chen S Y ， Fu H ， and Gao L . 2023 . NeRFFaceLighting： implicit and disentangled face lighting representation leveraging generative prior in neural radiance fields . ACM Transactions on Graphics ， 42 （ 3 ）： 35 ： 1 - 35 ： 18 ［ DOI： 10.1145/3597300 http://dx.doi.org/10.1145/3597300 ］
Jin H ， Liu I ， Xu P ， Zhang X ， Han S ， Bi S ， Zhou X ， Xu Z ， and Su H . 2023 . TensoIR： tensorial inverse rendering // Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， BC， Canada ： IEEE： 165 - 174 ［ DOI： 10.1109/CVPR52729.2023.00024 http://dx.doi.org/10.1109/CVPR52729.2023.00024 ］
Ju Y ， Lam K M ， Xie W ， Zhou H ， Dong J ， and Shi B . 2024 . Deep learning methods for calibrated photometric stereo and beyond . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 46 （ 11 ）： 7154 - 7172 ［ DOI： 10.1109/TPAMI.2024.3388150 http://dx.doi.org/10.1109/TPAMI.2024.3388150 ］
Kampouris C ， Zafeiriou S ， and Ghosh A . 2018 . Diffuse-specular separation using binary spherical gradient illumination //Eurographics Symposium on Rendering - Experimental Ideas & Implementations. Karlsruhe， Germany： 10 pages ［ DOI： 10.2312/SRE.20181167 http://dx.doi.org/10.2312/SRE.20181167 ］
Kanamori Y and Endo Y . 2018 . Relighting humans： occlusion-aware inverse rendering for full-body human images . ACM Transactions on Graphics ， 37 （ 6 ） ［DOI： 10.1145/3272127.3275104］
Kang K ， Chen Z ， Wang J ， Zhou K ， and Wu H . 2018 . Efficient reflectance capture using an autoencoder . ACM Transactions on Graphics ， 37 （ 4 ）： 127 ： 1 - 127 ： 10 ［ DOI： 10.1145/3197517.3201279 http://dx.doi.org/10.1145/3197517.3201279 ］
Karaoglu S ， Liu Y ， Gevers T ， and Smeulders A W M . 2017 . Point light source position estimation from RGB-D images by learning surface attributes . IEEE Transactions on Image Processing ， 26 （ 11 ）： 5149 - 5159 ［ DOI： 10.1109/TIP.2017.2731619 http://dx.doi.org/10.1109/TIP.2017.2731619 ］
Karimi Dastjerdi M R ， Eisenmann J ， Hold-Geoffroy Y ， and Lalonde J F . 2023 . EverLight： indoor-outdoor editable HDR lighting estimation // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 7386 - 7395 ［ DOI： 10.1109/ICCV51070.2023.00682 http://dx.doi.org/10.1109/ICCV51070.2023.00682 ］
Karras T ， Aila T ， Laine S ， and Lehtinen J . 2018 . Progressive growing of GANs for improved quality ， stability， and variation// Proceedings of the 2018 international conference on learning representations （ICLR 2018 . Vancouver， BC， Canada ［ DOI： 10.48550/arXiv.1710.10196 http://dx.doi.org/10.48550/arXiv.1710.10196 ］
Kim H ， Jang M ， Yoon W ， Lee J ， Na D ， and Woo S . 2024 . SwitchLight： co-design of physics-driven architecture and pre-training framework for human portrait relighting // Proceedings of the 2024 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2024 . Seattle， WA， USA ： IEEE ［ DOI： 10.1109/CVPR52733.2024.02371 http://dx.doi.org/10.1109/CVPR52733.2024.02371 ］
Kuang-Chih Lee ， Ho J ， and Kriegman D J . 2005 . Acquiring linear subspaces for face recognition under variable lighting . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 27 （ 5 ）： 684 - 698 ［ DOI： 10.1109/TPAMI.2005.92 http://dx.doi.org/10.1109/TPAMI.2005.92 ］
Kumar R ， Vemuri B C ， and Banerjee A . 2010 . Eigenbubbles： an enhanced apparent BRDF representation // Proceedings of the 2010 20th international conference on pattern recognition （ICPR 2010） . Istanbul， Turkey ： IEEE： 1686 - 1689 ［ DOI： 10.1109/ICPR.2010.417 http://dx.doi.org/10.1109/ICPR.2010.417 ］
Landy M and Movshon J A . 1991 . The plenoptic function and the elements of early vision //Computational Models of Visual Processing. 3 - 20
Le H A and Kakadiaris I A . 2019 . Illumination-invariant face recognition with deep relit face images // Proceedings of the 2019 IEEE winter conference on applications of computer vision （WACV 2019） . Waikoloa， HI， USA ： IEEE： 2146 - 2155 ［ DOI： 10.1109/WACV.2019.00232 http://dx.doi.org/10.1109/WACV.2019.00232 ］
LeGendre C ， Ma W C ， Fyffe G ， Flynn J ， Charbonnel L ， Busch J ， and Debevec P . 2019 . DeepLight： learning illumination for unconstrained mobile mixed reality // Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach， CA， USA ： IEEE： 5911 - 5921 ［ DOI： 10.1109/CVPR.2019.00607 http://dx.doi.org/10.1109/CVPR.2019.00607 ］
LeGendre C ， Ma W C ， Pandey R ， Fanello S ， Rhemann C ， Dourgarian J ， Busch J ， and Debevec P . 2020 . Learning illumination from diverse portraits // SIGGRAPH Asia 2020 Technical Communications . New York， NY， USA ： Association for Computing Machinery： 1 - 4 ［ DOI： 10.1145/3410700.3425432 http://dx.doi.org/10.1145/3410700.3425432 ］
Lei Zhang ， Yang Wang ， Sen Wang ， Samaras D ， Song Zhang ， and Peisen Huang . 2005 . Image-driven re-targeting and relighting of facial expressions // Proceedings of the 2005 International computer graphics （ICG 2005） . Stony Brook， NY， USA ： IEEE： 11 - 18 ［ DOI： 10.1109/CGI.2005.1500355 http://dx.doi.org/10.1109/CGI.2005.1500355 ］
Li G ， Liu Y ， and Dai Q . 2024 . Free-viewpoint video relighting from multi-view sequence under general illumination . Machine Vision and Applications ， 25 （ 7 ）： 1737 - 1746 ［ DOI： 10.1007/s00138-013-0559-0 http://dx.doi.org/10.1007/s00138-013-0559-0 ］
Li Q ， Guo J ， Fei Y ， Li F ， and Guo Y . 2022 . NeuLighting： neural lighting for free viewpoint outdoor scene relighting with unconstrained photo collections // Proceedings of the 2022 SIGGRAPH Asia ： Vol. 38. Daegu， Republic of Korea ： Association for Computing Machinery： 1 - 9 ［ DOI： 10.1145/3550469.3555384 http://dx.doi.org/10.1145/3550469.3555384 ］
Li Y ， Hu Q ， Ouyang Z ， and Shen S . 2024 . Neural reflectance decomposition under dynamic point light . IEEE Transactions on Circuits and Systems for Video Technology ， 34 （ 4 ）： 2195 - 2208 ［ DOI： 10.1109/TCSVT.2023.3302389 http://dx.doi.org/10.1109/TCSVT.2023.3302389 ］
Li Z ， Xu Z ， Ramamoorthi R ， Sunkavalli K ， and Chandraker M . 2018 . Learning to reconstruct shape and spatially-varying reflectance from a single image . ACM Transactions on Graphics ， 37 （ 6 ）： 269 ： 1 - 269 ： 11 ［ DOI： 10.1145/3272127.3275055 http://dx.doi.org/10.1145/3272127.3275055 ］
Liang R ， Chen H ， Li C ， Chen F ， Panneer S ， and Vijaykumar N . 2023 . ENVIDR： implicit differentiable renderer with neural environment lighting // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 79 - 89 ［ DOI： 10.1109/ICCV51070.2023.00014 http://dx.doi.org/10.1109/ICCV51070.2023.00014 ］
Liao Z ， Karsch K ， and Forsyth D . 2015 . An approximate shading model for object relighting // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston， MA， USA ： IEEE： 5307 - 5314 ［ DOI： 10.1109/CVPR.2015.7299168 http://dx.doi.org/10.1109/CVPR.2015.7299168 ］
Liu I ， Chen L ， Fu Z ， Wu L ， Jin H ， Li Z ， Wong C M R ， Xu Y ， Ramamoorthi R ， Xu Z ， and Su H . 2023 . OpenIllumination： a multi-illumination dataset for inverse rendering evaluation on real objects // Proceedings of the 2023 Annual Conference on Neural Information Processing Systems （NeurIPS 2023 ）： Vol . 36 . OrleansNew， LA， USA： Curran Associates， Inc . ： 36951 - 36962 ［ DOI： 10.5555/3666122.3667729 http://dx.doi.org/10.5555/3666122.3667729 ］
Liu S and Do M N . 2014 . Relighting from multiple color and depth images using matrix factorization// 2014 IEEE International Conference on Image Processing （ICIP） . 4627 - 4631 ［ DOI： 10.1109/ICIP.2014.7025938 http://dx.doi.org/10.1109/ICIP.2014.7025938 ］
Liu W ， Wang C ， and Ding C . 2022 . Physics-based appearance and illumination estimation from a single face image // Proceedings of the 2022 IEEE international conference on multimedia and expo （ICME 2022） . Taipei， Taiwan ： IEEE： 1 - 6 ［ DOI： 10.1109/ICME52920.2022.9859833 http://dx.doi.org/10.1109/ICME52920.2022.9859833 ］
Liu Y ， Neophytou A ， Sengupta S ， and Sommerlade E . 2021 . Relighting images in the wild with a self-supervised siamese auto-encoder // Proceedings of the 2021 IEEE winter conference on applications of computer vision （WACV 2021） . Waikoloa， HI， USA ： IEEE： 32 - 40 ［ DOI： 10.1109/WACV48630.2021.00008 http://dx.doi.org/10.1109/WACV48630.2021.00008 ］
Liu Y ， Wen S ， and Lu F . 2021 . 3D photography with one-shot portrait relighting // Proceedings of the 2021 IEEE international symposium on mixed and augmented reality adjunct . Bari， Italy ： IEEE： 145 - 146 ［ DOI： 10.1109/ISMAR-Adjunct54149.2021.00038 http://dx.doi.org/10.1109/ISMAR-Adjunct54149.2021.00038 ］
Liu Z ， Luo P ， Wang X ， and Tang X . 2015 . Deep learning face attributes in the wild // Proceedings of the 2015 IEEE/CVF international conference on computer vision （ICCV 2015） . Santiago， Chile ： IEEE： 3730 - 3738 ［ DOI： 10.1109/ICCV.2015.425 http://dx.doi.org/10.1109/ICCV.2015.425 ］
Lombardi S ， Simon T ， Schwartz G ， Zollhoefer M ， Sheikh Y ， and Saragih J . 2021 . Mixture of volumetric primitives for efficient neural rendering . ACM Transactions on Graphics ， 40 （ 4 ） ［DOI： 10.1145/3450626.3459863］
Loper M ， Mahmood N ， Romero J ， Pons-Moll G ， and Black M J . 2015 . SMPL： a skinned multi-person linear model . ACM Transactions on Graphics ， 34 （ 6 ）： 1 - 16 ［ DOI： 10.1145/2816795.281801 http://dx.doi.org/10.1145/2816795.281801 ］
Ma W C ， Hawkins T ， Peers P ， Chabert C F ， Weiss M ， and Debevec P . 2007a . Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination // Proceedings of the 18th Eurographics conference on Rendering Techniques . Goslar， DEU ： Eurographics Association： 183 - 194 ［ DOI： 10.5555/2383847.2383873 http://dx.doi.org/10.5555/2383847.2383873 ］
Ma W C ， Hawkins T ， Peers P ， Chabert C F ， Weiss M ， and Debevec P . 2007b . Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination // Proceedings of the 18th eurographics conference on rendering techniques . Goslar， DEU ： Eurographics Association： 183 - 194
Mei Y ， Zhang H ， Zhang X ， Zhang J ， Shu Z ， Wang Y ， Wei Z ， Yan S ， Jung H ， and Patel V M . 2023 . LightPainter： interactive portrait relighting with freehand scribble // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023） . Vancouver， BC， Canada ： IEEE： 195 - 205 ［ DOI： 10.1109/CVPR52729.2023.00027 http://dx.doi.org/10.1109/CVPR52729.2023.00027 ］
Meka A ， Häne C ， Pandey R ， Zollhöfer M ， Fanello S ， Fyffe G ， Kowdle A ， Yu X ， Busch J ， Dourgarian J ， Denny P ， Bouaziz S ， Lincoln P ， Whalen M ， Harvey G ， Taylor J ， Izadi S ， Tagliasacchi A ， et al . 2019 . Deep reflectance fields： high-quality facial reflectance field inference from color gradient illumination . ACM Transactions on Graphics ， 38 （ 4 ） ［DOI： 10.1145/3306346.3323027］
Mildenhall B ， Srinivasan P P ， Tancik M ， Barron J T ， Ramamoorthi R ， and Ng R . 2021 . NeRF： representing scenes as neural radiance fields for view synthesis . Communications of the ACM ， 65 （ 1 ）： 99 - 106 ［ DOI： 10.1145/3503250 http://dx.doi.org/10.1145/3503250 ］
Murmann L ， Gharbi M ， Aittala M ， and Durand F . 2019 . A dataset of multi-illumination images in the wild // Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . Seoul， Korea （South） ： IEEE： 4079 - 4088 ［ DOI： 10.1109/ICCV.2019.00418 http://dx.doi.org/10.1109/ICCV.2019.00418 ］
Nestmeyer T ， Lalonde J F ， Matthews I ， and Lehrmann A . 2020 . Learning physics-guided face relighting under directional light // Proceedings of the 2020 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2020） . Seattle， WA， USA ： IEEE： 5123 - 5132 ［ DOI： 10.1109/CVPR42600.2020.00517 http://dx.doi.org/10.1109/CVPR42600.2020.00517 ］
Pandey R ， Escolano S O ， Legendre C ， Häne C ， Bouaziz S ， Rhemann C ， Debevec P ， and Fanello S . 2021 . Total relighting： learning to relight portraits for background replacement . ACM Transactions on Graphics ， 40 （ 4 ） ［DOI： 10.1145/3450626.3459872］
Pang W M ， Wong T T ， and Heng P A . 2004 . Estimating light vectors in real time . IEEE Computer Graphics and Applications ， 24 （ 3 ）： 36 - 43 ［ DOI： 10.1109/MCG.2004.1297009 http://dx.doi.org/10.1109/MCG.2004.1297009 ］
Paraperas Papantoniou F ， Lattas A ， Moschoglou S ， and Zafeiriou S . 2023 . Relightify： relightable 3D faces from a single image via diffusion models // Proceedings of the 2023 IEEE/CVF international conference on computer vision （ICCV 2023） . Paris， France ： IEEE ［ DOI： 10.1109/ICCV51070.2023.00809 http://dx.doi.org/10.1109/ICCV51070.2023.00809 ］
Patakin N ， Senushkin D ， Vorontsova A ， and Konushin A . 2023 . Neural global illumination for inverse rendering// 2023 IEEE International Conference on Image Processing （ICIP） . 1580 - 1584 ［ DOI： 10.1109/ICIP49359.2023.10222145 http://dx.doi.org/10.1109/ICIP49359.2023.10222145 ］
Peers P ， Tamura N ， Matusik W ， and Debevec P . 2007 . Post-production facial performance relighting using reflectance transfer . ACM Transactions on Graphics ， 26 （ 3 ）： 52 -es ［ DOI： 10.1145/1276377.1276442 http://dx.doi.org/10.1145/1276377.1276442 ］
Peng S ， Chen X ， Zhou C ， Wang Z ， and Zhou X . 2024 . Modeling Emitters in Indoor Scenes for Inverse Rendering . Journal of Computer-Aided Design & Computer Graphics ： 1 - 9
彭思达 ， 陈希 ， 周晨旭 ， 王哲 ， 周晓巍 . 2024 . 面向逆渲染的室内场景光源建模 . 计算机辅助设计与图形学学报 ： 1 - 9 ［ DOI： 10.3724/SP.J.1089.2024-00342 http://dx.doi.org/10.3724/SP.J.1089.2024-00342 ］
Phong B T . 1998 . Illumination for computer generated pictures // Seminal Graphics： Pioneering Efforts That Shaped the Field ， Volume 1 . New York， NY， USA ： Association for Computing Machinery： 95 - 101
Ponglertnapakorn P ， Tritrong N ， and Suwajanakorn S . 2023 . DiFaReli： diffusion face relighting // Proceedings of the 2023 IEEE/CVF international conference on computer vision （ICCV 2023） . Paris， France ： IEEE： 22589 - 22600 ［ DOI： 10.1109/ICCV51070.2023.02070 http://dx.doi.org/10.1109/ICCV51070.2023.02070 ］
Pouyanfar S ， Sengupta S ， Mohammadi M ， Abraham E ， Bloomquist B ， Dauterman L ， Parikh A ， Lim S ， and Sommerlade E . 2023 . FRR-net： a real-time blind face restoration and relighting network // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition workshops （CVPRW 2023） . Vancouver， BC， Canada ： IEEE： 1240 - 1250 ［ DOI： 10.1109/CVPRW59228.2023.00131 http://dx.doi.org/10.1109/CVPRW59228.2023.00131 ］
Qiu D ， Zeng J ， Ke Z ， Sun W ， and Yang C . 2020 . Towards geometry guided neural relighting with flash photography // Proceedings of the 2020 International Conference on 3D Vision （3DV） . Seattle， WA， USA ： IEEE： 1137 - 1146 ［ DOI： 10.1109/3DV50981.2020.00124 http://dx.doi.org/10.1109/3DV50981.2020.00124 ］
Ramamoorthi R and Hanrahan P . 2001 . An efficient representation for irradiance environment maps // Proceedings of the 28th annual conference on computer graphics and interactive techniques （SIGGRAPH 2001） . New York， NY， USA ： Association for Computing Machinery： 497 - 500 ［ DOI： 10.1145/383259.383317 http://dx.doi.org/10.1145/383259.383317 ］
Riklin-Raviv T and Shashua A . 1999 . The quotient image： class based recognition and synthesis under varying illumination conditions // Proceedings of the 1999 IEEE computer society conference on computer vision and pattern recognition ： Vol. 2. Fort Collins， CO， USA ： IEEE： 566 - 571 Vol. 2 ［ DOI： 10.1109/CVPR.1999.784968 http://dx.doi.org/10.1109/CVPR.1999.784968 ］
Rombach R ， Blattmann A ， Lorenz D ， Esser P ， and Ommer B . 2022 . High-resolution image synthesis with latent diffusion models // Proceedings of the 2022 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2022） . New Orleans， LA， USA ： IEEE： 10674 - 10685 ［ DOI： 10.1109/CVPR52688.2022.01042 http://dx.doi.org/10.1109/CVPR52688.2022.01042 ］
Sarkar K ， Bühler M C ， Li G ， Wang D ， Vicini D ， Riviere J ， Zhang Y ， Orts-Escolano S ， Gotardo P ， Beeler T ， and Meka A . 2023 . LitNeRF： intrinsic radiance decomposition for high-quality view synthesis and relighting of faces // SIGGRAPH Asia 2023 Conference Papers . New York， NY， USA ： Association for Computing Machinery： 1 - 11 ［ DOI： 10.1145/3610548.3618210 http://dx.doi.org/10.1145/3610548.3618210 ］
Schreiber F D ， Hilsmann A ， and Eisert P . 2022 . Model-based deep portrait relighting // Proceedings of the European Conference on Visual Media Production . London， United Kingdom ： Association for Computing Machinery ［ DOI： 10.1145/3565516.3565526 http://dx.doi.org/10.1145/3565516.3565526 ］
Sengupta S ， Curless B ， Kemelmacher-Shlizerman I ， and Seitz S . 2021 . A light stage on every desk // Proceedings of the 2021 IEEE/CVF international conference on computer vision （ICCV 2021） . Montreal， QC， Canada ： IEEE： 2400 - 2409 ［ DOI： 10.1109/ICCV48922.2021.00242 http://dx.doi.org/10.1109/ICCV48922.2021.00242 ］
Sengupta S ， Lichy D ， Kanazawa A ， Castillo C D ， and Jacobs D W . 2022 . SfSNet： learning shape， reflectance and illuminance of faces in the wild . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 44 （ 6 ）： 3272 - 3284 ［ DOI： 10.1109/TPAMI.2020.3046915 http://dx.doi.org/10.1109/TPAMI.2020.3046915 ］
Shahlaei D and Blanz V . 2020 . Hierarchical bayesian inverse lighting of portraits with a virtual light stage . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 42 （ 4 ）： 865 - 879 ［ DOI： 10.1109/TPAMI.2019.2891638 http://dx.doi.org/10.1109/TPAMI.2019.2891638 ］
Somanath G and Kurz D . 2021 . HDR environment map estimation for real-time augmented reality // Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville， TN， USA ： IEEE： 11293 - 11301 ［ DOI： 10.1109/CVPR46437.2021.01114 http://dx.doi.org/10.1109/CVPR46437.2021.01114 ］
Song G ， Cham T J ， Cai J ， and Zheng J . 2022 . Real-time shadow-aware portrait relighting in virtual backgrounds for realistic telepresence // Proceedings of the 2022 IEEE international symposium on mixed and augmented reality （ISMAR 2022） . Singapore， Singapore ： IEEE： 729 - 738 ［ DOI： 10.1109/ISMAR55827.2022.00091 http://dx.doi.org/10.1109/ISMAR55827.2022.00091 ］
Sun T ， Xu Z ， Zhang X ， Fanello S ， Rhemann C ， Debevec P ， Tsai Y T ， Barron J T ， and Ramamoorthi R . 2020 . Light stage super-resolution： continuous high-frequency relighting . ACM Transactions on Graphics ， 39 （ 6 ） ［DOI： 10.1145/3414685.3417821］
Sun X ， Su F ， and Cai A . 2007 . Illumination Direction Estimation in Face Recognition Based on Bifurcate Tree and SVM . Journal of Image and Graphics ， 12 （ 10 ）： 1885 - 1888
孙雪梅 ， 苏菲 ， 蔡安妮 . 2007 . 基于分叉树和SVM的人脸图像光照方向估计 . 中国图象图形学报 ， 12 （ 10 ）： 1885 - 1888 ［ DOI： 10.11834/jig.20071046 http://dx.doi.org/10.11834/jig.20071046 ］
Tan F ， Fanello S ， Meka A ， Orts-Escolano S ， Tang D ， Pandey R ， Taylor J ， Tan P ， and Zhang Y . 2022 . VoLux-GAN： a generative model for 3D face synthesis with HDRI relighting // Proceedings of the Special interest group on computer graphics and interactive techniques . Vancouver， BC， Canada ： Association for Computing Machinery ［ DOI： 10.1145/3528233.3530751 http://dx.doi.org/10.1145/3528233.3530751 ］
Tewari A ， Elgharib M ， R M B ， Bernard F ， Seidel H P ， Pérez P ， Zollhöfer M ， and Theobalt C . 2020 . PIE： portrait image embedding for semantic control . ACM Transactions on Graphics ， 39 （ 6 ） ［DOI： 10.1145/3414685.3417803］
Tewari A ， Fried O ， Thies J ， Sitzmann V ， Lombardi S ， Sunkavalli K ， Martin‐Brualla R ， Simon T ， Saragih J ， Nießner M ， Pandey R ， Fanello S ， Wetzstein G ， Zhu J ‐Y. ， Theobalt C ， Agrawala M ， Shechtman E ， Goldman D B ， et al . 2020 . State of the art on neural rendering . Computer Graphics Forum ， 39 （ 2 ）： 701 - 727 ［ DOI： 10.1111/cgf.14022 http://dx.doi.org/10.1111/cgf.14022 ］
Tewari A ， Fried O ， Thies J ， Sitzmann V ， Lombardi S ， Xu Z ， Simon T ， Nießner M ， Tretschk E ， Liu L ， Mildenhall B ， Srinivasan P ， Pandey R ， Orts-Escolano S ， Fanello S ， Guo M ， Wetzstein G ， Zhu J Y ， et al . 2021 . Advances in neural rendering // ACM SIGGRAPH 2021 Courses . New York， NY， USA ： Association for Computing Machinery： 1 - 320 ［ DOI： 10.1145/3450508.3464573 http://dx.doi.org/10.1145/3450508.3464573 ］
Tiwari A and Raman S . 2022 . LERPS ： lighting estimation and relighting for photometric stereo// 2022 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . 2060 - 2064 ［ DOI： 10.1109/ICASSP43922.2022.9746974 http://dx.doi.org/10.1109/ICASSP43922.2022.9746974 ］
Toschi M ， De Matteo R ， Spezialetti R ， De Gregorio D ， Di Stefano L ， and Salti S . 2023 . ReLight my NeRF： a dataset for novel view synthesis and relighting of real world objects // Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， BC， Canada ： IEEE： 20762 - 20772 ［ DOI： 10.1109/CVPR52729.2023.01989 http://dx.doi.org/10.1109/CVPR52729.2023.01989 ］
Tu C T ， Lin H J ， and Chang C Y . 2022 . Lighting-and personal characteristic-aware markov random field model for facial image relighting system . IEEE Access ， 10 ： 20432 - 20444 ［ DOI： 10.1109/ACCESS.2022.3150341 http://dx.doi.org/10.1109/ACCESS.2022.3150341 ］
Tunwattanapong B ， Ghosh A ， and Debevec P . 2010 . Combining spherical harmonics and point-source illumination for efficient image-based relighting // ACM SIGGRAPH 2010 Posters . New York， NY， USA ： Association for Computing Machinery： 1 ［DOI： 10.1145/1836845.1836973］
Tunwattanapong B ， Ghosh A ， and Debevec P . 2011 . Practical image-based relighting and editing with spherical-harmonics and local lights // Proceedings of the 2011 conference for visual media production . London， UK ： IEEE： 138 - 147 ［ DOI： 10.1109/CVMP.2011.22 http://dx.doi.org/10.1109/CVMP.2011.22 ］
Wang D ， Zhang T ， and Süsstrunk S . 2023 . NEMTO： neural environment matting for novel view and relighting synthesis of transparent objects // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 317 - 327 ［ DOI： 10.1109/ICCV51070.2023.00036 http://dx.doi.org/10.1109/ICCV51070.2023.00036 ］
Wang G ， Yang Y ， Loy C C ， and Liu Z . 2022 . StyleLight： HDR panorama generation for lighting estimation and editing // Proceedings of the 2022 European Conference on Computer Vision （ECCV 2022） . Tel Aviv， Israel ： Springer： 477 - 492 ［ DOI： 10.1007/978-3-031-19784-0_28 http://dx.doi.org/10.1007/978-3-031-19784-0_28 ］
Wang J ， Sun K ， Cheng T ， Jiang B ， Deng C ， Zhao Y ， Liu D ， Mu Y ， Tan M ， Wang X ， Liu W ， and Xiao B . 2021 . Deep high-resolution representation learning for visual recognition . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 43 （ 10 ）： 3349 - 3364 ［ DOI： 10.1109/TPAMI.2020.2983686 http://dx.doi.org/10.1109/TPAMI.2020.2983686 ］
Wang Y ， He K ， Zhou T ， Yao K ， Li N ， Xu L ， and Yu J . 2023 . Free-view face relighting using a hybrid parametric neural model on a SMALL-OLAT dataset . International Journal of Computer Vision ， 131 （ 4 ）： 1002 - 1021 ［ DOI： 10.1007/s11263-022-01730-5 http://dx.doi.org/10.1007/s11263-022-01730-5 ］
Wang Y ， Holynski A ， Zhang X ， and Zhang X . 2023 . SunStage： portrait reconstruction and relighting using the sun as a light stage // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023） . Vancouver， BC， Canada ： IEEE： 20792 - 20802 ［ DOI： 10.1109/CVPR52729.2023.01992 http://dx.doi.org/10.1109/CVPR52729.2023.01992 ］
Wang Z ， Yu X ， Lu M ， Wang Q ， Qian C ， and Xu F . 2020 . Single image portrait relighting via explicit multiple reflectance channel modeling . ACM Transactions on Graphics ， 39 （ 6 ） ［DOI： 10.1145/3414685.3417824］
Wen Gao ， Bo Cao ， Shiguang Shan ， Xilin Chen ， Delong Zhou ， Xiaohua Zhang ， and Debin Zhao . 2008 . The CAS-PEAL large-scale chinese face database and baseline evaluations . IEEE Transactions on Systems， Man， and Cybernetics Part A ： Systems and Humans ， 38 （ 1 ）： 149 - 161 ［ DOI： 10.1109/TSMCA.2007.909557 http://dx.doi.org/10.1109/TSMCA.2007.909557 ］
Wenger A ， Gardner A ， Tchou C ， Unger J ， Hawkins T ， and Debevec P . 2005 . Performance relighting and reflectance transformation with time-multiplexed illumination . ACM Transactions on Graphics ， 24 （ 3 ）： 756 - 764 ［ DOI： 10.1145/1073204.1073258 http://dx.doi.org/10.1145/1073204.1073258 ］
Woodham R J . 1980 . Photometric method for determining surface orientation from multiple images . Optical Engineering ， 19 （ 1 ）： 139 - 144 ［ DOI： 10.1117/12.7972479 http://dx.doi.org/10.1117/12.7972479 ］
Xing J and Xu K . 2024 . Physically based Differentiable Rendering： A Survey . Journal of Image and Graphics ， 29 （ 8 ）： 2113 - 2136
邢健开 ， 徐昆 . 2024 . 基于物理的可微渲染综述 . 中国图像图形学报 ， 29 （ 8 ）： 2113 - 2136 ［ DOI： 10.11834/jig.230715 http://dx.doi.org/10.11834/jig.230715 ］
Xu J P ， Zuo C ， Zhang F L ， and Wang M . 2022 . Rendering-aware HDR environment map prediction from a single image . Proceedings of the AAAI Conference on Artificial Intelligence ， 36 （ 3 ）： 2857 - 2865 ［ DOI： 10.1609/aaai.v36i3.20190 http://dx.doi.org/10.1609/aaai.v36i3.20190 ］
Xu Y ， Zoss G ， Chandran P ， Gross M ， Bradley D ， and Gotardo P . 2023 . ReNeRF： relightable neural radiance fields with nearfield lighting // Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision （ICCV） . Paris， France ： IEEE： 22524 - 22534 ［ DOI： 10.1109/ICCV51070.2023.02064 http://dx.doi.org/10.1109/ICCV51070.2023.02064 ］
Yan Y ， Cheng Y ， Chen Z ， Peng Y ， Wu S ， Zhang W ， Li J ， Li Y ， Gao J ， Zhang W ， Zhai G ， and Yang X . 2023 . A survey on generative 3 D digital humans based on neural networks ： representation， rendering， and learning. SCIENTIA SINICA Informationis ， 53 （ 10 ）： 1858 - 1891
晏轶超 ， 程宇豪 ， 陈琢 ， 彭乙骢 ， 吴思婧 ， 张维天 ， 李俊杰 ， 李逸轩 ， 高景南 ， 张维夏 ， 翟广涛 ， 杨小康 . 2023 . 基于神经网络的生成式三维数字人研究综述：表示、渲染与学习 . 中国科学 ： 信息科学） ， 53 （ 10 ）： 1858 - 1891 ［ DOI： 10.1360/SSI-2022-0319 http://dx.doi.org/10.1360/SSI-2022-0319 ］
Yang G and Liu Y . 2009 . 3D object relighting based on multi-view stereo and image based lighting techniques // 2009 IEEE International Conference on Multimedia and Expo . New York， NY， USA ： IEEE： 934 - 937 ［ DOI： 10.1109/ICME.2009.5202649 http://dx.doi.org/10.1109/ICME.2009.5202649 ］
Yang Y and Liu Q . 2015 . A database of reflected irradiance field with depth for image based relighting // Proceedings of the 2015 IEEE international conference on image processing （ICIP 2015） . Quebec City， QC， Canada ： IEEE： 2582 - 2585 ［ DOI： 10.1109/ICIP.2015.7351269 http://dx.doi.org/10.1109/ICIP.2015.7351269 ］
Yeh Y Y ， Nagano K ， Khamis S ， Kautz J ， Liu M Y ， and Wang T C . 2022 . Learning to relight portrait images via a virtual light stage and synthetic-to-real adaptation . ACM Transactions on Graphics ， 41 （ 6 ） ［DOI： 10.1145/3550454.3555442］
Yu Y ， Meka A ， Elgharib M ， Seidel H P ， Theobalt C ， and Smith W A P . 2020 . Self-supervised outdoor scene relighting // Proceedings of the 2020 European Conference on Computer Vision （ECCV 2020） . Berlin， Heidelberg ： Springer： 84 - 101 ［ DOI： 10.1007/978-3-030-58542-6_6 http://dx.doi.org/10.1007/978-3-030-58542-6_6 ］
Zhan F ， Yu Y ， Zhang C ， Wu R ， Hu W ， Lu S ， Ma F ， Xie X ， and Shao L . 2022 . GMLight： lighting estimation via geometric distribution approximation . IEEE Transactions on Image Processing ， 31 ： 2268 - 2278 ［ DOI： 10.1109/TIP.2022.3151997 http://dx.doi.org/10.1109/TIP.2022.3151997 ］
Zhan F ， Zhang C ， Hu W ， Lu S ， Ma F ， Xie X ， and Shao L . 2021 . Sparse needlets for lighting estimation with spherical transport loss // Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal， QC， Canada ： IEEE： 12810 - 12819 ［ DOI： 10.1109/ICCV48922.2021.01259 http://dx.doi.org/10.1109/ICCV48922.2021.01259 ］
Zhan F ， Zhang C ， Yu Y ， Chang Y ， Lu S ， Ma F ， and Xie X . 2021 . EMLight： lighting estimation via spherical distribution approximation . Proceedings of the AAAI Conference on Artificial Intelligence ， 35 （ 4 ）： 3287 - 3295 ［ DOI： 10.1609/aaai.v35i4.16440 http://dx.doi.org/10.1609/aaai.v35i4.16440 ］
Zhang H ， Dai T ， Xu Y ， Tai Y W ， and Tang C K . 2023 . FaceDNeRF ： semantics-driven face reconstruction， prompt editing and relighting with diffusion models// Proceedings of the 2023 Advances in Neural Information Processing Systems：Vol . 36 . OrleansNew， LA， USA ： Curran Associates， Inc.： 55647 - 55667 ［ DOI： 10.48550/arXiv.2306.00783 http://dx.doi.org/10.48550/arXiv.2306.00783 ］
Zhang J ， Liu X ， Ye X ， Zhao F ， Zhang Y ， Wu M ， Zhang Y ， Xu L ， and Yu J . 2021 . Editable free-viewpoint video using a layered neural representation . ACM Transactions on Graphics ， 40 （ 4 ） ［DOI： 10.1145/3450626.3459756］
Zhang K ， Luan F ， Wang Q ， Bala K ， and Snavely N . 2021 . PhySG： inverse rendering with spherical gaussians for physics-based material editing and relighting // Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville， TN， USA ： IEEE： 5449 - 5458 ［ DOI： 10.1109/CVPR46437.2021.00541 http://dx.doi.org/10.1109/CVPR46437.2021.00541 ］
Zhang L ， Rao A ， and Agrawala M . 2023 . Adding conditional control to text-to-image diffusion models // Proceedings of the 2023 IEEE/CVF international conference on computer vision （ICCV 2023） . Paris， France ： IEEE： 3813 - 3824 ［ DOI： 10.1109/ICCV51070.2023.00355 http://dx.doi.org/10.1109/ICCV51070.2023.00355 ］
Zhang L ， Rao A ， and Agrawala M . 2024 . IC-light［CP/OL］ . ［2024-12-28］ . https：//github.com/lllyasviel/IC-Light https://github.com/lllyasviel/IC-Light
Zhang L ， Zhang Q ， Wu M ， Yu J ， and Xu L . 2021 . Neural video portrait relighting in real-time via consistency modeling // Proceedings of the 2021 IEEE/CVF international conference on computer vision （ICCV 2021） . Montreal， QC， Canada ： IEEE： 782 - 792 ［ DOI： 10.1109/ICCV48922.2021.00084 http://dx.doi.org/10.1109/ICCV48922.2021.00084 ］
Zhang P and Xu W . 2023 . Hash encoding empowered IRON for inverse rendering： Geometry and material reconstruction . Journal of Zhejiang University （Science Edition） ， 50 （ 6 ）： 754 ⁃ 760，769
张沛全 ， 许威威 . 2023 . 哈希编码优化的IRON逆渲染模型：重建几何与材质 . 浙江大学学报（理学版） ， 50 （ 6 ）： 754 - 760 ， 769 ［ DOI： 10.3785/j.issn.1008-9497.2023.06.010 http://dx.doi.org/10.3785/j.issn.1008-9497.2023.06.010 ］
Zhang X ， Fanello S ， Tsai Y T ， Sun T ， Xue T ， Pandey R ， Orts-Escolano S ， Davidson P ， Rhemann C ， Debevec P ， Barron J T ， Ramamoorthi R ， and Freeman W T . 2021 . Neural light transport for relighting and view synthesis . ACM Transactions on Graphics ， 40 （ 1 ） ［DOI： 10.1145/3446328］
Zhen Wen ， Zicheng Liu ， and Huang T S . 2003 . Face relighting with radiance environment maps // Proceedings of the 2003 IEEE computer society conference on computer vision and pattern recognition：Vol . 2 . Madison， WI， USA ： IEEE： II-158 ［ DOI： 10.1109/CVPR.2003.1211466 http://dx.doi.org/10.1109/CVPR.2003.1211466 ］
Zhou H ， Hadap S ， Sunkavalli K ， and Jacobs D . 2019 . Deep single-image portrait relighting // Proceedings of the 2019 IEEE/CVF international conference on computer vision （ICCV 2019） . Seoul， Korea （South） ： IEEE： 7193 - 7201 ［ DOI： 10.1109/ICCV.2019.00729 http://dx.doi.org/10.1109/ICCV.2019.00729 ］
Zhou T ， He K ， Wu D ， Xu T ， Zhang Q ， Shao K ， Chen W ， Xu L ， and Yu J . 2023 . Relightable neural human assets from multi-view gradient illuminations // Proceedings of the 2023 IEEE/CVF conference on computer vision and pattern recognition （CVPR 2023） . Vancouver， BC， Canada ： IEEE： 4315 - 4327 ［ DOI： 10.1109/CVPR52729.2023.00420 http://dx.doi.org/10.1109/CVPR52729.2023.00420 ］
相关作者
相关机构
京公网安备11010802024621