О сочетании трассировки лучей и растеризации при визуализации глобального освещения посредством генеративно-состязательной нейронной сети
Ключевые слова:
генеративно-состязательная нейронная сеть, компьютерная графика, глобальное освещение, трехмерная визуализация
Аннотация
Исследованы методы использования изображения, полученного методом трассировки лучей в пониженном разрешении (25% от целевого разрешения) для создания изображения трехмерной сцены с глобальным освещением в высоком разрешении при помощи генеративно-состязательной сети за меньшее время, чем при визуализации методом трассировки лучей в высоком разрешении. Предложены три варианта модификации одного метода визуализации трехмерных сцен с использованием генеративно-состязательной сети для генерации реалистичного освещения в экранном пространстве, различающиеся применением модели с приведением входных данных к нужному разрешению путем бикубической интерполяции, модели, отличающейся от данной добавлением к сверточным слоям дискриминатора гауссовского шума и модели, использующей передачу изображения, полученного методом трассировки лучей в пониженном разрешении, не на входной слой генератора, а непосредственно на скрытый сверточный слой, чем исключается применение интерполяции. Эксперименты с использованием программных реализаций нейронных сетей позволили определить визуально и подтвердить оценкой как по индексу структурного сходства SSIM, так и по пиковому отношению сигнала к шуму PSNR, что добавление полной визуализации к входным данным повышает качество изображений по обоим показателям, добавление шума к слоям дискриминатора улучшает качество работы сети также по обоим показателям, однако не существенно. Передача полной визуализации на скрытые сверточные слои генератора вместо входного приводит к снижению качества по обоим показателям, но позволяет избежать нежелательных эффектов на краях объектов. Время обработки изображений нейросетью при использовании указанных трех моделей меняется незначительно (в пределах 2%).
Литература
1. Pharr M., Jakob W., Humphreys G. Physically Based Rendering: from Theory to Implementation. Cambridge: MIT Press, 2023
2. Eversberg L., Lambrecht J. Generating Images with Physics-based Rendering for an Industrial Object Detection Task: Realism Versus Domain Randomization // Sensors. 2021. V. 21(23). P. 7901.
3. Thomas M.M., Forbes A.G. Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network [Электрон. ресурс] https://arxiv.org/pdf/1710.09834 (дата обращения 30.09.24).
4. Harris-Dewey J., Klein R. Generative Adversarial Networks for Non-raytraced Global Illumination on Older GPU Hardware [Электрон. ресурс] https://arxiv.org/abs/2110.12039 (дата обращения 30.09.24).
5. Xiao L. e. a. Neural Supersampling for Real-time Rendering // ACM Trans. Graphics. 2020. V. 39. Pp. 1—12.
6. Yan Xinkai e. a. Neural Rendering and Its Hardware Acceleration: a Review [Электрон. ресурс] https://arxiv.org/pdf/2402.00028 (дата обращения 30.09.24).
7. Salmi A. e. a. Generative Adversarial Shaders for Real‐time Realism Enhancement [Электрон. ресурс] https://arxiv.org/abs/2306.04629 (дата обращения 30.09.24).
8. Fayçal A. e. a. Approximating Global Illumination with Ambient Occlusion and Environment Light Via Generative Adversarial Networks // Pattern Recognit. Lett. 2022. V. 166. Pp. 209—217.
9. Fayçal A., Babahenini M.Ch. Forest fog Rendering Using Generative Adversarial Networks // The Visual Computer. 2022. V. 39. Pp. 943—952.
10. Choi Myungjin e. a. Deep Representation of a Normal Map for Screen-space Fluid Rendering // Appl. Sci. 2021. V. 11(19). P. 9065.
11. Hu Jinkai e. a. Efficient Real-time dynamic Diffuse Global Illumination Using Signed Distance Fields // The Visual Computer. 2021. V. 37. Pp. 2539—2551.
12. Xin H., Zheng S., Xu K., Yan L. Lightweight Bilateral Convolutional Neural Networks for Interactive Single-bounce Diffuse Indirect Illumination // IEEE Trans. Visualization and Computer Graphics. 2022. V. 28(4). Pp. 1824—1834.
13. Wang Z., Bovik A.C., Sheikh H.R, Simoncelli E.P. Image Quality Assessment: from Error Visibility to Structural Similarity // IEEE Trans. Image Proc. 2024. V. 13(4). Pp. 600—612.
14. Langr J., Bok V. GANs in Action: Deep learning with Generative Adversarial Networks. N.-Y.: Manning Publ., 2019.
15. Goodfellow I.J. e. a. Generative Adversarial Networks [Электрон. ресурс] https://arxiv.org/abs/1406.2661 (дата обращения 30.09.24).
16. Rubinov K., Frolov A., Mamontov A. Educational Resources for Remote Comparative Study of Generative Adversarial Networks // Proc. VII Intern. Conf. Information Technologies in Eng. Education (Inforino). Moscow, 2024. Pp. 1—5.
17. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation [Электрон. ресурс] https://arxiv.org/abs/1505.04597 (дата обращения 30.09.24).
18. PyTorch Documentation — PyTorch 2.2 Documentation [Электрон. ресурс] https://pytorch.org/docs/stable/index.html (дата обращения 30.09.24).
19. Sønderby C.K. e. a. Amortised MAP Inference for Image Super-resolution [Электрон. ресурс] https://arxiv.org/abs/1610.04490 (дата обращения 30.09.24).
20. Home of the Blender project — Free and Open 3D Creation Software [Электрон. ресурс] https://www.blender.org/ (дата обращения 30.09.24).
21. Astuti I.A. e. a. Comparison of Time, Size and Quality of 3D Object Rendering Using Render Engine Eevee and Cycles in Blender // Proc. V Intern. Conf. Computer and Informatics Eng. Jakarta, 2022. Pp. 54—59.
22. Yoshimura A., Ikeda S., Harada T.. Geometry and Texture Streaming Architecture in Radeon™ ProRender [Электрон. ресурс] https://gpuopen.com/download/publications/GPUOpen2022_RadeonProRenderStreaming.pdf (дата обращения 30.09.24).
23. Profeta R. Introduction to Google Colaboratory for Research [Электрон. ресурс] https://rutube.ru/video/70f0af2f1b3efe297feb23e8f924669b/ (дата обращения 30.09.24).
24. Scikit-image: Image Processing in Python — Scikit-image [Электрон. ресурс] https://scikit-image.org/ (дата обращения 30.09.24).
---
Для цитирования: Рубинов К.А., Фролов А.Б. О сочетании трассировки лучей и растеризации при визуализации глобального освещения посредством генеративно-состязательной нейронной сети // Вестник МЭИ. 2025. № 3. С. 144—152. DOI: 10.24160/1993-6982-2025-3-144-152
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Pharr M., Jakob W., Humphreys G. Physically Based Rendering: from Theory to Implementation. Cambridge: MIT Press, 2023
2. Eversberg L., Lambrecht J. Generating Images with Physics-based Rendering for an Industrial Object Detection Task: Realism Versus Domain Randomization. Sensors. 2021;21(23):7901.
3. Thomas M.M., Forbes A.G. Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network [Elektron. Resurs] https://arxiv.org/pdf/1710.09834 (Data Obrashcheniya 30.09.24).
4. Harris-Dewey J., Klein R. Generative Adversarial Networks for Non-raytraced Global Illumination on Older GPU Hardware [Elektron. Resurs] https://arxiv.org/abs/2110.12039 (Data Obrashcheniya 30.09.24).
5. Xiao L. e. a. Neural Supersampling for Real-time Rendering. ACM Trans. Graphics. 2020;39:1—12.
6. Yan Xinkai e. a. Neural Rendering and Its Hardware Acceleration: a Review [Elektron. Resurs] https://arxiv.org/pdf/2402.00028 (Data Obrashcheniya 30.09.24).
7. Salmi A. e. a. Generative Adversarial Shaders for Real‐time Realism Enhancement [Elektron. Resurs] https://arxiv.org/abs/2306.04629 (Data Obrashcheniya 30.09.24).
8. Fayçal A. e. a. Approximating Global Illumination with Ambient Occlusion and Environment Light Via Generative Adversarial Networks. Pattern Recognit. Lett. 2022;166:209—217.
9. Fayçal A., Babahenini M.Ch. Forest fog Rendering Using Generative Adversarial Networks. The Visual Computer. 2022;39:943—952.
10. Choi Myungjin e. a. Deep Representation of a Normal Map for Screen-space Fluid Rendering. Appl. Sci. 2021;11(19):9065.
11. Hu Jinkai e. a. Efficient Real-time dynamic Diffuse Global Illumination Using Signed Distance Fields. The Visual Computer. 2021;37:2539—2551.
12. Xin H., Zheng S., Xu K., Yan L. Lightweight Bilateral Convolutional Neural Networks for Interactive Single-bounce Diffuse Indirect Illumination. IEEE Trans. Visualization and Computer Graphics. 2022;28(4):1824—1834.
13. Wang Z., Bovik A.C., Sheikh H.R, Simoncelli E.P. Image Quality Assessment: from Error Visibility to Structural Similarity. IEEE Trans. Image Proc. 2024;13(4):600—612.
14. Langr J., Bok V. GANs in Action: Deep learning with Generative Adversarial Networks. N.-Y.: Manning Publ., 2019.
15. Goodfellow I.J. e. a. Generative Adversarial Networks [Elektron. Resurs] https://arxiv.org/abs/1406.2661 (Data Obrashcheniya 30.09.24).
16. Rubinov K., Frolov A., Mamontov A. Educational Resources for Remote Comparative Study of Generative Adversarial Networks. Proc. VII Intern. Conf. Information Technologies in Eng. Education (Inforino). Moscow, 2024:1—5.
17. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation [Elektron. Resurs] https://arxiv.org/abs/1505.04597 (Data Obrashcheniya 30.09.24).
18. PyTorch Documentation — PyTorch 2.2 Documentation [Elektron. Resurs] https://pytorch.org/docs/stable/index.html (Data Obrashcheniya 30.09.24).
19. Sønderby C.K. e. a. Amortised MAP Inference for Image Super-resolution [Elektron. Resurs] https://arxiv.org/abs/1610.04490 (Data Obrashcheniya 30.09.24).
20. Home of the Blender project — Free and Open 3D Creation Software [Elektron. Resurs] https://www.blender.org/ (Data Obrashcheniya 30.09.24).
21. Astuti I.A. e. a. Comparison of Time, Size and Quality of 3D Object Rendering Using Render Engine Eevee and Cycles in Blender. Proc. V Intern. Conf. Computer and Informatics Eng. Jakarta, 2022:54—59.
22. Yoshimura A., Ikeda S., Harada T.. Geometry and Texture Streaming Architecture in Radeon™ ProRender [Elektron. Resurs] https://gpuopen.com/download/publications/GPUOpen2022_RadeonProRenderStreaming.pdf (Data Obrashcheniya 30.09.24).
23. Profeta R. Introduction to Google Colaboratory for Research [Elektron. Resurs] https://rutube.ru/video/70f0af2f1b3efe297feb23e8f924669b/ (Data Obrashcheniya 30.09.24).
24. Scikit-image: Image Processing in Python — Scikit-image [Elektron. Resurs] https://scikit-image.org/ (Data Obrashcheniya 30.09.24)
---
For citation: Rubinov K.A., Frolov A.B. On Combining Ray Tracing and Rasterization in Rendering Global Illumination by Using a Generative Adversarial Neural Network. Bulletin of MPEI. 2025;3:144—152. (in Russian). DOI: 10.24160/1993-6982-2025-3-144-152
---
Conflict of interests: the authors declare no conflict of interest
2. Eversberg L., Lambrecht J. Generating Images with Physics-based Rendering for an Industrial Object Detection Task: Realism Versus Domain Randomization // Sensors. 2021. V. 21(23). P. 7901.
3. Thomas M.M., Forbes A.G. Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network [Электрон. ресурс] https://arxiv.org/pdf/1710.09834 (дата обращения 30.09.24).
4. Harris-Dewey J., Klein R. Generative Adversarial Networks for Non-raytraced Global Illumination on Older GPU Hardware [Электрон. ресурс] https://arxiv.org/abs/2110.12039 (дата обращения 30.09.24).
5. Xiao L. e. a. Neural Supersampling for Real-time Rendering // ACM Trans. Graphics. 2020. V. 39. Pp. 1—12.
6. Yan Xinkai e. a. Neural Rendering and Its Hardware Acceleration: a Review [Электрон. ресурс] https://arxiv.org/pdf/2402.00028 (дата обращения 30.09.24).
7. Salmi A. e. a. Generative Adversarial Shaders for Real‐time Realism Enhancement [Электрон. ресурс] https://arxiv.org/abs/2306.04629 (дата обращения 30.09.24).
8. Fayçal A. e. a. Approximating Global Illumination with Ambient Occlusion and Environment Light Via Generative Adversarial Networks // Pattern Recognit. Lett. 2022. V. 166. Pp. 209—217.
9. Fayçal A., Babahenini M.Ch. Forest fog Rendering Using Generative Adversarial Networks // The Visual Computer. 2022. V. 39. Pp. 943—952.
10. Choi Myungjin e. a. Deep Representation of a Normal Map for Screen-space Fluid Rendering // Appl. Sci. 2021. V. 11(19). P. 9065.
11. Hu Jinkai e. a. Efficient Real-time dynamic Diffuse Global Illumination Using Signed Distance Fields // The Visual Computer. 2021. V. 37. Pp. 2539—2551.
12. Xin H., Zheng S., Xu K., Yan L. Lightweight Bilateral Convolutional Neural Networks for Interactive Single-bounce Diffuse Indirect Illumination // IEEE Trans. Visualization and Computer Graphics. 2022. V. 28(4). Pp. 1824—1834.
13. Wang Z., Bovik A.C., Sheikh H.R, Simoncelli E.P. Image Quality Assessment: from Error Visibility to Structural Similarity // IEEE Trans. Image Proc. 2024. V. 13(4). Pp. 600—612.
14. Langr J., Bok V. GANs in Action: Deep learning with Generative Adversarial Networks. N.-Y.: Manning Publ., 2019.
15. Goodfellow I.J. e. a. Generative Adversarial Networks [Электрон. ресурс] https://arxiv.org/abs/1406.2661 (дата обращения 30.09.24).
16. Rubinov K., Frolov A., Mamontov A. Educational Resources for Remote Comparative Study of Generative Adversarial Networks // Proc. VII Intern. Conf. Information Technologies in Eng. Education (Inforino). Moscow, 2024. Pp. 1—5.
17. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation [Электрон. ресурс] https://arxiv.org/abs/1505.04597 (дата обращения 30.09.24).
18. PyTorch Documentation — PyTorch 2.2 Documentation [Электрон. ресурс] https://pytorch.org/docs/stable/index.html (дата обращения 30.09.24).
19. Sønderby C.K. e. a. Amortised MAP Inference for Image Super-resolution [Электрон. ресурс] https://arxiv.org/abs/1610.04490 (дата обращения 30.09.24).
20. Home of the Blender project — Free and Open 3D Creation Software [Электрон. ресурс] https://www.blender.org/ (дата обращения 30.09.24).
21. Astuti I.A. e. a. Comparison of Time, Size and Quality of 3D Object Rendering Using Render Engine Eevee and Cycles in Blender // Proc. V Intern. Conf. Computer and Informatics Eng. Jakarta, 2022. Pp. 54—59.
22. Yoshimura A., Ikeda S., Harada T.. Geometry and Texture Streaming Architecture in Radeon™ ProRender [Электрон. ресурс] https://gpuopen.com/download/publications/GPUOpen2022_RadeonProRenderStreaming.pdf (дата обращения 30.09.24).
23. Profeta R. Introduction to Google Colaboratory for Research [Электрон. ресурс] https://rutube.ru/video/70f0af2f1b3efe297feb23e8f924669b/ (дата обращения 30.09.24).
24. Scikit-image: Image Processing in Python — Scikit-image [Электрон. ресурс] https://scikit-image.org/ (дата обращения 30.09.24).
---
Для цитирования: Рубинов К.А., Фролов А.Б. О сочетании трассировки лучей и растеризации при визуализации глобального освещения посредством генеративно-состязательной нейронной сети // Вестник МЭИ. 2025. № 3. С. 144—152. DOI: 10.24160/1993-6982-2025-3-144-152
---
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов
#
1. Pharr M., Jakob W., Humphreys G. Physically Based Rendering: from Theory to Implementation. Cambridge: MIT Press, 2023
2. Eversberg L., Lambrecht J. Generating Images with Physics-based Rendering for an Industrial Object Detection Task: Realism Versus Domain Randomization. Sensors. 2021;21(23):7901.
3. Thomas M.M., Forbes A.G. Deep Illumination: Approximating Dynamic Global Illumination with Generative Adversarial Network [Elektron. Resurs] https://arxiv.org/pdf/1710.09834 (Data Obrashcheniya 30.09.24).
4. Harris-Dewey J., Klein R. Generative Adversarial Networks for Non-raytraced Global Illumination on Older GPU Hardware [Elektron. Resurs] https://arxiv.org/abs/2110.12039 (Data Obrashcheniya 30.09.24).
5. Xiao L. e. a. Neural Supersampling for Real-time Rendering. ACM Trans. Graphics. 2020;39:1—12.
6. Yan Xinkai e. a. Neural Rendering and Its Hardware Acceleration: a Review [Elektron. Resurs] https://arxiv.org/pdf/2402.00028 (Data Obrashcheniya 30.09.24).
7. Salmi A. e. a. Generative Adversarial Shaders for Real‐time Realism Enhancement [Elektron. Resurs] https://arxiv.org/abs/2306.04629 (Data Obrashcheniya 30.09.24).
8. Fayçal A. e. a. Approximating Global Illumination with Ambient Occlusion and Environment Light Via Generative Adversarial Networks. Pattern Recognit. Lett. 2022;166:209—217.
9. Fayçal A., Babahenini M.Ch. Forest fog Rendering Using Generative Adversarial Networks. The Visual Computer. 2022;39:943—952.
10. Choi Myungjin e. a. Deep Representation of a Normal Map for Screen-space Fluid Rendering. Appl. Sci. 2021;11(19):9065.
11. Hu Jinkai e. a. Efficient Real-time dynamic Diffuse Global Illumination Using Signed Distance Fields. The Visual Computer. 2021;37:2539—2551.
12. Xin H., Zheng S., Xu K., Yan L. Lightweight Bilateral Convolutional Neural Networks for Interactive Single-bounce Diffuse Indirect Illumination. IEEE Trans. Visualization and Computer Graphics. 2022;28(4):1824—1834.
13. Wang Z., Bovik A.C., Sheikh H.R, Simoncelli E.P. Image Quality Assessment: from Error Visibility to Structural Similarity. IEEE Trans. Image Proc. 2024;13(4):600—612.
14. Langr J., Bok V. GANs in Action: Deep learning with Generative Adversarial Networks. N.-Y.: Manning Publ., 2019.
15. Goodfellow I.J. e. a. Generative Adversarial Networks [Elektron. Resurs] https://arxiv.org/abs/1406.2661 (Data Obrashcheniya 30.09.24).
16. Rubinov K., Frolov A., Mamontov A. Educational Resources for Remote Comparative Study of Generative Adversarial Networks. Proc. VII Intern. Conf. Information Technologies in Eng. Education (Inforino). Moscow, 2024:1—5.
17. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation [Elektron. Resurs] https://arxiv.org/abs/1505.04597 (Data Obrashcheniya 30.09.24).
18. PyTorch Documentation — PyTorch 2.2 Documentation [Elektron. Resurs] https://pytorch.org/docs/stable/index.html (Data Obrashcheniya 30.09.24).
19. Sønderby C.K. e. a. Amortised MAP Inference for Image Super-resolution [Elektron. Resurs] https://arxiv.org/abs/1610.04490 (Data Obrashcheniya 30.09.24).
20. Home of the Blender project — Free and Open 3D Creation Software [Elektron. Resurs] https://www.blender.org/ (Data Obrashcheniya 30.09.24).
21. Astuti I.A. e. a. Comparison of Time, Size and Quality of 3D Object Rendering Using Render Engine Eevee and Cycles in Blender. Proc. V Intern. Conf. Computer and Informatics Eng. Jakarta, 2022:54—59.
22. Yoshimura A., Ikeda S., Harada T.. Geometry and Texture Streaming Architecture in Radeon™ ProRender [Elektron. Resurs] https://gpuopen.com/download/publications/GPUOpen2022_RadeonProRenderStreaming.pdf (Data Obrashcheniya 30.09.24).
23. Profeta R. Introduction to Google Colaboratory for Research [Elektron. Resurs] https://rutube.ru/video/70f0af2f1b3efe297feb23e8f924669b/ (Data Obrashcheniya 30.09.24).
24. Scikit-image: Image Processing in Python — Scikit-image [Elektron. Resurs] https://scikit-image.org/ (Data Obrashcheniya 30.09.24)
---
For citation: Rubinov K.A., Frolov A.B. On Combining Ray Tracing and Rasterization in Rendering Global Illumination by Using a Generative Adversarial Neural Network. Bulletin of MPEI. 2025;3:144—152. (in Russian). DOI: 10.24160/1993-6982-2025-3-144-152
---
Conflict of interests: the authors declare no conflict of interest
Опубликован
2025-02-27
Выпуск
Раздел
Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей (технические науки) (2.3.5)
