无需物理引擎开云体育，单个模子也能兑现"渲染 + 逆渲染"了！

在筹算机图形和视觉规模，渲染是指将 3D 模子形成传神的 2D 图片，逆渲染则是从 2D 图片分析出 3D 模子的各式属性（如材质、光照等）。

现时，从材质瓦解（逆渲染）——材质剪辑——物体渲染的悉数历程，王人被长入到了一个框架中，且在性能方面达到了新 SOTA。

该接头出自港科大广州以及趣丸科技，他们首创双流扩散框架 Uni-Renderer，将渲染（生成图像）与逆渲染（瓦解材质、光照、几何）长入到单一扩散框架，兑现"生成即瓦解"的闭环智商。

关系遵守已被 CVPR 2025 承袭，代码与数据全面开源。

接头团队暗示，这一遵守将来将重塑影视、游戏、AR/VR 等产业的视觉生成管线。

首创双流扩散框架

正如开首提到，渲染是通过光泽跟踪或旅途跟踪，生成高质料的图像；逆渲染是在 RGB 图像中提真金不怕火出对象属性，比如金属度、豪迈度以及光照细节。

传统方法需独处建模实验渲染器与逆渲染器，筹算本钱高遵守低泛化差，两个过程也枯竭谈判，精度和属性瓦解效果王人有限。

而 Uni-Renderer 的双流扩散架构将两个过程建模为双条目生成任务，生成时以材质、光照为条目输出图像，瓦解时以图像为条目反推内在属性：

其中渲染流崇拜生成 RGB 图像：以 VAE 编码材质、法线、光照为条目，通过扩散过程生成图像，搭救动态调治豪迈度 / 金属值（如"光滑棒球"秒变"金属质感"）。

而逆渲染流崇拜处理内在属性：以图像为输入，通过噪声展望聚积瓦解属性， 并在聚积里面进行跨流交互，兑现信息传递和会优化协同。

此外，团队还继承了相反化的 timestep 调节战略，通过不同的 timestep 使模子分裂渲染和逆渲染的映射关系，让这两者能更好协同。

终末，鉴于传统逆渲染因"材质 - 光照 - 几何"耦合性导致瓦解璷黫。

因此，他们将逆渲染瓦解获取的属性，再次输入到渲染模块进行再渲染，并借助轮回敛迹确保瓦解驱逐可从头生成一致图像，透顶告别"瓦解即失真"。

实测对比，性能碾压 SOTA

1、材质剪辑

对比 Subias（过曝）、InstructPix2Pix（配景伪善），Uni-Renderer 精确收尾高光与漫反射，如下图中"金属橙子"名义反射环境光照，细节传神。

2、重光照

如下图所示，输入单张图像，径直替换环境光为"夕阳 / 霓虹"，模子自动调治漫反射与镜面反射，光影过渡当然，越过 NvDiffRec 的生硬效果。

3、真确场景

下图中，"水壶"逆渲染到手融会高频环境光，金属质感与豪迈度舛错仅 3%。

轮廓而言，通过在生成阶段，以材质、光照为条目输出图像；瓦解阶段，以图像为条目反推内在属性，遵守晋升了200%。

同期，Uni-Renderer 强制内在属性与图像的一致性，在公开测试集上材质推测舛错镌汰 40%，光照瓦解 PSNR 晋升 30%。

另外，接头基于 Objaverse 构建业界最大范围多材质合成数据集，涵盖 20 万 3D 对象、121 种材质 / 光照组合，搭救高分辨率（1024 × 1024）实验。模子在未见过的真确场景中（如金属水壶、手机支架）仍能精确瓦解高光、豪迈度与复杂光照。

在渲染任务中，PSNR 达30.72（对比基线 28.09），逆渲染任务中，材质推测 MSE 仅0.118（优化方法 0.316）；重光照效果越过 GaussianShader 等有谋略，真确感拉满。

开源即用

现时团队对 Uni-renderer 同步进行了开源，包括：

代码库：搭救一键实验 / 推理，兼容 PyTorch 生态；

合成数据集：20 万对象 + 百万级材质 - 光照组合，涵盖数理化生多规模；

预实验模子：即插即用于游戏金钱生成、影视后期、工业联想等场景。

这项接头的作家为陈知非 , 许添硕以及葛汶杭，他们是来自于香港科技大学（广州）ENVISION 实验室的博士生，师从陈颖聪证实。

（ENVISION 实验室专注于视觉生成模子的接头，尽力于探索其基应许趣，以提高模子的质料、遵守、万般性和可控性。）

小结一下，Uni-Renderer 的建议，记号着视觉生成与融会从"分而治之"迈入"长入智能"时间。

其双流架构与轮回敛迹机制，为跨任务合股优化提供了全新范式。

将来，团队将进一步和会真确数据，攻克复杂动态场景，让东说念主工智能成为"万能视觉工程师"。

论文聚拢：

https://arxiv.org/pdf/2412.15050

GitHub 代码：

https://yuevii.github.io/unirenderer-page/

实验室官网：https://envision-research.hkust-gz.edu.cn/index.html#news

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿实质‍

附上论文 / 模式主页聚拢，以及谈判样式哦

咱们会（尽量）实时恢复你

一键关切 � � 点亮星标

科技前沿施展逐日见

一键三连「点赞」「转发」「防范心」

接待在指摘区留住你的思法！开云体育

上一篇：云开体育焚烧我方的心情和需求来迁就对方-开云官网kaiyun皇马赞助商 「中国」官方网站 登录入口    下一篇：开云官网切尔西赞助商是否恰手脚念学术呢？AI-开云官网kaiyun皇马赞助商 「中国」官方网站 登录入口