研究人员开发可以重新创建真实世界照明和反圆刀光学测量洗猪机手机喇叭油处理机

研究人员开发可以重新创建真实世界照明和反射的人工智能

曾经在上购买地毯或布料，希望你能说出它在现实生活中的样子吗?感谢麻省理工学院计算机科学与人工智能实验室(csail)和法国inria soph(1)海水淡化反渗透膜产品ia antipolis的研究人员，您距离能够体验到这一点还有一步之遥。

今天在温哥华举行的2018年siggraph会议2、要先把管子接上再加油期间，该团队联合推出了 单图像svbrdf捕获与渲染感知深度络 ，这是一种提取照片中材料的纹理，高光和阴影并以数字方式重建环境照明的方法。反射。

研究人员写道： [v]正在暗示......允许人类在单张图片中感知物质外观。 然而，恢复空间变化的双向反射分布函数 - 定义光在不透明表面上如何反射的四个变量的功能 - 来自基于此类线索的单个图像已经对计算机图形学的研究人员提出了数十年的挑战。我们通过训练深度神经络来自动提取和理解这些视觉线索来解决[问题]。

研究人员从样本开始 - 很多样本。他们采购了800多婚礼红包种 艺术机床维修家创作 材料的数据集，最终从九个不同的类别(油漆，塑料，皮革，金属，木材，织物，石头，瓷砖，地面)中选择了155个 高品质 套装，在预留了大约十几个用作测试装置之后，将它们渲染在虚拟场景中，以模仿摄像头的视野(50度)和闪光灯。

然而，仅仅训练机器学习模型是不够为减量化提供可能的，因此为了放大材料数据集，研究人员使用了40个cpu的集群来混合和随机化他们的参数。最终，他们产生了20万个逼真阴影， 广泛多样化 的材料。

下一步是模型培训。该团队设计了一种卷积神经络 - 一发射管种机器学习算法，大致模拟视觉皮层中神经元的排列 - 预测对应于每像素法线的四个光照图(渲染图像上每个像素的照度值)，漫反射反照率(由表面反射的漫射光)，镜面反照率(光波的镜像反射)和镜面粗糙度(反射的 光泽度 )。

为了最小化地图值之间的可变性，他们制定了一个 相似性度量 ，将预测地图的渲染与地面实况测量的渲染进行比较。为了确保输出图像的一致性，他们引入了第二种机器学习模型，它将从每个像素提取的全局照明(即从表面反射的光)与本地信息相结合 - 促进研究人员写道， 来回反复在遥远的图像区域之间交换信息。

他们对络进行了400,000次迭代训练，并为其拍摄了350张用iphone se和nexus 5x拍摄的照片，这些照片被裁剪为接近训练数据的视野。结果?该模型表现相当不错，成功地再现了金属，塑料，木材，油漆和其他材料上的光的真实反射。

不幸的是，它并非没有它的局限性。硬件限制将其限制为256 x 256像素的图像，并且它难以再现低动态范围的照片的光照和反射。尽管如此，该团队仍然注意到它很好地概括为真实的照片，并且如果不出意外的话，就表明 可以训练单个络来处理各种各样的材料 。