GraphiCon图形控

有趣的图形学

5,168 人关注

置顶文章

迈向人工智能Fashion Design（二）- 模块化服装设计

引言上期我们探讨了服装制版模拟软件及其相关技术，它们被广泛应用于虚拟角色设计，同时也在服装设计领域有一定程度的应用。然而，想要用它们设计一套服装，还是需要繁琐地…查看全文

李旻辰

5 days ago

29 赞20 条评论

最新文章

SIGCourse：Dynamic Registration
SIGGRAPH Course是很好的学习材料，不少研究者会把自己的研究总结成Notes，在阅读这些材料的过程中，可以很清晰地看到研究者们的脉路。在本文中，我简要介绍了Modern Techn…查看全文
张远
13 days ago
66 赞2 条评论
将自己多年前写的大规模并行流体解算器和OpenVDB链起来了
最近闲来无事，被Facebook推送的3年前的自己发的状态触动了，于是打算翻出我几年前没继续写下去的流体解算器做一些更新。先放上GitHub的链接，当然这个里头的代码不够新，…查看全文
张心欣
13 days ago
79 赞28 条评论
Coherent Occlusion Culling(CHC)算法的原理与实现
CHC算法是Jiˇrí Bittner在2004年提出的一种遮挡剔除的算法，其中主要运用到了渲染的（Temporal coherence）时间相干性以及（Spatial coherence）空间相干性，同时运用BVH…查看全文
林麟
22 days ago
0 赞0 条评论
译：UE4是如何渲染一帧的（1）
原文链接：How Unreal Renders a Frame作者：Kostas Anagnostou， Lead Graphics Programmer at Radiant Worlds这几天我在翻阅UE4的源码。受到一些分析著名游戏如何渲染一…查看全文
Charlie
2 months ago
211 赞3 条评论
【PathTracing】实时光线追踪和BSSRDF的那些事
写在前面好久没有写文章。。不知道这次的文章能不能把想说的都表达完全。鄙人消失了快几个月了吧。。因为各种各样的原因也没有时间写下这些文字（这篇文章也是用零散时间东…查看全文
ycz
2 months ago
268 赞43 条评论
【UnrealEngine4】从虚幻四的着色模型到NPR
本文主要分享虚幻四中着色器的使用技巧与如何添加自己的着色模型的方式。(正在设计的一个像素风格的渲染流程，同样采用本文的方法，对引擎的着色模型进行了改造，可以接受…查看全文
ycz
5 months ago
145 赞31 条评论
【UnrealEngine4】材质系统中的伪三维纹理
（使用三维噪声实时生成的伪-云朵）写在前面上次讲到了和距离场有关的东西。怎么说，其实我的文章是有一条主线的，不是只是分享虚幻四里的技巧or技术（还说不上什么技术吧…查看全文
ycz
7 months ago
98 赞16 条评论
【UnrealEngine4】距离场的使用技巧与应用
原来想开一个专栏的后来还没搞懂怎么开就先写下这篇文章文章或者专栏都会分享一下我在虚幻四中的制作经验，以蓝图和材质为主，讲述如何在图形学的思想中，不使用c++，不改…查看全文
ycz
7 months ago
196 赞44 条评论
迈向人工智能Fashion Design（一）- 服装制版模拟
引言这年头，似乎只要包含智能自动化过程的软件都可以叫人工智能，但其实今天我们要探讨的具体来说是计算机辅助制造（Computer-Aided Design，CAD）。所谓CAD，简单来说就…查看全文
李旻辰
7 months ago
79 赞26 条评论
果壳中的宇宙-iPhone X的Face ID和True Depth Camera分析-Animoji篇
这是我们果壳中的宇宙-IPhone X的Face ID和True Depth Camera分析系列的第二篇，第一篇链接在此果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇，这回我们…查看全文
origami dance
7 months ago
94 赞19 条评论
【UnrealEngine4】体渲染和Tri-Planar Mapping
上次分享了一下在虚幻四中如何仅用蓝图和材质来制作特殊排布的数据和贴图（三维纹理为主）本周的文章是上一篇文章的延续，来讲讲三维纹理的数据注入，和渲染方式。最近鄙人…查看全文
ycz
7 months ago
125 赞17 条评论
果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇
9月12号，苹果在10年后的one more thing里发布了被剧透的一干二净的IPhone X。全面屏，OLED，无线充电，全新手势交互都和以往的机型拉开了差距。但是最吸引人的无疑是True …查看全文
origami dance
7 months ago
359 赞26 条评论
在Windows 10 下用源码编译基于GPU的tensorflow.dll
笔者因为想尝试一些机器学习方面的idea，所以于TensorFlow产生了交集，笔者搞计算机图形学，所以更多地与windows和visual studio打交道，于是想在windows和visual studio…查看全文
张心欣
8 months ago
220 赞53 条评论
实时地播放动画的五维光场
本来这也是笔者最想做的项目之一，却被迪士尼的人抢先做了第一步，那笔者就来介绍一下这一个工作，具体介绍以前，我先说一个结论：人类离自由观察电影级画质的3D渲染…查看全文
张心欣
9 months ago
151 赞15 条评论
天干物燥，小心抠图 —— A journey of matting
作者：Manster 编辑：Origamidance Matting是计算机科学中一个很基本的问题，在matting的历史中有不少人留下足迹，也产生了不少好的工作，这些工作反映了机器学习乃至计算…查看全文
张远
9 months ago
403 赞33 条评论
文本数据可视化（下）——一图胜千言
文字是传递信息最常用的载体。在当前这个信息爆炸的时代，人们接收信息的速度已经小于信息产生的速度，尤其是文本信息。当大段大段的文字摆在面前，已经很少有耐心去认真把…查看全文
GeekPlux
10 months ago
85 赞4 条评论
WonderList论文心愿单 - SIGGRAPH 2017 | 几何形体的建模与处理
引言几何形体的建模与处理（geometric modeling、geometry processing等）是CG领域发轫至今一直很受欢迎的研究方向。其原因在于，几何形体是CG的根本研究对象，无论是动画…查看全文
李旻辰
10 months ago
82 赞3 条评论
GAMES Webinar | 6月22日 | 从计算机图形学到计算可视媒体–清华大学-胡事民
计算机学会计算机辅助设计与图形学专委会的“启智会”上讨论决定打造一个计算机图形学及其相关领域的在线学术交流共享平台——GAMES：Graphics And Mixed Environment Symp…查看全文
origami dance
10 months ago
50 赞6 条评论
WonderList论文心愿单 - SIGGRAPH 2017 | 海洋奇缘、蜂蜜、高清流体与水烟 | 物理模拟（二）
上一期我们介绍了毛发、布料、沙砾与水的交互模拟。这一期WonderList论文心愿单则包括了四篇SIGGRAPH 2017上流体模拟与控制方面的文章。第一篇会详细介绍海洋奇缘中的流体…查看全文
Raymond Fei
10 months ago
139 赞7 条评论

{"database":{"Post":{"27339811":{"title":"WonderList论文心愿单 - SIGGRAPH 2017 | 海洋奇缘、蜂蜜、高清流体与水烟 | 物理模拟（二）","author":"Raymond-fei","content":"\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F27189901\"\u003E上一期\u003C\u002Fa\u003E我们介绍了毛发、布料、沙砾与水的交互模拟。这一期WonderList论文心愿单则包括了四篇SIGGRAPH 2017上流体模拟与控制方面的文章。第一篇会详细介绍海洋奇缘中的流体控制，以及如何将局部模拟与大尺度模拟结合起来的方法；第二篇简要介绍如何模拟真实的高粘度流体，如蜂蜜等；第三篇主要介绍如何模拟细节非常丰富的流体；第四篇介绍一种在不同流体之间插值的方法。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003EFluxed Animated Boundary Method\u003C\u002Fh2\u003E\u003Cp\u003E这篇文章来自迪斯尼动画工作室的Alexey Stomahkin和Andrew Selle，两个人自《勇敢传说》起始，在几乎每一部迪斯尼动画电影中都做出了新的效果与模拟工具。这篇文章中，作者介绍了一个可以将大片海洋，或经过艺术加工的速度场，与局部水体的运动混合起来的方法，暂译为“波动驱动边界法”。\u003C\u002Fp\u003E\u003Cp\u003E通常在模拟海洋的时候，人们会使用快速傅立叶变换，将某些波长下的波方程的解线性叠加一下，来近似出大面积的水体运动。这种方法在二维上操作，并且因为操作简单、计算速度极快、易于并行，因此在无论游戏还是电影中都广泛应用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"720\" src=\"v2-abcdef453df604a8bac3eb9dd498f538.jpg\" data-rawwidth=\"1280\"\u003E（上图为实时模拟的三角形网格）\u003C\u002Fp\u003E\u003Cp\u003E然而因为这种方法只能模拟海洋的表面的波浪，且无法和物体交互，因此在需要复杂的流体模拟效果时候，人们还是会使用FLIP／APIC进行流体模拟（见之前的专栏文章：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26253352\" data-editable=\"true\" data-title=\"电影工业中的流体模拟（五）--- 拉氏方法，欧氏方法和混合方法 - 知乎专栏\" class=\"\"\u003E电影工业中的流体模拟（五）--- 拉氏方法，欧氏方法和混合方法 - 知乎专栏\u003C\u002Fa\u003E），尽管计算量非常大，但是可以模拟真实的细节。因此人们就想到了，可以对远处的流体使用波方程的方法，近处的流体解完整的不可压Navier-Stokes方程，但是问题就来了，如何处理交界的运动呢？\u003C\u002Fp\u003E\u003Cp\u003E迪士尼今年这篇文章提供了一个新的解决方案，这种方法的大体思路如下图所示：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg data-rawheight=\"252\" src=\"v2-f54940c2d74ef0da7861081d8be2eff0.png\" data-rawwidth=\"1192\"\u003E\u003Cp\u003E（©️Disney，侵删）\u003C\u002Fp\u003E\u003Cp\u003E首先我们指定一个范围（橘黄色框），然后在范围内美工可以绘出一片水域，在水域内（浅蓝色）我们使用FLIP／APIC进行流体模拟，而在水域外（深蓝色）我们算波动方程就好，这个深蓝色区域称为波动驱动边界（简称FAB）。这里最关键的在于，我们不仅是算水体表面的波方程，对于水下我们也去算波方程来得到水下的速度。这样我们便可以把这些FAB里面的速度值提供给水域内的FLIP／APIC模拟作为边界值来使用。同时为了能追踪这些水体，我们也把这些由波动方程计算的水用粒子来离散化：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"752\" src=\"v2-46488e78ec7f4b2cc8ba85f523c5e731.png\" data-rawwidth=\"1148\"\u003E\u003Cimg data-rawheight=\"340\" src=\"v2-683e75874082b6772a484496b9530cea.png\" data-rawwidth=\"1178\"\u003E\u003Cp\u003E（©️Disney，侵删）\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如图所示，我们可以在FAB里面采很多粒子，然后让这些粒子沿着波方程给出的速度场移动。这样我们便有了一个收到波方程控制的三维流体。然后对于进入了浅蓝区域的粒子，我们把它转化成用于FLIP／APIC模拟的流体粒子，而对于从浅蓝区域离开的粒子，我们把它删除掉，从而做到无缝衔接。\u003C\u002Fp\u003E\u003Cp\u003E下面我们来看一个实例：\u003Cimg data-rawheight=\"670\" src=\"v2-bf2cbd96011e36cb50b23cdef1ea6822.png\" data-rawwidth=\"2122\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E（©️Disney，侵删）\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E输入是一条小船和海洋的表面，我们把表面平滑一下，然后取一个区域作为FAB，在FAB里面再挖一块区域进行完整的流体模拟，然后混合起来，最后渲染出来就是既有远处海洋，又有近处船和水交互的细节。\u003C\u002Fp\u003E\u003Cp\u003E在动画电影《海洋奇缘》中，很多地方都应用了这种方法。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"208\" src=\"v2-7de0cb0ff49c16beaa8cffdc1f4ff22e.gif\" data-rawwidth=\"498\"\u003E\u003Cp\u003E（©️Disney，侵删）\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E比如上面这段动画，我们仔细观察可以看到海浪的细节模拟（如水花）被局限在女主人公的附近，而远处背景中的水则是比较平面化的大尺度海洋模拟。\u003C\u002Fp\u003E\u003Cp\u003E这个方法还有一些新奇的应用，比如FAB里面的速度场可以由美工手绘出来，只要画薄薄一层就行，然后剩下部分由物理模拟来计算得出，比如下面这样：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"458\" src=\"v2-3e8fd69f01e0d643eb6e14e47438814c.png\" data-rawwidth=\"1168\"\u003E（©️Disney，侵删）\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E左图是美工手绘的速度场，中间是使用这个速度场来引导物理模拟的结果，右边是重建的网格表面。\u003C\u002Fp\u003E\u003Cp\u003E这种方法可以做到将流体控制的恰到好处，看起来比较自然。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"268\" src=\"v2-24e35294a7261542112c880c518fba22.gif\" data-rawwidth=\"540\"\u003E（©️Disney，侵删）\u003C\u002Fp\u003E\u003Cp\u003E电影预告片：\u003Ca href=\"http:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav4967316\u002F\" data-editable=\"true\" data-title=\"海洋奇缘 Moana (2016)\"\u003E海洋奇缘 Moana (2016)\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E文章链接：\u003Ca href=\"http:\u002F\u002Falexey.stomakhin.com\u002Fresearch\u002Fsiggraph2017_fab.pdf\" data-editable=\"true\" data-title=\"stomakhin.com 的页面\"\u003Ehttp:\u002F\u002Falexey.stomakhin.com\u002Fresearch\u002Fsiggraph2017_fab.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch2\u003EVariational Stokes: A Unified Pressure-Viscosity Solver for Accurate Viscous Liquids\u003C\u002Fh2\u003E\u003Cp\u003E这篇文章介绍了在解Navier-Stokes方程时，如何将压力和粘性同时求解的方法，从而可以更准确地模拟高粘度的流体，比如蜂蜜，或者糖浆。如下图即是来自这篇文章的方法模拟的蜂蜜缠绕现象：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"360\" src=\"v2-e3cd1e2d6810c2a2d05ab6aa656ee50e.gif\" data-rawwidth=\"320\"\u003E我们知道，不可压Navier-Stokes方程有下面的形式（详细讨论见\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F25940795\" data-editable=\"true\" data-title=\"电影工业中的流体模拟（三）- 纳维斯托克斯方程（上） - 知乎专栏\" class=\"\"\u003E电影工业中的流体模拟（三）- 纳维斯托克斯方程（上） - 知乎专栏\u003C\u002Fa\u003E）：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cequation\u003E\\frac{\\partial u}{\\partial t}=-u\\cdot\\nabla u-\\frac{\\nabla p}{\\rho}+\\frac{\\nabla\\cdot\\tau}{\\rho}+\\frac{f}{\\rho}\u003C\u002Fequation\u003E\u003Cbr\u003E\u003Cequation\u003E\\nabla\\cdot u=0\u003C\u002Fequation\u003E\u003Cbr\u003E\u003Cequation\u003E\\tau=\\mu(\\nabla u+(\\nabla u)^T)\u003C\u002Fequation\u003E\u003Cbr\u003E\u003Cp\u003E其中\u003Cequation\u003Ep\u003C\u002Fequation\u003E是压力，\u003Cequation\u003E\\tau\u003C\u002Fequation\u003E是反应粘性的偏应力张量。求解这个方程时候需要考虑边界条件，因为液体密度远大于空气，所以通常来说，我们认为液体不受空气影响，或者更准确地说，液体在界面上收到的拉力为零。而这个拉力则是由压强和偏应力张量共同决定的，即：\u003C\u002Fp\u003E\u003Cequation\u003E(-pI+\\tau)\\cdot n=0\u003C\u002Fequation\u003E\u003Cbr\u003E\u003Cp\u003E其中\u003Cequation\u003En\u003C\u002Fequation\u003E为液面的法向。\u003C\u002Fp\u003E\u003Cp\u003E通常我们为了求解容易，都会把求解压力和粘性分开，先求解粘性部分，求解时候限定\u003Cequation\u003E\\tau\\cdot n=0\u003C\u002Fequation\u003E，然后再求解压力，使得速度场散度为零，求解时候假定边界上\u003Cequation\u003Ep=0\u003C\u002Fequation\u003E。但是这样在液体和空气边界是有问题的：显然应该允许\u003Cequation\u003Ep\u003C\u002Fequation\u003E和\u003Cequation\u003E\\tau\\cdot n\u003C\u002Fequation\u003E都不为零而总和为零的情况，而分开求解则禁止了这种情况，因此在流体粘性比较大的时候无法得到真实的效果。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这篇文章提出了一种新的离散化策略，将压力和偏应力张量放到一个方程中求解，因此可以模拟上面缠绕的现象，而之前的方法则无法做到这一点。\u003C\u002Fp\u003E\u003Cp\u003E具体见视频：\u003Ca href=\"http:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav10222047\u002F\" data-editable=\"true\" data-title=\"变分斯托克斯：统一压力与粘度的精确粘液求解器【SIGGRAPH 2017】\" class=\"\"\u003E变分斯托克斯：统一压力与粘度的精确粘液求解器【SIGGRAPH 2017】\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E文章链接：\u003Ca href=\"https:\u002F\u002Fcs.uwaterloo.ca\u002F~elariono\u002Fstokes\u002Fstokes.pdf\" data-editable=\"true\" data-title=\"cs.uwaterloo.ca 的页面\"\u003Ehttps:\u002F\u002Fcs.uwaterloo.ca\u002F~elariono\u002Fstokes\u002Fstokes.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch2\u003EPower Diagrams and Sparse Paged Grids for High Resolution Adaptive Liquids\u003C\u002Fh2\u003E\u003Cimg data-rawheight=\"360\" src=\"v2-e95050f1f0c9881612bea85693b3ab92.gif\" data-rawwidth=\"640\"\u003E\u003Cp\u003E这篇文章提出了一种新的模拟大规模、高精度流体的框架。通常在做大规模模拟流体时，人们会使用八叉树来简化某些区域的网格，从而简化计算。然而使用均匀网格来做八叉树有个缺陷，就是在相邻的不同级别的格子之间，各种物理量很难准确计算。这篇文章把均匀网格中的立方体，换成了功率图来解决这个问题，如下图所示：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"796\" src=\"v2-4336d49488cb28156b090351f0dc2dd7.png\" data-rawwidth=\"866\"\u003E（a）是一个普通的树结构，（b）则是把正方体换成了功率图的结果，（c）是对应的Voronoi图。因此（d）中的每个正方体，也就变成了（e）中所示的样子，可以看到原来无限小的边，都变成了一个面，格子之间的物理量可以通过这些面进行交互。通过这种方式可以解决相邻格子之间的数值误差问题。\u003C\u002Fp\u003E\u003Cp\u003E作者在这篇文章之中可以做到解压力方程二阶精确，同时做了一个易于并行的计算框架来模拟非常精细的流体，并且还提供了相应的表面重建算法。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E具体见视频：\u003Ca href=\"http:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav10222386\u002F\" data-editable=\"true\" data-title=\"用于高分辨率自适应液体的功率图和稀疏分层网格【SIGGRAPH 2017】\" class=\"\"\u003E用于高分辨率自适应液体的功率图和稀疏分层网格【SIGGRAPH 2017】\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E文章链接：\u003Ca href=\"https:\u002F\u002Fcs.uwaterloo.ca\u002F~c2batty\u002Fpapers\u002FAanjaneya2017\u002Fhigh_resolution_liquids.pdf\" data-editable=\"true\" data-title=\"cs.uwaterloo.ca 的页面\" class=\"\"\u003Ehttps:\u002F\u002Fcs.uwaterloo.ca\u002F~c2batty\u002Fpapers\u002FAanjaneya2017\u002Fhigh_resolution_liquids.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch2\u003EInterpolations of Smoke and Liquid Simulations\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cimg data-rawheight=\"360\" src=\"v2-21febe03d48819307adfca64aa7be9b9.gif\" data-rawwidth=\"640\"\u003E这篇文章提出了一种在不同流体之间插值的方法。如上图中，作者可以将模拟好的水与模拟好的烟雾以不同比例混合起来，从而创造出一种新奇的水雾效果。\u003C\u002Fp\u003E\u003Cp\u003E作者Nils Thuerey在今年SIGGRAPH上还发表了一篇用神经网络来模拟烟雾的文章（详细讨论见：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26856561\" class=\"\" data-editable=\"true\" data-title=\"WonderList论文心愿单 - SIGGRAPH 2017\"\u003EWonderList论文心愿单 - SIGGRAPH 2017\u003C\u002Fa\u003E）。然而使用神经网络进行模拟的一个基本前提就是不同的输入数据可以以某种方式混合。那么对于如何从给定数据生成混合数据本身，就是一个非常值得研究的问题。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"256\" src=\"v2-6c3f2ad3cf273583321b990b3d639a66.png\" data-rawwidth=\"1394\"\u003E\u003Cp\u003E生成混合数据最关键的是如何找到不同的数据间的对应关系。如上图所示，作者在这篇文章中，将每个模拟序列看成一组四维数据集，然后在两个序列之间计算五维光流（5D Optical Flow），由于光流是在欧氏网格上计算的，而两个序列中的流体在欧氏网格上同一格子位置对应的物质点（Material Point）不同，因此还要对光流进行矫正，具体说就是顺着光流向后追踪，然后将光流本身移到对应的物质点上。这样便可以得到两个序列间准确的对应关系，然后就可以进行插值了。\u003C\u002Fp\u003E\u003Cp\u003E具体见视频：\u003Ca href=\"http:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002Fav11220480\u002F\" data-editable=\"true\" data-title=\"烟雾和液体模拟的插值【SIGGRAPH 2017】\" class=\"\"\u003E烟雾和液体模拟的插值【SIGGRAPH 2017】\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E文章链接：\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F1608.08570v1.pdf\" data-editable=\"true\" data-title=\"arxiv.org 的页面\"\u003Ehttps:\u002F\u002Farxiv.org\u002Fpdf\u002F1608.08570v1.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E本期就介绍到这里。下一期我们会继续为大家介绍SIGGRAPH 2017上物理模拟方面的最新文章。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E请毫不犹豫地关注我们：\u003C\u002Fp\u003E\u003Cp\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon图形控\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"430\" src=\"v2-3850f35ade59894c046cd7c208c615c0.png\" data-rawwidth=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\" data-title=\"hi@graphicon.io\" class=\"\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E加入我们的QQ群：SIQGRAPH（\u003Ca href=\"tel:342086343\"\u003E342086343\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cp\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"31\" src=\"v2-ecab54de7259c3b23e366ab7af7473b6.png\" data-rawwidth=\"88\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\" class=\"\" data-editable=\"true\" data-title=\"知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E","updated":new Date("2017-06-10T14:51:57.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":7,"likeCount":139,"state":"published","isLiked":false,"slug":"27339811","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-06-10T22:51:57+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27339811\u002Fcomments"},"url":"\u002Fp\u002F27339811","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-7f177c4db4b470d8a2d52602b4f910f1_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27339811","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":7,"likesCount":139},"27349808":{"title":"WonderList论文心愿单 - SIGGRAPH 2017 | 几何形体的建模与处理","author":"minchen.li","content":"\u003Ch2\u003E引言\u003C\u002Fh2\u003E\u003Cp\u003E几何形体的建模与处理（geometric modeling、geometry processing等）是CG领域发轫至今一直很受欢迎的研究方向。其原因在于，几何形体是CG的根本研究对象，无论是动画制作还是计算机辅助工业设计，都是首先对现实生活中的事物进行3D建模，得到对应的几何形体后，再进行处理、分析与使用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-c258ffa6583b6b733579df0fa3cf555f.jpg\" data-rawwidth=\"1330\" data-rawheight=\"400\"\u003E从最初的计算几何（computational geometry），到多边形网格模型处理（polygon mesh processing），再到后来的由照片重建3D模型（3D reconstruction）、基于简笔画的3D建模（sketch-based modeling）、离散微分几何（discrete differential geometry）、形状分析（shape analysis）等，这一方向正朝着更高语义层级的分析与应用，以及更高质量的基础算法这两端蓬勃发展。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\"v2-418d975554dde4a20a54b45ec5da6cf4.jpg\" data-rawwidth=\"1961\" data-rawheight=\"850\"\u003E\u003Cp\u003ESIGGRAPH 2017中，与之直接相关的session就有十个之多：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E着眼于利用数学理论与数值计算方法更好地解决基础问题的\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fmappings-and-deformations\" class=\"\"\u003EMappings and Deformations\u003C\u002Fa\u003E，\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fglobal-parameterization\" class=\"\"\u003EGlobal Parameterization\u003C\u002Fa\u003E，\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fmeshing\" class=\"\"\u003EMeshing\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E与高语义层级形状分析相关的\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fcomparing-3d-shapes-and-parts\" class=\"\"\u003EComparing 3D Shape and Parts\u003C\u002Fa\u003E，\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Flearning-analysis-geometry\" class=\"\"\u003ELearning and Analysis for Geometry\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E与3D模型重建相关的\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Freconstructing-3d-surfaces-points-lines-images-water\" class=\"\"\u003EReconstructing 3D Surfaces from Points, Lines, Images and Water\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E与基于简笔画的3D建模相关的\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fsketching-curves\" class=\"\"\u003ESketching and Curves\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E与人脸动画相关的\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fspeech-and-facial-animation\" class=\"\"\u003ESpeech and Facial Animation\u003C\u002Fa\u003E，\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Ffaces-hair\" class=\"\"\u003EFaces and Hairs\u003C\u002Fa\u003E\u003C\u002Fli\u003E\u003Cli\u003E以及大杂烩\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fbeing-discrete-about-geometry-processing\" class=\"\"\u003EBeing Discrete About Geometry Processing\u003C\u002Fa\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E其实CG中对3D打印\u002F数字制造（digital fabrication）的研究也是直接基于很多几何形体处理与建模的方法，有兴趣可以去看\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F27134403?refer=graphicon\" class=\"\"\u003EWonderList论文心愿单 | 数字制造\u003C\u002Fa\u003E系列。\u003Cbr\u003E\u003Cp\u003E本文将简要介绍\u003Ca href=\"http:\u002F\u002Fs2017.siggraph.org\u002Ftechnical-papers\u002Fsessions\u002Fbeing-discrete-about-geometry-processing\" class=\"\"\u003EBeing Discrete About Geometry Processing\u003C\u002Fa\u003E这个看似是大杂烩的session。实际上这些论文都是对一些有趣且意义非凡的基础问题的研究。\u003C\u002Fp\u003E\u003Ch2\u003EFlowRep: Descriptive Curve Networks for Free-Form Design Shapes\u003C\u002Fh2\u003E\u003Cimg src=\"v2-542ae1bc7361e63e049dbe2be0b33fc3.jpg\" data-rawwidth=\"1240\" data-rawheight=\"250\"\u003E\u003Cp\u003E原文链接：\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002Flabs\u002Fimager\u002Ftr\u002F2017\u002FFlowRep\u002F\" class=\"\"\u003Ehttp:\u002F\u002Fwww.cs.ubc.ca\u002Flabs\u002Fimager\u002Ftr\u002F2017\u002FFlowRep\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E这篇论文的工作由上图一目了然，即输入一个人造物体的3D模型（如上图a中的鼠标），通过算法根据模型表面曲率（curvature）信息提取重要的线条（如上图b至d），并将其简化后，得到输入模型的一种线条表现形式（如上图e）。这种表现形式类似于结构素描（如下图），即通过一些交叉的线条勾勒出物体的轮廓，在CG中被称为“曲线网络”（curve networks）。更酷的是，由该算法生成的曲线网络，利用已有的3D重建算法[\u003Ca href=\"http:\u002F\u002Fhaopan.github.io\u002Fcurvenet_surfacing.html\" class=\"\"\u003EPan et al. 2015\u003C\u002Fa\u003E, \u003Ca href=\"http:\u002F\u002Fwww.crossshade.com\u002F\" class=\"\"\u003EShao et al. 2012\u003C\u002Fa\u003E]重建获得的模型（上图f中的蓝色鼠标）和输入模型（上图a中的棕色鼠标）几乎一模一样！\u003Cimg src=\"v2-bfb8b6c69264b46f4f72f673dca746b1.jpg\" data-rawwidth=\"1177\" data-rawheight=\"379\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们知道，当人在看一幅结构素描图时，人类的视觉感知系统是能直接想象出物体的三维形态的。这不仅是因为人之前见过这些形状，即使是上图右侧一些不常见的形状，只要用适当的曲线网络来描述，人也能感知其三维信息。这说明人的感知系统自带一些插值（interpolation）和外插（extrapolation）功能，能够由曲线补齐形体，将曲线网络映射到对应的3D模型。这是认知科学的范畴，也是诸多CG研究人员的兴趣点。因为这方面的研究成果能够最直接地帮助到3D建模艺术家，使他们用很精简的线条就能非常高效地建立自己心中所想的3D形体。另外，如果这种3D模型和曲线网络之间的双向转换误差达到了可控的稳定范围，那曲线网络可否被视为3D模型数据的一种压缩格式呢？\u003C\u002Fp\u003E\u003Ch2\u003EBouding Proxies for Shape Approximation\u003C\u002Fh2\u003E\u003Cimg src=\"v2-c6cdecd04208a1920d3c7784a45ac35c.jpg\" data-rawwidth=\"1160\" data-rawheight=\"371\"\u003E\u003Cp\u003E原文链接：\u003Ca href=\"http:\u002F\u002Fperso.telecom-paristech.fr\u002F~boubek\u002Fpapers\u002FBoundingProxies\u002F\" class=\"\"\u003Ehttp:\u002F\u002Fperso.telecom-paristech.fr\u002F~boubek\u002Fpapers\u002FBoundingProxies\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E这篇论文提出了一种多边形网格简化算法，其目标除了简化后的模型仍和输入模型在形状上十分相似外，还要求输入模型被完整的包含在简化的模型内部。该方法首先将多边形网格转换成体素（voxel）数据格式，在体素的形式中做简化运算，然后再将简化后的体素转换成低面片数的多边形网格，从而巧妙地降低了问题的难度。这项研究成果在3D模型编辑、角色动画制作、以及物理模拟中都有很大的应用价值。其主要原因在于，将复杂的计算主要安排在这种对某个精细3D模型的低分辨率近似上能有效地控制运算量，这里的体积包含关系也是该做法的合理性保障。例如\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26153181\" class=\"\"\u003E用数学编辑3D模型（三）- Subspace Mesh Deformation\u003C\u002Fa\u003E中介绍的用低分辨率模型降低模型编辑过程中的运算量。\u003C\u002Fp\u003E\u003Ch2\u003ESpatiotemporal Atlas Parameterization for Evolving Meshes\u003C\u002Fh2\u003E\u003Cimg src=\"v2-4e7728a1f4e3b7fe2cd3f16d9110b811.jpg\" data-rawwidth=\"1332\" data-rawheight=\"318\"\u003E\u003Cp\u003E原文链接：\u003Ca href=\"http:\u002F\u002Fhhoppe.com\u002Fproj\u002Fevolving\u002F\" class=\"\"\u003Ehttp:\u002F\u002Fhhoppe.com\u002Fproj\u002Fevolving\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E这项工作是关于3D动画捕捉的。我们知道，一个静态的3D模型除了表面采样点位置数据（以多边形网格的形式存储）以外，还有每个点的颜色数据。为了方便存储与编辑，颜色数据一般存储在一张纹理图片上，3D模型表面的每个采样点都把其颜色通过一个二维的纹理坐标记录在纹理图片上的对应位置（如上图）。在传统的3D动画捕捉中，每一帧画面中的3D模型都存储在一组独立的多边形网格和纹理图片中，与其它帧中的模型数据没有任何关联。这不仅会占用非常大的存储空间，而且在播放与处理时都非常不方便。这项工作结合\u003Ca href=\"http:\u002F\u002Fhhoppe.com\u002Fproj\u002Ffvv\u002F\" class=\"\"\u003E[Collet et al. 2015]\u003C\u002Fa\u003E和\u003Ca href=\"http:\u002F\u002Fwww.hao-li.com\u002FHao_Li\u002FHao_Li_-_publications_%5BTracking_Surfaces_with_Evolving_Topology%5D.html\" class=\"\"\u003E[Bojsen-Hansen et al. 2012]\u003C\u002Fa\u003E两项前人工作的优势，设计了一种让相邻帧中的多边形网格和纹理图都具有一定的连续性的处理算法，使得整套捕捉的3D动画数据更加结构化的同时，也减小了数据存储空间的需求（这种相邻帧间的连续性能使压缩算法发挥更大的作用）。\u003Cimg src=\"v2-e8cdd029fc5bcc8233f23ca69aeb9dd5.gif\" data-rawwidth=\"600\" data-rawheight=\"334\" data-thumbnail=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-e8cdd029fc5bcc8233f23ca69aeb9dd5_b.jpg\"\u003E\u003C\u002Fp\u003E\u003Ch2\u003EFunctional Characterization of Intrinsic and Extrinsic Geometry\u003C\u002Fh2\u003E\u003Cimg src=\"v2-79e2a29d0f67afb66eac6461bfc9ec29.jpg\" data-rawwidth=\"1584\" data-rawheight=\"557\"\u003E\u003Cp\u003E原文链接：\u003Ca href=\"http:\u002F\u002Fpeople.csail.mit.edu\u002Fjsolomon\u002Fassets\u002Fintdeform.pdf\" class=\"\"\u003Ehttp:\u002F\u002Fpeople.csail.mit.edu\u002Fjsolomon\u002Fassets\u002Fintdeform.pdf\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后这篇看图就知道很基础，也是基于强大的数学工具\u003Ca href=\"http:\u002F\u002Fwww.lix.polytechnique.fr\u002F~maks\u002Fpapers\u002Fobsbg_fmaps.pdf\" class=\"\"\u003E[Ovsjanikov et al. 2012]\u003C\u002Fa\u003E。它着眼于在给定对应关系的情况下定义两个形状之间的差异大小，在前人工作\u003Ca href=\"http:\u002F\u002Fgeometrica.saclay.inria.fr\u002Fteam\u002FFred.Chazal\u002Fpapers\u002Froabc-mbeis-13\u002Froabc-mbeis-13.pdf\" class=\"\"\u003E[Rustamov et al. 2013]\u003C\u002Fa\u003E的基础上加入了对几何形体外蕴信息（extrinsic properties）的考量。（以地球为例，说“从中国到北美要飞一万多公里”是内蕴信息，即intrinsic properties；说“地球是球体”是外蕴信息。）\u003C\u002Fp\u003E\u003Cp\u003E如上图第一行左端展示了布料模拟过程中几个关键帧中的布料形状，它们的颜色按时间顺序从深蓝色渐变为深红色。右侧的四张图中的二维数据点分别对应了相应颜色的布料，这些散点图是根据形状之间的差异计算结果画出的二维形状空间分布状况，靠得近表示更相似。我们可以看到，最右侧两图（本文方法）效果明显好于左侧两图，其形体数据点的分布体现了布料模拟的时间顺序。第二行则是关于一段骏马奔腾的环式动画（头尾两帧可相接循环播放），可以看到所有方法计算出的距离都能正确的表现出关键帧中形状的环状分布情况。这是因为马匹在奔腾过程中光内蕴信息就有显著变化，而布料在模拟时却只有外蕴性质在发生显著改变。\u003C\u002Fp\u003E\u003Cp\u003E看到这里，你可能不太会发现，这项工作可以说是和深度学习息息相关。其实，这篇工作可以理解成根据数学原理为3D模型提取特征（feature），并据此估算出3D模型之间真正的差异度量（高维欧式空间的形状子空间内的测地距离），然后由此建立分布“合理”的低维形状空间（比如上图中的散点图）。事实上，深度学习渴望做到能够学习任意两空间的映射关系，即人们把原始数据和直接结果分别作为输入和输出拿来训练，就能得到可靠的自动映射机器。但其实目前的深度学习模型还远远达不到这样，很多训练都需要人们认真地考虑把什么作为输入，才能使输入数据形成的数据空间分布合理，这篇工作可以说就给出了3D模型的一种可行的输入方式。SIGGRAPH 2017中有论文首次应用深度卷积神经网络对3D模型进行学习，详见\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26856561\" class=\"\"\u003EWonderList论文心愿单 - SIGGRAPH 2017 | CG中的深度学习\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\"v2-013311343077611829a108fadfacaeb7.jpg\" data-rawwidth=\"997\" data-rawheight=\"397\"\u003E\u003Ch2\u003E其它参考文献\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fhaopan.github.io\u002Fcurvenet_surfacing.html\" class=\"\"\u003E[Pan et al. 2015]\u003C\u002Fa\u003E Pan, H., Liu, Y., Sheffer, A., Vining, N., Li, C. J., &amp; Wang, W. (2015). Flow aligned surfacing of curve networks. \u003Ci\u003EACM Transactions on Graphics (TOG)\u003C\u002Fi\u003E, \u003Ci\u003E34\u003C\u002Fi\u003E(4), 127.\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.crossshade.com\u002F\" class=\"\"\u003E[Shao et al. 2012]\u003C\u002Fa\u003E Shao, C., Bousseau, A., Sheffer, A., &amp; Singh, K. (2012). CrossShade: shading concept sketches using cross-section curves. \u003Ci\u003EACM Transactions on Graphics\u003C\u002Fi\u003E, \u003Ci\u003E31\u003C\u002Fi\u003E(4).\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.lix.polytechnique.fr\u002F~maks\u002Fpapers\u002Fobsbg_fmaps.pdf\" class=\"\"\u003E[Ovsjanikov et al. 2012]\u003C\u002Fa\u003E Ovsjanikov, M., Ben-Chen, M., Solomon, J., Butscher, A., &amp; Guibas, L. (2012). Functional maps: a flexible representation of maps between shapes. \u003Ci\u003EACM Transactions on Graphics (TOG)\u003C\u002Fi\u003E, \u003Ci\u003E31\u003C\u002Fi\u003E(4), 30.\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fgeometrica.saclay.inria.fr\u002Fteam\u002FFred.Chazal\u002Fpapers\u002Froabc-mbeis-13\u002Froabc-mbeis-13.pdf\" class=\"\"\u003E[Rustamov et al. 2013]\u003C\u002Fa\u003E Rustamov, R. M., Ovsjanikov, M., Azencot, O., Ben-Chen, M., Chazal, F., &amp; Guibas, L. (2013). Map-based exploration of intrinsic shape differences and variability. \u003Ci\u003EACM Transactions on Graphics (TOG)\u003C\u002Fi\u003E, \u003Ci\u003E32\u003C\u002Fi\u003E(4), 72.\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fhhoppe.com\u002Fproj\u002Ffvv\u002F\" class=\"\"\u003E[Collet et al. 2015]\u003C\u002Fa\u003E Collet, A., Chuang, M., Sweeney, P., Gillett, D., Evseev, D., Calabrese, D., ... &amp; Sullivan, S. (2015). High-quality streamable free-viewpoint video. \u003Ci\u003EACM Transactions on Graphics (TOG)\u003C\u002Fi\u003E, \u003Ci\u003E34\u003C\u002Fi\u003E(4), 69.\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.hao-li.com\u002FHao_Li\u002FHao_Li_-_publications_%5BTracking_Surfaces_with_Evolving_Topology%5D.html\" class=\"\"\u003E[Bojsen-Hansen et al. 2012]\u003C\u002Fa\u003E Bojsen-Hansen, M., Li, H., &amp; Wojtan, C. (2012). Tracking surfaces with evolving topology. \u003Ci\u003EACM Trans. Graph.\u003C\u002Fi\u003E, \u003Ci\u003E31\u003C\u002Fi\u003E(4), 53-1.\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E请毫不犹豫地关注我们：\u003C\u002Fp\u003E\u003Cp\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\" class=\"\"\u003EGraphiCon\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\" class=\"\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.jpg\" data-rawwidth=\"430\" data-rawheight=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\" class=\"\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003C\u002Fp\u003E\u003Cp\u003E加入我们的slack群：\u003Ca href=\"https:\u002F\u002Fgraphicon.herokuapp.com\u002F\" class=\"\"\u003EGraphiCon\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-ecab54de7259c3b23e366ab7af7473b6.jpg\" data-rawwidth=\"88\" data-rawheight=\"31\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\" class=\"\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E","updated":new Date("2017-06-19T15:17:13.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":82,"state":"published","isLiked":false,"slug":"27349808","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-19T23:17:13+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27349808\u002Fcomments"},"url":"\u002Fp\u002F27349808","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-7d226f9b89455606037ac1c8f3893989_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27349808","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":82},"27419782":{"title":"GAMES Webinar | 6月22日 | 从计算机图形学到计算可视媒体–清华大学-胡事民","author":"origamidance","content":"\u003Cimg src=\"v2-5cb4433e73df220d76897d9d33839108.png\" data-rawwidth=\"794\" data-rawheight=\"1123\"\u003E\u003Cimg src=\"v2-6c76180971eea148de6776e76ecb8ab3.png\" data-rawwidth=\"794\" data-rawheight=\"1123\"\u003E\u003Cbr\u003E计算机学会计算机辅助设计与图形学专委会的“启智会”上讨论决定打造一个计算机图形学及其相关领域的在线学术交流共享平台——GAMES：Graphics And Mixed Environment Symposium 计算机图形学与混合现实研讨会。GAMES会定期邀请国内外知名学者, 通过直播的形式进行在线讲座, 即Webinar (Web+Seminar)。\u003Cbr\u003E\u003Cp\u003E第一期GAMES Webinar我们邀请到了清华大学的胡事民老师给我们做一场主题为“从计算机图形学到计算可视媒体”的讲座。\u003Cbr\u003E时间：6月22日（周四）晚8:00\u003Cbr\u003E地址：\u003Ca href=\"https:\u002F\u002Fwww.panda.tv\u002F1101942\" data-title=\"graphicon直播间_熊猫直播_泛娱乐直播平台\" class=\"\" data-editable=\"true\"\u003Egraphicon直播间_熊猫直播_泛娱乐直播平台\u003C\u002Fa\u003E\u003Cbr\u003E或 \u003Ca href=\"https:\u002F\u002Fwebinar.games-cn.org\u002F\" data-editable=\"true\" data-title=\"games-cn.org 的页面\"\u003Ehttps:\u002F\u002Fwebinar.games-cn.org\u003C\u002Fa\u003E \u003Cbr\u003E(或在熊猫tv App上搜“GraphiCon”)\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E参与GAMES活动请关注：\u003C\u002Fb\u003E\u003Cbr\u003EQQ群：342086343 (SIQGRAPH)\u003Cbr\u003E微信群：添加GraphiCon01为好友并回复GAMES获取微信群邀请\u003Cbr\u003EGAMES网站：\u003Ca href=\"https:\u002F\u002Fgames-cn.org\u002F\" data-title=\"Graphics And Mixed Environment Seminar\" class=\"\" data-editable=\"true\"\u003EGraphics And Mixed Environment Seminar\u003C\u002Fa\u003E\u003Cbr\u003EGAMES直播间：\u003Ca href=\"https:\u002F\u002Fwebinar.games-cn.org\u002F\" data-title=\"games-cn.org 的页面\" class=\"\" data-editable=\"true\"\u003Ehttps:\u002F\u002Fwebinar.games-cn.org\u003C\u002Fa\u003E\u003Cbr\u003E关注GraphiCon公众号并点击下方“直播”按钮。\u003C\u002Fp\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon图形控\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.png\" data-rawwidth=\"430\" data-rawheight=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\" data-title=\"hi@graphicon.io\" class=\"\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg src=\"v2-885fb112f568154e08bd27832d4444be.png\" data-rawwidth=\"88\" data-rawheight=\"31\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\" class=\"\" data-editable=\"true\" data-title=\"知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E","updated":new Date("2017-06-15T22:15:16.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":50,"state":"published","isLiked":false,"slug":"27419782","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-16T06:15:16+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27419782\u002Fcomments"},"url":"\u002Fp\u002F27419782","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-33d9c19637ed6925dd4c3a0347cf07a2_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27419782","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":50},"27449788":{"title":"文本数据可视化（下）——一图胜千言","author":"geekplux","content":"\u003Cp\u003E文字是传递信息最常用的载体。在当前这个信息爆炸的时代，人们接收信息的速度已经小于信息产生的速度，尤其是文本信息。当大段大段的文字摆在面前，已经很少有耐心去认真把它读完，经常是先找文中的图片来看。这一方面说明人们对图形的接受程度比枯燥的文字要高很多，另一方面说明人们急需一种更高效的信息接收方式，文本可视化正是解药良方。「一图胜千言」我们从小就有体会，教材里的解释图、自己笔记里总结的知识结构图，一直到现在经常用的思维导图等，其实都是简单、实用的文本可视化。本文将简单介绍文本可视化的基础概念，然后重点通过各类文本可视化的案例来阐述可视化之美（多图，不过为了学到知识这点流量不算什么）。\u003C\u002Fp\u003E\n\u003Ch2\u003E为什么要文本数据可视化\u003C\u002Fh2\u003E\n\u003Cp\u003E虽然一般这种讲必要性的段落很多人都略过不看，虽然文本可视化的必要性大家用脚趾头估计都能想到，但我还是稍微说一说吧。文本可视化的作用有以下四点：\u003C\u002Fp\u003E\n\u003Col\u003E\u003Cli\u003E\u003Cstrong\u003E理解\u003C\u002Fstrong\u003E - 理解主旨\u003C\u002Fli\u003E\n\u003Cli\u003E\u003Cstrong\u003E组织\u003C\u002Fstrong\u003E - 组织、分类信息\u003C\u002Fli\u003E\n\u003Cli\u003E\u003Cstrong\u003E比较\u003C\u002Fstrong\u003E - 对比文档信息\u003C\u002Fli\u003E\n\u003Cli\u003E\u003Cstrong\u003E关联\u003C\u002Fstrong\u003E - 关联文本的 pattern 和其他信息\u003C\u002Fli\u003E\n\u003C\u002Fol\u003E\u003Cp\u003E简单来说就是让你更加直观迅速的获取、分析信息（所有可视化的作用都是这个）。举个例子，针对一篇文章，文本可视化能更快的告诉我们文章在讲什么；针对社交网络上的发言，文本可视化可以帮我们信息归类，情感分析；针对一个大新闻，文本可视化可以帮我们捋顺事情发展的脉络、每个人物的关系等等；针对一系列的文档，我们可以通过文本可视化来找到它们之间的联系等等。\u003C\u002Fp\u003E\n\u003Cp\u003E一般来说，情报分析人员、网络内容分析人员、情感分析或文学研究者等相关职业更需要文本可视化。不过随着信息图（例如图 1）等的普及，越来越多的人已经接受并善用文本可视化了。\u003C\u002Fp\u003E\u003Cimg src=\"v2-cb6ef80bef4b206f44b892acf64aa09c.jpg\" data-rawwidth=\"600\" data-rawheight=\"429\"\u003E\u003Ch2\u003E文本数据可视化的流程\u003C\u002Fh2\u003E\n\u003Cp\u003E如图 2 所示，其实任何可视化的流程\u003Ca href=\"http:\u002F\u002Fgeekplux.com\u002F2017\u002F01\u002F01\u002Fbasics-of-data-visualization-the-process-model.html\" data-title=\"[1]\" class=\"\" data-editable=\"true\"\u003E[1]\u003C\u002Fa\u003E都类似。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b57a470b5180e78e2d68a395465316c3.png\" data-rawwidth=\"1395\" data-rawheight=\"358\"\u003E\u003Cp\u003E一般把对文本的理解需求分成三级：词汇级（Lexical Level）、语法级（Syntactic Level）和语义级（Semantic Level）。不同级的信息挖掘方法也不同，词汇级当然是用各类分词算法，语法级用一些句法分析算法，语义级用主题抽取算法\u003Ca href=\"https:\u002F\u002Fbook.douban.com\u002Fsubject\u002F25760272\u002F\" data-editable=\"true\" data-title=\"[2]\"\u003E[2]\u003C\u002Fa\u003E。以上这些都在第二步文本信息挖掘中进行，其中文本数据预处理是将无效数据过滤，提取有效词等；文本特征抽取是指提取文本的关键词、词频分布、语法级的实体信息、语义级的主题等；文本特征的度量是指在多种环境或多个数据源所抽取的文本特征进行深层分析，如相似性、文本聚类等。这里就简单笼统地说一下文本分析的基础方法，有兴趣的同学可以自行搜索学习，我们把重点放在可视化设计上。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0c717af9dcb0089c22410b13f7626e99.png\" data-rawwidth=\"801\" data-rawheight=\"314\"\u003E\u003Ch2\u003E文本可视化类型\u003C\u002Fh2\u003E\n\u003Cp\u003E文本数据大致可分为三种：单文本、文档集合和时序文本数据。对应的文本可视化也可分为三类：\u003C\u002Fp\u003E\n\u003Cul\u003E\u003Cli\u003E文本内容的可视化\u003C\u002Fli\u003E\n\u003Cli\u003E文本关系的可视化\u003C\u002Fli\u003E\n\u003Cli\u003E文本多层面信息的可视化\u003C\u002Fli\u003E\n\u003C\u002Ful\u003E\u003Cp\u003E以下我们通过案例来一一介绍。\u003C\u002Fp\u003E\n\u003Ch2\u003E文本内容可视化\u003C\u002Fh2\u003E\n\u003Cp\u003E上篇文章所说的标签云和 Wordle \u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26306683\" data-editable=\"true\" data-title=\"[4]\"\u003E[4]\u003C\u002Fa\u003E是目前研究领域和 Web 上最受欢迎的文本内容可视化方法了，它们都是基于关键词的文本内容可视化。\u003C\u002Fp\u003E\n\u003Ch4\u003E基于关键词的文本内容可视化\u003C\u002Fh4\u003EDocuBurst\u003Cp\u003E文档散（DocuBurst [5]）也是基于关键词的文本可视化，不过它还通过径向布局体现了词的语义等级。如下图所示，外层的词是内层词的下义祠，颜色饱和度的深浅用来体现词频的高低。\u003C\u002Fp\u003E\u003Cimg src=\"v2-e5c16efad12e447b7d60a356b836b6b3.png\" data-rawwidth=\"399\" data-rawheight=\"500\"\u003EDocument Cards\u003Cp\u003E文档卡片（Document Cards）[6]则是结合了文档中的关键词和关键图片进行可视化，布局在一张小卡片中。其中的关键图片是指采用智能算法抽取并根据颜色分类后的代表性图片。\u003C\u002Fp\u003E\u003Cimg src=\"v2-e6e9f35f78d7d3a1d694329fed6d1d18.png\" data-rawwidth=\"1403\" data-rawheight=\"949\"\u003E\u003Ch4\u003E时序文本内容可视化\u003C\u002Fh4\u003E\n\u003Cp\u003E时序数据是指具有时间或顺序特性的文本，例如一篇小说故事情节的变化，或一个新闻事件随时间的演化。\u003C\u002Fp\u003ESparkClouds\u003Cp\u003ESparkClouds[7]是在标签云的基础上，在每个词下面增加了一条折线图，用以显示该词的词频随时间的演变。\u003C\u002Fp\u003E\u003Cimg src=\"v2-998d5c130de93564da33f1ec7804182d.png\" data-rawwidth=\"1494\" data-rawheight=\"546\"\u003EThemeRiver\u003Cp\u003E主题河流（ThemeRiver）[8]是一种经典的时序文本可视化方法。光阴似水，用河流来隐喻时间的变化几乎所有人都能非常好地理解。\u003C\u002Fp\u003E\u003Cimg src=\"v2-9ff4714121e879548fee54427c9645eb.png\" data-rawwidth=\"746\" data-rawheight=\"458\"\u003E\u003Cp\u003E横轴表示时间，每一条不同颜色线条可视作一条河流，而每条河流则表示一个主题，河流的宽度代表其在当前时间点上的一个度量（如主题的强度）。这样既可以在宏观上看出多个主题的发展变化，又能看出在特定时间点上主题的分布。\u003C\u002Fp\u003ETIARA\u003Cp\u003ETIARA[9]结合了标签云，通过主题分析技术（latent dirichlet allocation，LDA），将文本关键词根据时间点放置在每条色带上，并用词的大小来表示关键词在该时刻出现的频率。因此用TIARA就可以帮助用户快速分析文本具体内容随时间变化的规律，而不是仅仅一个度量带变化。\u003C\u002Fp\u003E\u003Cimg src=\"v2-da1e08e6ee881aca9c423da19cf4031c.png\" data-rawwidth=\"1414\" data-rawheight=\"682\"\u003ETextFlow\u003Cp\u003ETextFlow [10]也算是 ThemeRiver 的一种拓展，它不仅表达了主题的变化，还表达了各个主题随着时间的分裂与合并。如某个主题在某个时间分成了两个主题，或多个主题在某个时间合并成了一个主题。\u003C\u002Fp\u003E\u003Cimg src=\"v2-15d5d2c79c6bfe7a5dcf30b485a87d85.png\" data-rawwidth=\"1496\" data-rawheight=\"543\"\u003EHistoryFlow\u003Cp\u003EHistoryFlow [11]则主要研究文档内容随时间的变化。下图以维基百科一篇词条的更新为例，纵轴表示文章的版本更新时间点，每一种颜色代表一个作者，在同一个时间轴上色块代表相应的作者所贡献的文字块，并且色块的位置代表该文字块在文章中的顺序。所以纵览全图就可以轻易看出文章的修改。\u003C\u002Fp\u003E\u003Cimg src=\"v2-79efe2b0cf72c9103c146279ac28dcd6.png\" data-rawwidth=\"1075\" data-rawheight=\"754\"\u003EStoryFlow\u003Cp\u003E我们看电影或小说经常说到时间线、剧情线等，都能用 StoryFlow [12]来表示，它通过层次渲染的方式，生成一个 StoryLine 布局。每条线是一条人物线，当两人在剧情中有某种联系（同时出场或其他交集）时会在图中相交，横轴表示时间。\u003C\u002Fp\u003E\n\u003Cp\u003EStoryFlow 还允许用户实时交互，包括捆绑操作、删除、移动以及直线化等等。视频演示非常精彩，需科学上网：\u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=yoq82mC30Iw\" data-editable=\"true\" data-title=\"youtube.com 的页面\"\u003Ehttps:\u002F\u002Fwww.youtube.com\u002Fwatch?v=yoq82mC30Iw\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-0902a76059629e8aeba1a533b6e8e245.png\" data-rawwidth=\"1893\" data-rawheight=\"455\"\u003E\u003Ch4\u003E文本特征分布模式可视化\u003C\u002Fh4\u003E\n\u003Cp\u003E可视化也能很好的表现文本特征。\u003C\u002Fp\u003ETextArc\u003Cp\u003ETextArc [13]用来可视化一个文档中的词频和词的分布情况。整个文档用一条螺线表示，文档的句子按文字的组织顺序布局在螺线上，螺线包围着的是文档中出现的单词，每个单词的位置由其在文本中的频率和出现位置决定，饱和度用来映射词频。所以全局出现频率越高的词越靠近中心，而局部出现频率越高的词越靠近其相应的螺线区域。选中某个单词后，自动用射线关联到它在文中出现的位置。\u003C\u002Fp\u003E\u003Cimg src=\"v2-d081294bbe2d9ecb8274fef2b7bf0f02.png\" data-rawwidth=\"1500\" data-rawheight=\"1023\"\u003ELiterature Fingerprinting\u003Cp\u003E文献指纹（Literature Fingerprinting）[14]是体现全文特征分布的一项工作。一个像素块代表一段文本，一组像素块代表一本书。颜色映射的是文本特征，下图中是句子的平均长度。从图中明显看出两人的写作风格迥异。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\"v2-4310b9bd34c3c51c0b21a0c6227ff12a.png\" data-rawwidth=\"922\" data-rawheight=\"566\"\u003E\u003Ch4\u003E情感分析可视化\u003C\u002Fh4\u003E\n\u003Cp\u003E情感分析是指从文本中挖掘出心情、喜好、感觉等主观信息。现在人们把各类社交网络当作感情、观点的出口，所以分析这类文本就能掌握人们对于一个事件的观点或情感的发展。下图是基于矩阵视图的客户反馈信息的可视化工作[15]，其中的行是指文本（用户观点）的载体，列是用户的评价，颜色表达的是用户评价的倾向程度，红色代表消极，蓝色代表积极，每个方格内的小格子代表用户评价的人数，评价人数越多小格子越大。\u003C\u002Fp\u003E\u003Cimg src=\"v2-a9f4bab0974c4afee6ec1381e5a5bcf7.png\" data-rawwidth=\"1456\" data-rawheight=\"349\"\u003E\u003Ch2\u003E文本关系可视化\u003C\u002Fh2\u003E\n\u003Cp\u003E顾名思义，文本关系可视化研究的是文本或文档集合中的关系信息，比如文本的相似性、互相引用的情况、链接等。说到关系布局，一般都是树或图。\u003C\u002Fp\u003E\n\u003Ch4\u003E文本内容关系可视化\u003C\u002Fh4\u003EWord Tree\u003Cp\u003E单词树（Word Tree）[16]很好理解，把文本中的句子按树形结构布局，可以很好的看出一个单词在文本中出现的频率和单词前后的联系。\u003C\u002Fp\u003E\u003Cimg src=\"v2-7de1fb48b12b1104772ff556a72bf8c4.png\" data-rawwidth=\"1442\" data-rawheight=\"471\"\u003EPhrase Nets\u003Cp\u003E短语网络（Phrase Nets）[17]是经典的力导向图结构，图中的节点是从文本中挖掘出的词汇级或语法级的语义单元，边代表语义单元的联系，边的方向即短语的方向，边的宽度是短语在文本中出现的频率。\u003C\u002Fp\u003E\u003Cimg src=\"v2-62f49667f89120aef9cfb29db405dcda.png\" data-rawwidth=\"1170\" data-rawheight=\"539\"\u003E\u003Cbr\u003ENewsMap\u003Cp\u003ETreeMap 也是一种经典的可视化关系布局。NewsMap 就是基于 TreeMap 展示新闻，颜色用于区分新闻类型。\u003C\u002Fp\u003E\u003Cimg src=\"v2-31aec07ed7f705967abfad463175e30a.png\" data-rawwidth=\"1122\" data-rawheight=\"643\"\u003E\u003Ch4\u003E文档集合关系可视化\u003C\u002Fh4\u003E\n\u003Cp\u003E文档数量到一定量的时候，再针对文本做可视化就不现实了，所以通常是对单个文档定义一个特征向量，利用向量空间模型计算文档间的相似性，并采用相应的投影技术呈现文档集合的关系。\u003C\u002Fp\u003EGalaxy View\u003Cp\u003E星系图（Galaxy View）[18]把一篇文档比作一颗星星，通过投影的方法把所有文档按照其主题的相似性投影为二维平面的点集，星星离的越近则代表文档越相似，因此一个星团可以非常直观地看出文档主题的紧凑和离散。\u003C\u002Fp\u003E\u003Cimg src=\"v2-105262726903f28f150553b6145b6365.png\" data-rawwidth=\"825\" data-rawheight=\"619\"\u003EThemeScape\u003Cp\u003E主题地貌（ThemeScape）[18]是对星系图的改进。地图中的等高线我相信大家都理解，把等高线加入投影的二维平面中，文档相似性相同的放在一个等高线内，再用颜色来编码文本分布的密集程度，把二维平面背景变成一幅地图，这样就把刚才星系图中的星团变成了一座座山丘。文档越相似，则分布约密集，这座山峰就越高，是不是一目了然？\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\"v2-dc2e71cc680708a2702db7526ab32643.png\" data-rawwidth=\"1370\" data-rawheight=\"748\"\u003EJigsaw\u003Cp\u003EJigsaw [19]通过提供多种视图让用户交互分析文档间的关系。最下面是文档视图，里面是单个文档的内容，最上面列表图中每一行是文档中的一个实体，连线代表实体间的关系。中间部分，左面是一副节点-链接图，白色节点表示一篇文档，其他节点是文档中的实体，链接同样代表联系；右面的散点图中，一个菱形代表两个实体的联系。\u003C\u002Fp\u003E\u003Cimg src=\"v2-cc8fa0d8618770e0e75c9e1c59524e01.png\" data-rawwidth=\"865\" data-rawheight=\"935\"\u003E\u003Ch2\u003E文本多层面信息可视化\u003C\u002Fh2\u003E\n\u003Cp\u003E多层面或多维度是指从多个角度或提取多种特征对文本集合分析。\u003C\u002Fp\u003EFaceAtlas\u003Cp\u003EFaceAtlas [20]结合了气泡集和节点-链接图两种视图，用于表达文本各层面信息内部和外部的关联。每个节点表示一个实体，用 KDE 方法刻画出气泡图的轮廓，然后用线将同一层面的实体链接起来，一种颜色代表一种实体。下图是基于医疗健康文档，展示了病名、病因、症状、诊断方案等多层面的信息，两团分别代表糖尿病1号和2号，连线是指他俩之间的并发症。\u003C\u002Fp\u003E\u003Cimg src=\"v2-de4c54c7424fd20c2eb145ac0b967fcb.png\" data-rawwidth=\"956\" data-rawheight=\"731\"\u003EParallel Tag Clouds\u003Cp\u003E平行标签云（Parallel Tag Clouds）[21]结合了平行坐标（该视图在多维数据可视化中经常使用）和标签云视图。每一列是一个层面的标签云，然后连接的折线展现了选中标签在多个层面的分布。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\"v2-dad0abdc96110f407433a841d25908c9.png\" data-rawwidth=\"1216\" data-rawheight=\"748\"\u003E\u003Ch2\u003E总结\u003C\u002Fh2\u003E\n\u003Cp\u003E今天带大家看了这么多图，相信大家一定眼花缭乱了。要理解文本数据可视化，就要先了解文本数据的特点，如何从文本中挖掘出你想要的信息，如何设计数据结构，最后再如何映射出实用又美观的视图都是你需要思考的问题。目前文本可视分析已经开始运用在各行各业，直观的交互将人类的智慧引入到数据分析的过程中，帮助我们从浩瀚的文字中跳脱出来，避免一叶障目。希望我的文章能给大家带来一些微小的帮助。\u003C\u002Fp\u003E\n\u003Ch2\u003E参考文献\u003C\u002Fh2\u003E\n\u003Cul\u003E\u003Cli\u003E[1] \u003Ca href=\"http:\u002F\u002Fgeekplux.com\u002F2017\u002F01\u002F01\u002Fbasics-of-data-visualization-the-process-model.html\" data-editable=\"true\" data-title=\"数据可视化基础——可视化流程\"\u003E数据可视化基础——可视化流程\u003C\u002Fa\u003E\u003C\u002Fli\u003E\n\u003Cli\u003E[2] \u003Ca href=\"https:\u002F\u002Fbook.douban.com\u002Fsubject\u002F25760272\u002F\" data-editable=\"true\" data-title=\"陈为 沈则潜 陶煜波. 数据可视化[M]. 电子工业出版社, 2013.\"\u003E陈为 沈则潜 陶煜波. 数据可视化[M]. 电子工业出版社, 2013.\u003C\u002Fa\u003E\u003C\u002Fli\u003E\n\u003Cli\u003E[3] \u003Ca href=\"http:\u002F\u002Fwww.wordcount.org\u002F\" data-editable=\"true\" data-title=\"WordCount\"\u003EWordCount\u003C\u002Fa\u003E\u003C\u002Fli\u003E\n\u003Cli\u003E[4] \u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26306683\" data-editable=\"true\" data-title=\"文本数据可视化（上）——从 Wordle 谈起\"\u003E文本数据可视化（上）——从 Wordle 谈起\u003C\u002Fa\u003E\u003C\u002Fli\u003E\n\u003Cli\u003E[5] Collins C, Carpendale S, Penn G. Docuburst: Visualizing document content using language structure[C]\u002F\u002FComputer graphics forum. Blackwell Publishing Ltd, 2009, 28(3): 1039-1046.\u003C\u002Fli\u003E\n\u003Cli\u003E[6] Strobelt H, Oelke D, Rohrdantz C, et al. Document cards: A top trumps visualization for documents[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(6): 1145-1152.\u003C\u002Fli\u003E\n\u003Cli\u003E[7] Lee B, Riche N H, Karlson A K, et al. Sparkclouds: Visualizing trends in tag clouds[J]. IEEE transactions on visualization and computer graphics, 2010, 16(6): 1182-1189.\u003C\u002Fli\u003E\n\u003Cli\u003E[8] Havre S, Hetzler E, Whitney P, et al. Themeriver: Visualizing thematic changes in large document collections[J]. IEEE transactions on visualization and computer graphics, 2002, 8(1): 9-20.\u003C\u002Fli\u003E\n\u003Cli\u003E[9] Wei F, Liu S, Song Y, et al. Tiara: a visual exploratory text analytic system[C]\u002F\u002FProceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2010: 153-162.\u003C\u002Fli\u003E\n\u003Cli\u003E[10] Cui W, Liu S, Tan L, et al. Textflow: Towards better understanding of evolving topics in text[J]. IEEE transactions on visualization and computer graphics, 2011, 17(12): 2412-2421.\u003C\u002Fli\u003E\n\u003Cli\u003E[11] Wattenberg M, Viégas F B. Historyflow: visualizing dynamic, evolving documents and the interactions of multiple collaborating authors, A preliminary report[J]. IBM Research, Collaborative User Experience research group, 2003.\u003C\u002Fli\u003E\n\u003Cli\u003E[12] Liu S, Wu Y, Wei E, et al. Storyflow: Tracking the evolution of stories[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2436-2445.\u003C\u002Fli\u003E\n\u003Cli\u003E[13] Paley W B. TextArc: Showing word frequency and distribution in text[C]\u002F\u002FPoster presented at IEEE Symposium on Information Visualization. 2002, 2002.\u003C\u002Fli\u003E\n\u003Cli\u003E[14] Keim D A, Oelke D. Literature fingerprinting: A new method for visual literary analysis[C]\u002F\u002FVisual Analytics Science and Technology, 2007. VAST 2007. IEEE Symposium on. IEEE, 2007: 115-122.\u003C\u002Fli\u003E\n\u003Cli\u003E[15] Oelke D, Hao M, Rohrdantz C, et al. Visual opinion analysis of customer feedback data[C]\u002F\u002FVisual Analytics Science and Technology, 2009. VAST 2009. IEEE Symposium on. IEEE, 2009: 187-194.\u003C\u002Fli\u003E\n\u003Cli\u003E[16] Wattenberg M, Viégas F B. The word tree, an interactive visual concordance[J]. IEEE transactions on visualization and computer graphics, 2008, 14(6).\u003C\u002Fli\u003E\n\u003Cli\u003E[17] Van Ham F, Wattenberg M, Viégas F B. Mapping text with phrase nets[J]. IEEE transactions on visualization and computer graphics, 2009, 15(6).\u003C\u002Fli\u003E\n\u003Cli\u003E[18] Wise J A. The ecological approach to text visualization[J]. Journal of the Association for Information Science and Technology, 1999, 50(13): 1224.\u003C\u002Fli\u003E\n\u003Cli\u003E[19] Stasko J, Görg C, Liu Z. Jigsaw: supporting investigative analysis through interactive visualization[J]. Information visualization, 2008, 7(2): 118-132.\u003C\u002Fli\u003E\n\u003Cli\u003E[20] Cao N, Sun J, Lin Y R, et al. Facetatlas: Multifaceted visualization for rich text corpora[J]. IEEE transactions on visualization and computer graphics, 2010, 16(6): 1172-1181.\u003C\u002Fli\u003E\n\u003Cli\u003E[21] Collins C, Viegas F B, Wattenberg M. Parallel tag clouds to explore and analyze faceted text corpora[C]\u002F\u002FVisual Analytics Science and Technology, 2009. VAST 2009. IEEE Symposium on. IEEE, 2009: 91-98.\u003C\u002Fli\u003E\n\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon图形控\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg data-rawwidth=\"430\" data-rawheight=\"430\" src=\"v2-3850f35ade59894c046cd7c208c615c0.png\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\" data-title=\"hi@graphicon.io\" class=\"\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（\u003Ca href=\"tel:342086343\"\u003E342086343\u003C\u002Fa\u003E）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\" class=\"\" data-editable=\"true\" data-title=\"GraphiCon\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg data-rawwidth=\"88\" data-rawheight=\"31\" src=\"v2-885fb112f568154e08bd27832d4444be.png\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\" class=\"\" data-editable=\"true\" data-title=\"知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E","updated":new Date("2017-06-26T05:08:35.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":85,"state":"published","isLiked":false,"slug":"27449788","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-26T13:08:35+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27449788\u002Fcomments"},"url":"\u002Fp\u002F27449788","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-0902a76059629e8aeba1a533b6e8e245_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27449788","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":85},"27852081":{"title":"天干物燥，小心抠图 —— A journey of matting","author":"zhang-yuan-19","content":"\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E作者：Manster\n\u003C\u002Fp\u003E\u003Cp\u003E编辑：Origamidance\n\u003C\u002Fp\u003E\u003Cp\u003EMatting是计算机科学中一个很基本的问题，在matting的历史中有不少人留下足迹，也产生了不少好的工作，这些工作反映了机器学习乃至计算机科学中很本质的一些概念。\n\u003C\u002Fp\u003E\u003Cp\u003E近年来，深度学习很火，其中非常重要的一类工作就是图像分割（Segmentation）。图像分割就是将图片中的像素分成多个类别，如果是前背景分割，那么就是分成两个类别，一个类别代表前景，一个类别代表背景，这类问题我们也称之为硬分割（Hard Segmentation）。\n\u003C\u002Fp\u003E\u003Cp\u003EMatting也是一类前背景分割问题，但是matting不是硬分割，而是软分割（Soft Segmentation），像玻璃、头发这类前景，对应像素点的颜色不只是由前景本身的颜色决定，而是前背景颜色融合的结果，matting问题的目标就是，找出前背景颜色，以及它们之间的融合程度。\n\u003C\u002Fp\u003E\u003Ch2\u003EBlue Screen Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E这篇SIGGRAPH文章的作者是Alvy Ray Smith和James F. Blinn，如果按修真的设定，这就是开宗立派的祖师爷了，这篇文章正式定义了matting问题。\n\u003C\u002Fp\u003E\u003Cp\u003EJames F. Blinn原来在JPL工作，对，就是《火星救援》里，把马特达蒙从火星救回来的的那个JPL。\n\u003C\u002Fp\u003E\u003Cp\u003EAlvy Ray Smith是图形学的先驱，他的职业生涯十分传奇，最开始在施乐做绘图程序，当然后面的故事我们都知道了，图灵奖得主艾伦凯邀请乔布斯访问施乐，接着拥有图形界面的mac正式问世，从此改变了世界。离开施乐后，老爷子给自己所在的动画公司起了名字，叫Pixar，再后来，老爷子就到了微软。在微软期间，他完成了这篇论文，当然他还是HSV颜色空间的作者。\n\u003C\u002Fp\u003E\u003Cp\u003E老爷子有个很酷的中文名字，值得讲一下。老爷子的英文是Alvy Ray Smith，Ray是光线的意思，Smith在英文中有铁匠之意，所以老爷子的英文名应该翻译为：操控光线的匠人，这既是他的名字，又暗指了他的工作，图形学不就是操作光线么？有位中国人为他起了这个十分精彩的中文名：匠白光。（此处我想起了高德纳这个名字，也是精彩之极。）\n\u003C\u002Fp\u003E\u003Cp\u003E返回这篇文章，这篇文章第一次定义了matting问题，即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EI=\\alpha F +(1-\\alpha)B\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E一张图片I，应该由前景F和前景B合成，合成的方式，就是通过透明度α来操作。使用透明度、前景和背景，我们可以合成这样的照片。\n\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-ad3def29544e2391fb8b9ea3dae68564.png\" data-rawwidth=\"1560\" data-rawheight=\"1040\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003Ematting问题研究的是，如何通过左边的I，推测出右边的三个变量α、F和B，难度可想而知。\n\u003C\u002Fp\u003E\u003Cp\u003E在这篇文章中，作者给出了Triangulation Matting的方法，整体思想也很简单，既然matting原问题那么难，不如把条件放松，使得问题简单一些。假设我知道了B和I，那么有没有可能得到α和F，于是乎，作者提出了，针对同一张前景，切换背景，来计算得到前景和透明度的方法。如下图所示：\n\u003C\u002Fp\u003E\u003Cp\u003E假设知道了两张前景背景图和对应的背景图：\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-90234c3c27bec5ec33ba8e29e4b1e5a0.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-24af4a67f07f618ad9ebdc3f91741e27.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-3c79784c9ed9b8bec36397a957ba1062.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-41f0a683c880dcf09f3869d0d07d2db3.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E应用最小二乘法，计算得到对应的透明度和前景：\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-f60b245487e6ee12fe3a2d5116d2b796.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-6b68cb5b6ec526d17ef839b048a97283.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E随后结合新的背景，就可以生成极富真实性的合成图片了：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-c66165b444951ecf22a28714e76f2b63.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-dc313464046b072d50981cfea50ce548.jpg\" data-rawwidth=\"320\" data-rawheight=\"480\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然那个时候，matting问题还主要应用于电影拍摄等场景，因此可以看出，这篇文章的操作很复杂，应用范围也很有限。\n\u003C\u002Fp\u003E\u003Cp\u003E这篇文章还介绍了一些工业界的方法，里面有一些Magic Number，本文让我深切地感受到，真正的技术壁垒，并不是方法或者理论，而是数据库，和经过无数次实验找到的Magic Number。\n\u003C\u002Fp\u003E\u003Ch2\u003EPoisson Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E2000年以后，计算机科学家逐渐将Poisson Equation引入了计算机图形学领域，尤其是Poisson Image Editing这篇文章：\n\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-2a4eac40ba954c0948126952c09dca43.png\" data-rawwidth=\"1580\" data-rawheight=\"816\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E随后2004年的SIGGRAPH上，就有了Poisson Matting这篇文章。这篇文章的作者列表上，有Sun Jian，Jia Jiaya，Tang Chi-Keung，Shum Heung-Yeung。前段时间MSRA周年庆，不少大牛都来了，读这些大牛的paper，就仿佛阅读《三国志》一样，你可以很清晰地看到，这些人的名字是如何一个一个串联在一起，推动计算机行业发展的。\n\u003C\u002Fp\u003E\u003Cp\u003E回到这篇文章，随着matting技术的发展，学术界也形成了一套解决matting的数据集、评价体系和标准流程，其中最特殊的一点是，使用tri-map作为辅助工具。tri-map分为三种颜色，黑色代表完全背景（此处α为0），白色代表完全前景（此处α为1），灰色代表不确定区域（α待定）。\n\u003C\u002Fp\u003E\u003Cp\u003E这篇文章，对matting等式进行观察后，两边求导，得到如下的式子：\n \u003Cequation\u003E\\nabla I=(F-B)\\nabla \\alpha+\\alpha\\nabla F+(1-\\alpha)\\nabla B\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E在这里我们假设∇F和∇B很小，所以式子就简化成如下的形式：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\nabla \\alpha\\approx \\frac{1}{F-B}\\nabla I\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E于是乎，我们就能写出一个这样的能量方程：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\alpha^*=argmin_\\alpha\\int\\int_{p\\in \\Omega}||\\nabla\\alpha_p-\\frac{1}{F_p-B_p}\\nabla I_p||^2dp\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E其中 \u003Cequation\u003E\\Omega\u003C\u002Fequation\u003E 指的就是不确定区域。上述问题可以很自然地转成微分方程去做，具体地，转为泊松方程求解，这也是这个方法叫Poisson Equation的原因。当然，这篇文章发表的时间段，也正是研究人员将泊松方程系统地引入图像处理的时间段，在计算机历史上，我们经常可以看到，将数学和物理的研究成果，借鉴到计算机科学的故事。\n\u003C\u002Fp\u003E\u003Cp\u003E泊松方程有一个非常美妙的定理，即如果指定了边界上的Dirichlet条件或者Neumann条件，那么泊松方程在区域内的解是唯一可确定的，因此当我们知道不确定区域内的密度函数，和边界上的\u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 值，我们就可以计算出这个区域内的 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 值。于是乎，我们定义边界条件：\n \u003Cequation\u003E\\alpha_{\\partial \\Omega}=1 \\quad p\\in\\Omega_F\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\alpha_{\\partial \\Omega}=0\\quad p\\in\\Omega_B\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E而密度函数是：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\Delta \\alpha=div(\\frac{\\nabla I}{F-B})\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E随后我们就可以通过Gauss-Seidel算法来求解得到 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 。\n\u003C\u002Fp\u003E\u003Cp\u003E当然这里还有一个小问题是，F和B我们是不知道的，在这里采用了一种非常直观的方式，就是使用最近邻的方法，确定F和B的值，当然随后使用filter平滑F-B，来保证F-B的变化不会太突兀。\n\u003C\u002Fp\u003E\u003Cp\u003E最后整个算法是一个迭代式的算法，通过多次迭代，来保证 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 达到一个比较稳定的状态。\n\u003C\u002Fp\u003E\u003Cp\u003E最后的效果图是这样的：\n\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-6db178a1fd5d998ef41232619a7e585b.png\" data-rawwidth=\"400\" data-rawheight=\"320\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-60941882131cc2324ec0306980db56ff.png\" data-rawwidth=\"400\" data-rawheight=\"320\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EBayes Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E贝叶斯公式算是这个世界上应用最广泛的公式了，也是机器学习非常基础的一个工具。\n\u003C\u002Fp\u003E\u003Cp\u003Ematting问题可以直观地表示为如下形式：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eargmax_{F,B,\\alpha}P(F,B,\\alpha|C)=argmax_{F,B,\\alpha}P(C|F,B,\\alpha)P(F)P(B)P(\\alpha)\u002FP(C)\u003C\u002Fequation\u003E\u003Cequation\u003E=argmax_{F,B,\\alpha}L(C|F,B,\\alpha)+L(F)+L(B)+L(\\alpha)\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003EL是取log之意，这个操作的意义在于：由于概率都是[0,1]，如果大量概率连乘，在计算机中的表示会变为0，同时由于P(C)是常量，因此可以忽略。\n\u003C\u002Fp\u003E\u003Cp\u003E那么接下来的任务就是，对 \u003Cequation\u003EL(C|F,B,\\alpha),L(F),L(B),L(\\alpha)\u003C\u002Fequation\u003E 建立模型，建立的模型可以多种多样，只要reasonable即可。所有应用贝叶斯公式和最大后验概率（MAP）的方法，关键就在于对概率的定义。\n\u003C\u002Fp\u003E\u003Cp\u003E比如下图的定义表示：对于预测的 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 、F和B，它们融合的结果和真实的图像越接近，那么概率越高。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EL(C|F,B,\\alpha)=-||C-\\alpha F-(1-\\alpha)B||^2\u002F\\sigma^2_C\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于L(F)来讲，我们要建立的是前景颜色的概率分布，表示当前选定的F概率有多大，在文章中，它使用一种聚类方法，来对前景的颜色分布建模。\n\u003C\u002Fp\u003E\u003Cp\u003E对于L(B)来讲，文中说针对不同类型的matting问题，可以使用不同的定义，在这里，我们直接使用L(F)的定义。\n\u003C\u002Fp\u003E\u003Cp\u003E对于 \u003Cequation\u003EL(\\alpha)\u003C\u002Fequation\u003E,这篇文章假设 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 的分布是平均的，因此我们可以在MAP中忽略这一项。\n\u003C\u002Fp\u003E\u003Cp\u003E最后就是求解这个MAP问题了，对于凸优化问题，我们可以直接使用导数为0的方式求解。\n\u003C\u002Fp\u003E\u003Cp\u003E当然由于\u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 会和F、B相乘，因此这个MAP问题比较难，所以文章采用两段法求解，先固定 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 求解F、B，随后固定F、B，求解 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E ，迭代这个过程，直到结果比较稳定。\n\u003C\u002Fp\u003E\u003Cp\u003E结果是这样的：\n\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-24d4d9ac4a09b5919d1645e72c1d277e.png\" data-rawwidth=\"420\" data-rawheight=\"282\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-59d0d75176e58fb7cdb395d2805d786a.png\" data-rawwidth=\"420\" data-rawheight=\"282\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-12691eff2c3d271ae67a570414c82608.png\" data-rawwidth=\"420\" data-rawheight=\"282\"\u003E\u003Ch2\u003ELearning Based Digital Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E随着机器学习的兴起和数据集的丰富，关于matting的工作也转为了数据驱动的思路，在这里我们介绍基于半监督学习的方法。\n\u003C\u002Fp\u003E\u003Cp\u003E半监督学习的核心在于：在给定标记数据的情况下，预测结果不止和标记数据有关，还和未标记数据有关，更精确地说，和数据的相对位置有关。\n\u003C\u002Fp\u003E\u003Cp\u003E如果能建立一种 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 和像素点颜色的映射，那么给定一个像素点，通过它的颜色来预测 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E ，是一件多么美妙的事情啊！于是就有了本文的解决方案。\n\u003C\u002Fp\u003E\u003Cp\u003E本文有两个假设：\n\u003C\u002Fp\u003E\u003Cp\u003E1、任何未知的像素的 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E ，是周围像素 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 的线性组合，从而我们可以将这种线性组合关系表达为矩阵的形式，注意：在这里我们使用了半监督学习中相对位置的概念；\n\u003C\u002Fp\u003E\u003Cp\u003E2、假设 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 和该像素点的颜色向量呈线性相关关系；\n\u003C\u002Fp\u003E\u003Cp\u003E于是乎，对于每一个点的 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E ，我们期望使用周围像素 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 的线性组合来预测，这个线性组合的参数，又是通过学习得到的，这个学习的过程，就是建立 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 和颜色特征向量之间相关关系的过程。\n\u003C\u002Fp\u003E\u003Cp\u003E这个方法更美妙的一点在于，在建立 \u003Cequation\u003E\\alpha\u003C\u002Fequation\u003E 和颜色特征向量的关系时，问题的解析解中出现了内积的形式，这时就可以引入Kernel Trick，将维度升高，去学更复杂的关系，Kernel Trick也是机器学习中极具数学之美的内容。\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-64624c08f1689b8bcfb15f72ecca37c0.png\" data-rawwidth=\"800\" data-rawheight=\"640\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-41d0f28a39a75c230f4f1bcfe7d23b96.png\" data-rawwidth=\"800\" data-rawheight=\"640\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-b7a0354b2bf244136250582b4bb2584e.png\" data-rawwidth=\"800\" data-rawheight=\"640\"\u003E\u003Ch2\u003E\nKNN Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E还记得大三时在人人上，看到冠一姐和黄神讨论SBTree时，知道了Chen Qifeng这个人，顿时膜拜了起来orz。后来在GraphiCon里听士玮兄回忆，Chen Qifeng带他们训练的往事，士玮兄讲了一句话，我很赞同：“发现以前的偶像居然跟我在同一领域，有点小激动！”\n\u003C\u002Fp\u003E\u003Cp\u003E就是这些优秀的人，给了我勇闯新世界的勇气。\n\u003C\u002Fp\u003E\u003Cp\u003E这篇文章虽然实现起来很简单，但是信息量却很大，作者在文中很细致地讨论了idea和motivation，以及operation，而且这篇文章的目标也不是一般的Natural Image Matting，还涉及到了multiple layer matting。\n\u003C\u002Fp\u003E\u003Cp\u003E真要细细说来，不知何年何月，所以只是在此提及。\n\u003C\u002Fp\u003E\u003Ch2\u003EDeep Automatic Portrait Matting\n\u003C\u002Fh2\u003E\u003Cp\u003E传统的matting方法，有个比较大的限制，就是需要提供tri-map，而提供tri-map的方式，往往是人机交互，总是劳烦用户动手，这是件不太理想的事情，end-to-end方法才是大家喜闻乐见的。\n\u003C\u002Fp\u003E\u003Cp\u003E当下Deep Learning如火如荼，深度学习引出了一大批end-to-end的工作，这篇来自Shen Xiaoyong博士的文章，使用过往的matting方法，构造了一个portrait image数据库，同时在此基础上，提出了一种基于CNN的matting方法，深度学习网络会自己预测tri-map，因此用户只需要提供图片，就可以得到matting结果了。\n\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-b6b7ff003b08564ee4865e73d308c3fc.png\" data-rawwidth=\"1307\" data-rawheight=\"354\"\u003E\u003Cp\u003E于是，回头看看，matting经过了二十多年的变革，从最初需要提供多张背景图片和原图，到需要用户交互提供tri-map，最后到当下的end-to-end solution，this is an amazing journey!\n\u003C\u002Fp\u003E\u003Ch2\u003E从Matting到Dehaze\n\u003C\u002Fh2\u003E\u003Cp\u003E上个月在知乎上看到有个问题，博士三年还没发paper是一种怎样的体验，底下有个回答讲了He Kaiming的故事。真伪不谈，但是从He Kaiming的文章中，我们明显可以看到matting问题的影子。\n\u003C\u002Fp\u003E\u003Cp\u003EHe Kaiming那篇著名的Single Image Haze Removal Using Dark Channel Prior，里面把包含雾霾的图像建模成这个样子：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EI(x)=J(x)t(x)+A(1-t(x))\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E其中I是图像，J是场景辐射强度，A是global atmospheric light，t可以理解为相对权重，我们希望得到去雾后的图像，就是J。\n\u003C\u002Fp\u003E\u003Cp\u003E可以看出，这个问题和matting一摸一样。He Kaiming这篇文章的贡献就在于，他发现了暗通道先验，而有了这个异常良好的性质，这个很像matting的问题就没那么病态了，通过一些假设，我们可以直接使用矩阵运算，得到J。\n\n\u003C\u002Fp\u003E\u003Cimg src=\"v2-62b59e8dacab7d5b2916150e4cce4017.png\" data-rawwidth=\"759\" data-rawheight=\"172\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然为了让最后的图像效果更好，He Kaiming又做了Guided Filter，这个工作的精髓就是，岭回归。\n\u003C\u002Fp\u003E\u003Cp\u003EHe Kaiming和Sun Jian的工作，从Poisson Matting，到Single Image Haze Removal Using Dark Channel Prior，到ResNet，给我的感觉就是，对问题的洞察极其深刻，使用的方法又极其简单，颇有一种重剑无锋，大巧不工的感觉。\n\u003C\u002Fp\u003E\u003Ch2\u003E结语\n\u003C\u002Fh2\u003E\u003Cp\u003EMatting对我影响很大，这个问题很基本也很难，于是前辈们使用了各种各样的假设去求解，这些工作让我大开眼界，极大地影响了我的研究思路。\n\n\u003C\u002Fp\u003E\u003Cp\u003E当然，有关matting，还有很多漂亮的工作，我只很浅薄地介绍了我最喜欢的几个方法。至于matting的详细survey，请阅读Wang Jue的Homepage：\u003Cu\u003Ehttp:\u002F\u002Fwww.juew.org\u002F\u003C\u002Fu\u003E。\n\u003C\u002Fp\u003E","updated":new Date("2017-07-12T15:39:44.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":33,"likeCount":403,"state":"published","isLiked":false,"slug":"27852081","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-12T23:39:44+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27852081\u002Fcomments"},"url":"\u002Fp\u002F27852081","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-2f2e52657bf850fac2c1e1732e0cd810_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27852081","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":33,"likesCount":403},"28014177":{"title":"实时地播放动画的五维光场","author":"zhang-xin-xin-92-11","content":"\u003Cp\u003E本来这也是笔者最想做的项目之一， 却被迪士尼的人抢先做了第一步， 那笔者就来介绍一下这一个工作， 具体介绍以前， 我先说一个结论：\u003Cb\u003E 人类离自由观察电影级画质的3D渲染又近了一步。\u003C\u002Fb\u003E光场的生成以及vr端的渲染应该准备成为标准技术，未来的三年内，不具备光场播放能力的图形引擎将不应该作为vr电影制作人的选择。\u003C\u002Fp\u003E\u003Cp\u003E以前，当我们说到自由视角的3D漫游时， 我们首先想到的是基于物理的渲染算法， 人们从三角mesh开始，经过顶点变换，透视变换，一层又一层的shader，最后得到三维画面，这一个过程， 我称之为基于三维数据和光照模型的渲染。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1560\" src=\"v2-a4743e5c50d8791a6cd659c247b92ff3.png\" data-rawwidth=\"2560\"\u003E\u003Cp\u003E图1. 基于三维数据的渲染。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这一类的渲染算法解决了大部分人们观察虚拟3D世界的需求，也广泛地应用在各种游戏和虚拟现实设备中， 但是这种渲染始终有一个瓶颈：基于数据量和计算时间的限制，它们始终不可能在一个家用机上达到无瑕疵的“电影级别画质”。当说到影视级别画质的时候，我说的是以下这种水准的:\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1137\" src=\"v2-ad330a53a4dc3becebd470238a421f1e.png\" data-rawwidth=\"1449\"\u003E\u003Cp\u003E复杂的全局光照, 软阴影, 比像素还小的三角面片, brdf的反射, 材质.....想要利用现有的计算机计算能力实时渲染这样的画面, 就是痴人说梦.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E然而如果目的仅仅是自由地观察影视级画质的3D动画的话, 并不是没可能, 这就要借助于\u003Cb\u003E光场渲染\u003C\u002Fb\u003E\u003Ci\u003E.\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E何为光场渲染? 光场渲染是一种基于图像的渲染技术, 简单地说, 对于一个三维场景, 如果我们用一个影视级别的离线渲染算法在一个view volume(观察范围)内, 把所有可能的相机角度, 相机位置的图都预先渲染好存储下来,  在接下来的实时绘制里, 对于来自于任意机位的请求, 只需要去想办法插值已经存下来的\"照片\"即可. 相机可能的变数包括了xyz坐标以及theta, phi 观察角度, 所以这就是一个在限定范围内的\u003Cb\u003E五维光场\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以一个准确的光场渲染包括了两个阶段： 阶段一 光场信息的准备与压缩，   阶段二 实时的view synthesis。 \u003C\u002Fp\u003E\u003Cp\u003E其中阶段一可以十分耗时， 并且可以为动态的动画场景来准备光场(逐帧光场), 除此以外, 我们希望光场数据的采集是尽可能少冗余的(优化采样相机的位置)， 以及压缩的算法是可以支持解压时随机访问的（比如哈夫曼编码或者jpeg压缩之类的就绝对不可行，在整个数据被解压前，不能对任意访问位置随机读取）\u003C\u002Fp\u003E\u003Cp\u003E阶段二则有以下这个基本要求: 实时地重建所访问的观察角度和观察点的图像数据， 要求清新， 准确， 特别是边界处不能模糊。（对于来自于CG渲染地数据， 是有一部分天然优势的）。\u003C\u002Fp\u003E\u003Cp\u003E为了更好的展开理解为何在CG数据上做光场渲染更有优势这个话题， 我先让大家见识一下在真实采集的照片上做光场渲染的劣势：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"270\" src=\"v2-51b12c0501d2da1c1b70723156ede68c.gif\" data-rawwidth=\"480\" data-thumbnail=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-51b12c0501d2da1c1b70723156ede68c_b.jpg\"\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E动图1： 来自于论文 Correspondence and Depth-Image Based Rendering， 作者是C Lipski 等。 在这个论文中， 作者指出如果你有某个场景的一系列照片， 你可以从中恢复出这个场景的3Dview, 而当你能够足够精确的分析出场景的深度信息时， 最终3D free view的重建就能更加的平滑和自然。 注意看， 此处左边算法恢复出的3D view是跳变的， 而右边应用深度信息的算法恢复出的3D view是自然平滑变化的。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以这里就提到了一个重要的信息--深度！！什么？ 准确的深度？  这不就是我大CG渲染的强项么， 逐像素准确的深度值， 要多少有多少。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以此时，我们就有了一个光场渲染的集大成流水线： \u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fwww.disneyresearch.com\u002Fpublication\u002Freal-time-rendering-with-compressed-animated-light-fields\u002F\"\u003EReal-time Rendering with Compressed Animated Light Fields\u003C\u002Fa\u003E(第一遍发忘记给链接了， 感谢 \u003Ca class=\"member_mention\" href=\"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F0b21747b1fec79ad8af7e68a2b1ff681\" data-hash=\"0b21747b1fec79ad8af7e68a2b1ff681\" data-hovercard=\"p$b$0b21747b1fec79ad8af7e68a2b1ff681\"\u003E@叛逆者\u003C\u002Fa\u003E 评论处给的链接）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"674\" src=\"v2-2eac6ce890baf164dcc6f73ef8e68327.png\" data-rawwidth=\"2304\"\u003E\u003Cp\u003E第一步： 准备CG场景， 一个动画的场景。\u003C\u002Fp\u003E\u003Cp\u003E第二步： 在一个规定的视体范围内， 合理优化地预测能够cover整个场景的相机机位们， 并从所有机位，用电影级真实的渲染算法渲染这个动画的场景， 保存下逐相机的， 高清的cubmap，以及depth-cubmap\u003C\u002Fp\u003E\u003Cp\u003E第三步：根据时序连续这个原则， 来压缩存储下来的动态光场数据， 该论文中， 数据的压缩比达到了150:1.\u003C\u002Fp\u003E\u003Cp\u003E第四步：一个实时的， 基于ray marching的算法， 来重建任意角度的相片数据， 基于存储下来的光场， 该论文中的gpu算法达到了90fps。\u003C\u002Fp\u003E\u003Cp\u003E第一第二步是标准的影视级真实的图形渲染算法， 我将假设读者已知并跳过。\u003C\u002Fp\u003E\u003Cp\u003E其中第三步是这个论文的重点， 也是最有意义却枯燥的地方， 我将跳过这一部分的内容。\u003C\u002Fp\u003E\u003Cp\u003E我就来讲一下如果大家已经有了逐帧的光场数据， 该如何来进行实时渲染， 也就是论文中的第四步。在我讲之前， 先给大家看一下论文中的一些结果：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"256\" src=\"v2-83febb1dd9852cba8d0149eb36d88ba2.gif\" data-rawwidth=\"480\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-83febb1dd9852cba8d0149eb36d88ba2_b.jpg\"\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E动图2：一个短小的机器人动画， 旋转的镜头由用户实时调整观察点得到，算法实时地渲染了这个场景的光场数据。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"204\" src=\"v2-105488c58141024fad3f872c745684b2.gif\" data-rawwidth=\"384\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-105488c58141024fad3f872c745684b2_b.jpg\"\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E动图2：一个复杂的动态光场， 包括了重现复杂的全局光照以及反射高光等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E看完了效果， 我来简介一下他们所使用的实时光场渲染算法， 首先这个算法假设用户已经有了第i帧的光场数据， 光场数据由N个cubmap来表示， 其中第j个cubemap保存了第j个相机预渲染下来的数据， 包括了高清的24bit RGB 以及32bit depth（注意是32bit的深度， 不是游戏引擎常用的8half精度的深度）\u003C\u002Fp\u003E\u003Cp\u003E算法第一步， 渲染一个等屏幕大小的quad， 并由此进入pixel shader。\u003C\u002Fp\u003E\u003Cp\u003Epixel shader中， 进行逐像素 ray marching。marching的步长由论文里的一个非线性函数给出。\u003C\u002Fp\u003E\u003Cp\u003E对每一次marching到的待测点x，遍历所有的cubemap， 计算dir = x - c_j， texture lookup cubemap， 求预渲染视图中的深度值z2， 如果：x.z&gt;z2, 说明存在光线物体相交, 则插值颜色信息, 权重函数通过深度值的差别, 和不同的cubemap的距离的差别等求出, 最后的颜色是来自于光场的不同cubemap中插值到的颜色的加权和.\u003C\u002Fp\u003E\u003Cp\u003E对, 就是这么简单, 一个pixel shader就能够渲染影片级别真实的动画了, \u003Cb\u003E当然前提是你得有光场数据.....这个数据有多大呢?   对于一个30秒的动画, 光场的大小大概是40G....还是压缩之后. 逐帧光场的大小怎么也得有个几G.\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以未来想看光场动画\u002F电影, 我们对于GPU的显存和带宽的要求是极高的!!!!! NVIDIA又有事可做了!!!  怎么的也得64G显存, 10G\u002Fsec的带宽吧!!\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后, 我来说一说这篇开山论文还无法做到的以及迫切需要解决的很多事: \u003C\u002Fp\u003E\u003Cp\u003E1. 反射的平滑渲染, \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-07373fdf2cf8f64e0888af6cc29b6900.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F871971991173869568\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"871971991173869568\"\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003Edisney的这篇论文中并没有对反射进行任何特殊的处理, 所以他们的反射是有ghost motion的, 还需要提高姿势水平.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E2. 复杂的特效以及半透明物体, 利用深度来重建光场, 其逻辑假设是一个world space坐标和一个view direction对应一个颜色, 这一点在有复杂的场景特效比如运动烟雾, 爆炸燃烧烟雾造成的半透明遮挡, 透镜 等存在的时候就站不住脚了, 对于这些场景特效的光场表达以及渲染, 显然还有很多研究应该被完成. \u003C\u002Fp\u003E","updated":new Date("2017-07-21T22:05:17.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":15,"likeCount":151,"state":"published","isLiked":false,"slug":"28014177","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-07-22T06:05:17+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28014177\u002Fcomments"},"url":"\u002Fp\u002F28014177","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-ad330a53a4dc3becebd470238a421f1e_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F28014177","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":15,"likesCount":151},"29029860":{"title":"在Windows 10 下用源码编译基于GPU的tensorflow.dll","author":"zhang-xin-xin-92-11","content":"\u003Cp\u003E笔者因为想尝试一些机器学习方面的idea，所以于TensorFlow产生了交集， 笔者搞计算机图形学，所以更多地与windows和visual studio打交道， 于是想在windows和visual studio环境下编译出tensorflow的gpu版本。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E但是整个互联网对于在windows和vs2015下编译tensorflow的信息少的可怜， 甚至在tensorflow的官方git hub页面， 也宣称没有在windows+vs环境下成功build出tensorflow GPU。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以， 似乎， 为了搞点儿机器学习的算法，我们就不得不放弃可爱的windows屈从于Linux了？ -- 就因为那些不搞游戏编程的人喜欢用Linux？不可能的。\u003C\u002Fp\u003E\u003Cp\u003E在开始这篇文章前， 我首先要讲一下为什么要编译tf源码。（从此以后tf就是tensorflow的简称）。\u003C\u002Fp\u003E\u003Cp\u003E为此， 我首先要声明，\u003Cb\u003E 如果读者不想使用tensorflow的高级功能的话， 在windows上安装它的python接口就可以了， 很简单， 也很方便， 同样是带了gpu支持的，是tensorflow开发者对于windows python预编好的接口， 对此， 有以下几点需要注意：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E必须先安装好cuda8.0， 其它版本不建议， cuda8.0可从nvidia的官网获得， 使用默认安装路径即可\u003C\u002Fli\u003E\u003Cli\u003E之后安装cudnn5.0， 任何其它版本不适用。 因为nvidia提供的cudnn只是一个 .zip文件, 所以解压后把里头的 \\bin; \\include; \\lib; 文件夹合并到cuda的安装目录下, 比如我的为: C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v8.0\\\u003C\u002Fli\u003E\u003Cli\u003E之后安装python， 必须是\u003Cb\u003Epython3.5\u003C\u002Fb\u003E， 任何其它版本不可。安装python时，请勾选“添加系统Path”。\u003C\u002Fli\u003E\u003Cli\u003E接下来, 打开你的cmd, 输入pip install update pip; 这个指令会自动更新python的pip功能，帮助它识别tensorflow软件包。\u003C\u002Fli\u003E\u003Cli\u003E接下来， pip install update numpy。\u003C\u002Fli\u003E\u003Cli\u003E最后，pip install update tensorflow-gpu。\u003C\u002Fli\u003E\u003Cli\u003E此安装简单易懂， 很容易完成， 安装好的tensorflow绝对能跑（在python环境下）， 比如此时， 你可以:\u003Cbr\u003E&gt;python \u003Cbr\u003E&gt;import tensorflow as tf\u003Cbr\u003E&gt;tf.Session()\u003Cbr\u003E这时候tensorflow就会输出你的显卡型号等的信息. \u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cp\u003E\u003Cb\u003E那么, 为什么要编译tensorflow的源代码呢????\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E-- \u003C\u002Fb\u003E因为我想使用tensorflow的高级功能, 其中包括编写tensorflow的插件, 这个工作流程最简化如下所示: \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-9c64e5f721ffd1eeee7cd64c7470526a.png\" data-rawwidth=\"831\" data-rawheight=\"559\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以, 如果不能在自己的机器上编译出tensorflow的话, 那么tensorflow的真正功能, 相当于只用了很小的一部分, 因为它提供的interface就算再好再全也是有限的, 而扩展的那部分能做的是, 理论上是无限的. \u003Cb\u003E比如完全有可能利用Unreal Engine的插件把UE的内部数据直接导入到tensorflow里去, 也有可能在unity里直接造出一个基于tensorflow的插件. \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E到此为止总结一下我们面临的问题: 为了使用tf的高级功能, 想在windows上编译tf-gpu, 但是网上存在的信息实在少之又少, 所以笔者开始了漫长的征程. 终于成功的build出了tensorflow.dll以及tensorflow.lib. 下面是我详细的编译过程:\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E让我们开始一个相对来说还算干净的windows 10. \u003Cb\u003E比如我正好因为一些原因重装过系统.\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E安装visual studio 2015.  注意, 请安装这个版本. \u003C\u002Fli\u003E\u003Cli\u003E下载官方的cuda8.0, 默认安装路径.\u003C\u002Fli\u003E\u003Cli\u003E下载cudnn5.0 for CUDA8.0, exactly. 其它版本皆不可. 讲解压后的文件合并到cuda的安装目录下.\u003C\u002Fli\u003E\u003Cli\u003E下载并安装git bash.   \u003C\u002Fli\u003E\u003Cli\u003E下载并安装cmake 3.9\u003C\u002Fli\u003E\u003Cli\u003E下载并安装swig, Windows users should download \u003Ca href=\"http:\u002F\u002Fprdownloads.sourceforge.net\u002Fswig\u002Fswigwin-3.0.12.zip\"\u003Eswigwin-3.0.12\u003C\u002Fa\u003E which includes a prebuilt executable.\u003C\u002Fli\u003E\u003Cli\u003E进入你的git bash, 输入git clone \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow.git\"\u003Ehttps:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow.git\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-f3fc0de9caeab35fe20b92c2dc2b4c50.png\" data-rawwidth=\"579\" data-rawheight=\"368\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E回车, 此时git会自动下载tensorflow 源代码, 成功的话, 你的users\\xxx\\ 目录下会多出tensorflow的文件夹. \u003C\u002Fli\u003E\u003Cli\u003E打开你的cmake gui, 因为有很多选项, 所以我不建议在command line 里头调用. \u003Cbr\u003E在打开的界面, 给予tensorflow的cmakeList的位置和你想要把VC项目放到哪里去的文件夹， 典型的如下所示， 请勾选grouped 和advanced 两个tag\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-1c163cfa2cb8a61a98a53f81fbf47661.png\" data-rawwidth=\"604\" data-rawheight=\"141\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E接下来， 点击cmake的config，选择visual studio2015作为你的build 目标， 点击finish\u003C\u002Fb\u003E。\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-537cce30e17e0f986e40562479256d5b.png\" data-rawwidth=\"823\" data-rawheight=\"634\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E此时你一定会看见一些error， 不要慌张， 大多是因为swig没找到或者python没找到或者cuda没找到之类的信息， 因为我们用的是gui版Cmake， 这些问题很好解决！！！\u003Cbr\u003E比如: \u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-61f4313a7feb93deb444a44767fa8cf3.png\" data-rawwidth=\"603\" data-rawheight=\"646\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E此时只需要手动输入所相关的路径， 如图(我这种懒鬼会把.exe直接装到桌面上的.....)\u003C\u002Fb\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-fe79dc217f0b707bdc6917f5f60fb71c.png\" data-rawwidth=\"626\" data-rawheight=\"700\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E此时你再点config, 就不会出错了, 此时你的设置大概是这样:\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-1e7c4568b973d3e7358669f33777e6bf.png\" data-rawwidth=\"606\" data-rawheight=\"753\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E展开tensorflow 这个tag, 并做如下勾选\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-cadcdcebcef5cbaeaf85f721a5c196b9.png\" data-rawwidth=\"573\" data-rawheight=\"266\"\u003E\u003Cul\u003E\u003Cli\u003E此时如果再点config那个按钮, 你的界面应该变成这样, 多出了有关CUDA的tag!!\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-1c461b855a9208fd2d689bcfbeaa1384.png\" data-rawwidth=\"601\" data-rawheight=\"619\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E对于CUDA, 我们并不需要什么特别的设置, 此时点Generate, Cmake就会自动生成相应的tensorflow.sln, 这个可爱的, 我们可以用visual studio 2015打开的好东西!!!!!!!\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003EGenerate完后点击Open Project. \u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-26e48943b039d2f022aefa9de3bb3564.png\" data-rawwidth=\"527\" data-rawheight=\"661\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E理论上在ALL BUILD 那里右键BUILD就可以,    但是....................如果这样就能够build成功了, 我还tmd需要写这篇文章吗?????? 因为tensorflow的作者根本就没考虑windows的缘故, 就这样build一般是build不成功的!!!!!\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E此处有几点必须注意的!!!visual studio一般是默认多线程编译的, 由于tensorflow这个项目文件的dependency过于复杂, 在编译到某些项目的时候会出现:\u003Cb\u003E Faltal Error \"compiler is out of heap space\", \u003C\u002Fb\u003E看到这个问题, 不要慌张, 因为你的背后有这篇强大的攻略!!\u003C\u002Fp\u003E\u003Cp\u003E去你的tools --&gt; options:\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-83b01ecf3a6d1c4895e8288c5daa412b.png\" data-rawwidth=\"1521\" data-rawheight=\"839\"\u003E\u003Cp\u003E在弹出的对话框里如下设置：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-5947ed359bf5a77b6bda3610dff5d6b1.png\" data-rawwidth=\"1091\" data-rawheight=\"684\"\u003E\u003Cp\u003E然后再去build， 此时， 笔者很不幸的告诉你， 尽管已经这样设置， 还是有可能build不成功的！！！！！有一个很特殊的项目， 由于dependency过于复杂， 仍然会 \u003Cb\u003EFaltal Error \"compiler is out of heap space\"\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E这个该死的项目就是 \"tf_core_kernels\" , \u003C\u002Fb\u003E请对它特殊照顾！！！ 在你的 ALL BUILD编译完不管报了什么错以后, 请独立对这个项目再编译一次, 如图所示:\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-17a7c4a8724f3b382811fae2f39bc2d1.png\" data-rawwidth=\"998\" data-rawheight=\"827\"\u003E\u003Cp\u003E这样做可以把之前很多没有编译出来的 *.obj 代码给编译出来. , 为了保险起见, 请去重新单独编译(project only build)tensorflow_static 这个项目, 这个项目会编译出tensorflow_static.lib. 在编译这个项目的过程中, 如果有遇到缺少任何xxx.obj, 请按照那个名字搜索xxx.cc文件, locate到相应的项目, 并project only build 那个项目.\u003C\u002Fp\u003E\u003Cp\u003E如果你完成了build tensorflow_static 这个项目, 在你的tensorflow 这个项目(目标是dll), 下会成功的多出tensorflow.def这个source, 这是你tensorflow_static的编译所得!!! 如图:\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-1593d8fd3ed5ebf4af77cf368fe9eead.png\" data-rawwidth=\"332\" data-rawheight=\"108\"\u003E\u003Cp\u003E此时你可以右键, project only, build tensorflow, \u003Cb\u003E然而, 愚昧的你真的以为这次就终于可以了么?????\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E错!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E由于写那个cmakeList的人没有考虑周全, 所以此处你会有一个unresolved symbol\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-3c3759e0dac78b1f4d0c99fa676f9e83.png\" data-rawwidth=\"1503\" data-rawheight=\"177\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E照理说这个symbol应该是属于tf_c 或者tf_core_cpu那两个项目的, 而且我们已经针对项目only重新build过了, 应该有才对啊.........到底发生了什么????? 原来, tensorflow这个最终的boss项目, 在生成的时候, 忘记把编译好的 *.obj给包含进去了!!!!!!!\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-b69d224d30577f82117371bee17acaa3.png\" data-rawwidth=\"1166\" data-rawheight=\"765\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-bbe792fc243864d0d31cabc9a0c8c668.png\" data-rawwidth=\"942\" data-rawheight=\"526\"\u003E\u003Cp\u003E然后, 再 右键, project only, build tensorflow, 这次你终于可以成功的build了!!!!!!!!!!!!!!!!!!!!!!!!!!!\u003C\u002Fp\u003E\u003Cp\u003ECreating library C:\u002FUsers\u002Fzxx_1\u002Ftensorflow\u002Ftensorflow\u002Fcontrib\u002Fcmake\u002Fbuild\u002FRelease\u002Ftensorflow.lib and object C:\u002FUsers\u002Fzxx_1\u002Ftensorflow\u002Ftensorflow\u002Fcontrib\u002Fcmake\u002Fbuild\u002FRelease\u002Ftensorflow.exp\u003C\u002Fp\u003E\u003Cp\u003Etensorflow.vcxproj -&gt;C:\\Users\\zxx_1\\tensorflow\\tensorflow\\contrib\\cmake\\build\\Release\u003Cbr\u003E\\tensorflow.dll\u003C\u002Fp\u003E\u003Cp\u003E看到这两行字, 心情还是无比激动的. 这意味着接下来你终于可以自由得飞翔了. \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E在笔者尝试编译的过程中, 这篇文章的帮助很大, 虽然他只build了无gpu的版本, 但还是起到了很多参考作用的, 虽然在看了我的build大法后完全不用去看原来那个文章, 但还是在此提及以作感谢.   \u003Ca href=\"https:\u002F\u002Fjoe-antognini.github.io\u002Fmachine-learning\u002Fbuild-windows-tf\"\u003EBuilding a static Tensorflow C++ library on Windows – Joe Antognini\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-03T23:33:56.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":53,"likeCount":220,"state":"published","isLiked":false,"slug":"29029860","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-04T07:33:56+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29029860\u002Fcomments"},"url":"\u002Fp\u002F29029860","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-1e4323c617b5555f65767f65d946831e_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29029860","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":53,"likesCount":220},"29214784":{"title":"【UnrealEngine4】距离场的使用技巧与应用","author":"ycz-19","content":"\u003Cp\u003E原来想开一个专栏的\u003C\u002Fp\u003E\u003Cp\u003E后来还没搞懂怎么开\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E就先写下这篇文章\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E文章或者专栏都会分享一下我在虚幻四中的制作经验，以蓝图和材质为主，讲述如何在图形学的思想中，不使用c++，不改动usf的情况下，蓝图和材质能做到的极限。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E目前规划的文章内容有：\u003C\u002Fp\u003E\u003Cp\u003E一.虚幻四中的 距离场（本文）\u003C\u002Fp\u003E\u003Cp\u003E二.材质中的伪体素（三維紋理）\u003C\u002Fp\u003E\u003Cp\u003E1.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29413795\"\u003E【UnrealEngine4】材质系统中的伪三维纹理\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E2.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29626130\"\u003E【UnrealEngine4】体渲染和Tri-Planar Mapping\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E三.基于NS方程的流体模拟 在虚幻四中\u003C\u002Fp\u003E\u003Cp\u003E  1.用蓝图模拟pass，进行伪compute stage的运算\u003C\u002Fp\u003E\u003Cp\u003E  2.用蓝图模拟ubo，向材质系统传输数据\u003C\u002Fp\u003E\u003Cp\u003E  3.NS方程的解析和实际模拟\u003C\u002Fp\u003E\u003Cp\u003E  4.烟体、流体的渲染\u003C\u002Fp\u003E\u003Cp\u003E四.metaball 在虚幻四中（本人的实例已在虚幻商城中上架）\u003C\u002Fp\u003E\u003Cp\u003E  原理与在材质中的实现\u003C\u002Fp\u003E\u003Cp\u003E五.path tracing 在虚幻四中\u003C\u002Fp\u003E\u003Cp\u003E  1.相机内参、简单物体变换信息的处理\u003C\u002Fp\u003E\u003Cp\u003E  2.path tracing的解析，temporal的思路\u003C\u002Fp\u003E\u003Cp\u003E  3.在材质中进行path tracing\u003C\u002Fp\u003E\u003Cp\u003E六.透明材质造假技巧与解析\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文内容如下\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E一.距离场简述\u003C\u002Fp\u003E\u003Cp\u003E二.虚幻四中的距离场及作用\u003C\u002Fp\u003E\u003Cp\u003E三.距离场梯度及应用\u003C\u002Fp\u003E\u003Cp\u003E四.距离场梯度的计算\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.距离场简述\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E距离场在文字渲染，矢量图渲染中应用广泛。本文提到的距离场为表示三维物体的距离场。关于其概念鄙人不在此多做阐述。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"384\" src=\"v2-b1695b12ca3d705ce4abdbecd9e4f65c.png\" data-rawwidth=\"865\"\u003E\u003Cp\u003E（图源自 libgdx\u002Flibgdx Wiki）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.虚幻四中的距离场及作用\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-398823167203a54b069562595dd0f842.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E在虚幻四中，如果在项目设置中开启了自动生成模型距离场，重启项目后将会构建网格物体的距离场。\u003C\u002Fp\u003E\u003Cp\u003E这个过程虽然比较缓慢，但是不影响主线程工作，和编译材质的情形类似。生成完后，场景中的所有网格物体都会被赋予一个距离场。换而言之，整个场景会被一个叫距离场的东西替代（正常渲染时不可见）\u003C\u002Fp\u003E\u003Cp\u003E在显示-可视化-中选择预览距离场\u003C\u002Fp\u003E\u003Cp\u003E可以根据预览的距离场质量来调整网格物体的距离场分辨率。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"227\" src=\"v2-ff269e896a923f4fd9619ec5fbb629eb.png\" data-rawwidth=\"634\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E有破漏:\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-3ee957aed126529a58a304560668dd2e.png\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E无破漏:\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-ccfb8c958050be331511202ed7cc13eb.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E距离场最直接的应用，在虚幻中可能是DFAO了（DFGI暂不考虑）\u003C\u002Fp\u003E\u003Cp\u003E要开启利用距离场进行加速的AO，可在SkyLight中找到该选项，并启用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"233\" src=\"v2-bd644c70d4bde2ad95f8c20d256b3d94.png\" data-rawwidth=\"767\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E使用距离场AO的好处与弊端：\u003C\u002Fp\u003E\u003Cp\u003EAO的计算本质为被积表面上的半球积分。在屏幕空间上进行采样积分不是均匀和完整的，因为屏幕空间中的信息不足，而且受限于采样次数，和地毯式的搜寻（很多采样点是无效的），屏幕空间的AO往往是近距离的（虽然现在也有新的方法可以计算远距离AO，FFAO）。\u003C\u002Fp\u003E\u003Cp\u003E而使用距离场进行AO的计算恰好可以避免此问题的出现，因为前面提到，距离场可以当作是一个物体的“替代”，原场景的高频信息可以被很好地保留下来，并且是完整的，因此AO的计算可以算是全局性的，无论是近还是远的几何信息，一律能被积分到。\u003C\u002Fp\u003E\u003Cp\u003E前面提到，场景是高频信息，而距离场的表达实际上已经有信息的缺损。比如一个面片，或是一条缝隙，距离场是不能很好地表示的，因此在积分的过程中，这些高频信息会被平均化，某些视角甚至会出现错误的信息，导致漏光。这个可以通过调整距离场的分辨率来改善。\u003C\u002Fp\u003E\u003Cp\u003E其次，由于距离场的采样实际上是一个raymarch的过程。因此采样次数对最终的精确度也会有影响。半球上的积分需要多条射线，射线的数目对最终结果的方差也会有影响。这里会出现的问题是躁点。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-8377e1a15eef89dc1485d88f81b19b96.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E(噪点和漏光等瑕疵在这张图中很好地暴露出来了)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.距离场梯度及应用\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E距离场梯度，可以算是距离场的进阶内容。\u003C\u002Fp\u003E\u003Cp\u003E首先我们需要了解梯度这个概念。梯度，拉普拉斯，旋度，在后面章节的流体中将会反复提到，这里不做赘述。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E距离场梯度的意义。距离场是场景的“替代物”。将场景看作一个自变量为三维，因变量为一微实数的函数（可看作密度函数），其梯度的几何意义是因变量的变化趋势。在图形学中其意义是对该函数按照一个阈值进行分割后得到的表面的法线（LevelSet）。但是对于一个世界坐标而言，他还有一个意义，便是周围物体对他的遮挡程度和方向（距离场与密度函数的梯度方向应该是相反的）。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-9d32dade8822a20f9773bacce5491dd2.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E用距离场快速造假阴影\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E类似SSDO，我们可以通过对场景几何信息的采样来还原遮挡信息。SSDO的原理在这里不具体阐述。由上面的几何意义可以知道，给出一个世界坐标，我们可以根据距离场梯度来获得这个点被遮挡的方向。（想象一个球体，表面上任何一点都会被法线以下部分遮挡，因此距离场梯度为法线相反方向）\u003C\u002Fp\u003E\u003Cp\u003E根据距离场的梯度，和给出的光源位置（LightDirection），我们可以计算出遮蔽和阴影。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-ea4aec3d02063b77e05718676e04b971.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E(对天光的遮蔽，每帧只对距离场进行4次采样，不含Temporal)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-9b8624b4538119a413aedca6f3bc406c.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E(水面的天光遮蔽)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-98638f171eef520e12077d86b98643e4.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E（水下Caustics的遮蔽效果，不过此处SSR效果有BUG。。。。）\u003C\u002Fp\u003E\u003Cp\u003E由于上面的着色模型均不是虚幻四中管线默认存在的，假阴影，或者说假阴影的质感对画面起到锦上添花的作用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E四.距离场梯度的计算\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E距离场梯度在虚幻四的材质系统中有现成的函数，但是在这里并不推荐使用。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"111\" src=\"v2-000b6794babdb84c374ec2843ce1c22e.png\" data-rawwidth=\"239\"\u003E\u003Cp\u003E根据梯度定义\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"36\" src=\"v2-122af094dc9c39194f2eb49b8509a3a9.png\" data-rawwidth=\"129\"\u003E\u003Cp\u003E我们可以得到\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-4c4510ad87cca32c9a58741eb1ba6ca4.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E即在xyz三个方向对距离场进行采样，然后求出xyz三个方向的导数。然后进行单位化。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里我们可以注意到步长是可控的。而自带的距离场却无法控制该数值。这个步长的意义，鄙人难以用语言描述，不过考虑导数的动态过程，类比可以得到那种“逼近”的感觉，即是ε-N，ε-δ语言的三维版本，在接近极限之前不断做割线的感觉。\u003C\u002Fp\u003E\u003Cp\u003E在渲染中步长也不一定有个最优值，自带的函数我没有发现控制步长的参数，因此得到效果很有可能是不是自己想要的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E受限于采样点的数目（七个），得到的梯度会有瑕疵。如何利用虚幻四的特性进行改进，这是一个问题。虚幻四中使用了许多Temporal的算法，其中在材质中暴露了一个叫DitherAA的函数。该函数给出了一个根据Pattern和桢画面进行运算的期望值为E［a］，（a为输入值）的伪随机数。\u003C\u002Fp\u003E\u003Cp\u003E首先对该数值进行拆解，拆解为一个三维向量：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"376\" src=\"v2-c9d5532ab090d429e9220dd55d728fcc.png\" data-rawwidth=\"1010\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E得到一个 \u003Cequation\u003E\\left( 0,1 \\right)^{3}\u003C\u002Fequation\u003E 的向量，然后将其转换至半径小于等于d\u002F2的均匀分布的全球空间。\u003C\u002Fp\u003E\u003Cp\u003E我们得到了一个随机的偏移向量。只需将这个偏移向量作用在采样点中，便能在每一帧对梯度进行多次采样，得到采样点d\u002F2半径周围点的梯度的期望值，可以输出为最终结果。\u003C\u002Fp\u003E\u003Cp\u003E注：这里全球半径是否需要均匀分布待讨论。因为这里是一个Trick，如果按照DSSDO的算法采样出来的梯度应该与球半径平方成反比，但是由于每桢只能采样一次，最后单位化会得到相同结果。如果不进行单位化处理，全屏幕中一次梯度的计算得到的结果方差将会十分大，出现的结果就会是黑白燥点的混合。因此这里采用了折中的办法，对最大半径球内进行均匀采样）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最终效果\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-f37fd679f09439b8d6028d82620ccbd6.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E（经过处理，将 \u003Cequation\u003E\\left( -1,1 \\right)^{3}\u003C\u002Fequation\u003E 转换为了 \u003Cequation\u003E\\left( 0,1 \\right)^{3}\u003C\u002Fequation\u003E 方便显示出来（不要在意开闭区间了。。。））\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-b5c2d827c729c5a27ec94a85b833c30b.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E（水面最终效果。采用了上述的阴影算法。光源方向与落地窗垂直，能很好地模拟天光的照明，使更有质感）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E9.13:注：密度场梯度应该与距离场梯度方向是相反的，如果物体内部密度为1的话。\u003C\u002Fp\u003E\u003Cp\u003E另本文最后求的“梯度”实际只为一个割面法线，是再运算次数少的情况下近似周围遮蔽方向的值（这里是Trick，前面也有提到），而且可以将三个方向改为半球上任意方向，有兴趣可以推导证明。这里只是分享了我的一个经验，不一定准确（事实上我想写的全部都只是我的经验），但从实验结果上看是可行的。而且这种方法适用范围小，举几个例子，烟雾渲染，水面渲染，都可以使用这个方法造假阴影。但是如果说同样使用距离场来制作精确阴影，可能只支持一个光源方向，沿光源方向采样，这样做的采样次数会更多（而遮蔽方向却可以重复使用），并且会在材质系统里用到custom node（除非真的需要，我都会把之前写的custom node全部拆解，但是循环无法拆解，因为循环次数不是硬编码的）。因此我觉得，在本文出现的场景中，水下Caustic，水面，这两个在虚幻里面没有的着色模型，可以适用。\u003C\u002Fp\u003E\u003Cp\u003E另，场景未烘培，模型没有分过UV和光照UV，因为没什么时间。所见到的全局光效果是LPV产生的，（并不是说烘培之后的效果就只有那么简陋）。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E另感谢评论区提到的DFAO残影的问题。残影出现的原因可能有两个，一是TAA的原因，二是DFAO本来就会分桢采样（temporal）的原因。打开DFAO预览，移动视角，会发现他的确需要经过几帧的时间才能收敛完全。要减少这种情况的发生，可以将Tint从黑色调为灰色，或者适中得范围，来中和因为天光遮蔽计算错误产生的噪点。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E10.29\u003C\u002Fp\u003E\u003Cp\u003E更新一下，关于局部距离场和全局距离场的分辨率的问题，使用材质中到最近表面距离会获取全局距离场，而默认的全局分辨率是有上限的。可以通过控制台命令打破此上限。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E再次感谢阅读，鄙人不才，还望各位以后继续指出纰漏和斧正  (๑•̀ω•́ ๑) \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本期文章就到此为止了。鄙人写下此文仅为了分享和交流经验，无任何商业性质与目的，望各位斧正，提出想法，谢谢。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E参考文献:Approximating Dynamic Global Illumination in Image Space, TobiasRitschel\u003C\u002Fp\u003E\u003Cp\u003E              ScreenSpace FarField Ambient Obscurance,Ville Timonen\u003C\u002Fp\u003E","updated":new Date("2017-09-10T08:55:27.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":44,"likeCount":196,"state":"published","isLiked":false,"slug":"29214784","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-09-10T16:55:27+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29214784\u002Fcomments"},"url":"\u002Fp\u002F29214784","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-c0e00978965df43b693acf572f3699f9_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29214784","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":44,"likesCount":196},"29353194":{"title":"果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇","author":"origamidance","content":"\u003Cp\u003E9月12号，苹果在10年后的one more thing里发布了被剧透的一干二净的IPhone X。全面屏，OLED，无线充电，全新手势交互都和以往的机型拉开了差距。但是最吸引人的无疑是True Depth Camera和Face ID部分，移动设备上的深度相机True Depth Camera和基于它的Face ID确实给人带来了更直觉化的人机交互。也让我们再一次深深感到微软“起了个大早，赶了个晚集”。这里我们会用一系列文章分析True Depth Camera和Face ID背后可能的技术和实现方式。初步计划分为四期：硬件-建模-识别-Animoji重定向。第一期主要分析下硬件部分。\u003C\u002Fp\u003E\u003Cimg src=\"v2-4ed6376dfaa55815aad810f0200854e7.png\" data-rawwidth=\"1431\" data-rawheight=\"575\"\u003E\u003Cblockquote\u003ETrue Depth Camera-来自Apple官网\u003C\u002Fblockquote\u003E\u003Cp\u003E从官网的示意图可以看出IPhone X的刘海部分包括了700万像素彩色相机（7MP Camera），麦克风（Microphone），扬声器（Speaker），环境光感应器（Ambient sensor），距离感应器（Proximity sensor），泛光感应元件（Flood illuminator），红外镜头（Infrared camera）和点阵投影器（Dot projector）。其中前五个原件都是传统的感光元件。后三个：泛光感应元件（Flood illuminator），红外镜头（Infrared camera）和点阵投影器（Dot projector）则构成了True Depth Camera深度相机的核心。这三个原件都是不可见光原件，可以推测泛光感应元件（Flood illuminator）用作黑暗环境下的暗光源，其它两个原件则是深度成像的核心元件。\u003Cbr\u003E看到这俩红外原件，大家一定会想起另一个同样原理的深度成像设备：Kinect。第一代Kinect就使用了类似的Light Coding技术。而Light Coding技术背后的传感技术公司PrimeSense在2013被Apple收购，也就是现在True Depth Camera背后的主要技术力量。大家可能记得2016年Apple和PrimeSense还申请了一项“集成结构光投影器（Integrated structured-light projector ）”（\u003Ca href=\"https:\u002F\u002Fwww.google.com\u002Fpatents\u002FUS20160197452\"\u003E链接在此\u003C\u002Fa\u003E），至此，我们基本可以推测，True Depth Camera背后的技术就是PrimeSense开发的点阵结构光深度成像技术的改进版。其实Windows Hello所使用的Intel RealSense 3D camera也是使用的类似的技术。那下面我们就仔细讲讲什么是点阵结构光深度成像。\u003C\u002Fp\u003E\u003Ch2\u003E点阵结构光深度成像\u003C\u002Fh2\u003E\u003Cp\u003E2010年，微软为Xbox 360发布了一款深度摄像头Kinect，当时也掀起了一股基于深度相机的体感游戏热潮，虽然现在这股热潮渐渐退去，不过kinect确实将以往成本高高在上的深度摄像机带进了民用领域。Kinect一共出过两代产品，第一代基于类似点阵光深度成像的Light Coding技术，第二代则是基于飞行时间Time-Of-Flight（TOF）技术。今天我们就以kinect 1代为例大致讲解一下点阵结构光深度成像技术。\u003C\u002Fp\u003E\u003Cimg src=\"v2-01a41dc3b200457bf6c54686185c94a1.png\" data-rawwidth=\"575\" data-rawheight=\"295\"\u003E\u003Cblockquote\u003EKinect-来自MSDN\u003C\u002Fblockquote\u003E\u003Cp\u003E上图是kinect的结构示意图，大部分基于点阵\u002F网格结构光的深度相机都是类似的结构，其中最重要的两个原件就是IR Emitter，也就是红外光发射器，对应 True Depth Camera的点阵光投影器，和红外深度感应器IR Depth Sensor，对应IPhone X上的红外相机。\u003Cbr\u003E其中红外光发射器会发射一组有特定模式的投影光，像kinect的是这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-1ad353188d400c41df280fdc1b58a20b.jpg\" data-rawwidth=\"2251\" data-rawheight=\"1446\"\u003E\u003Cblockquote\u003EKinect Pattern-来自www.futurepicture.org\u003C\u002Fblockquote\u003E\u003Cp\u003EIntel RealSense 3D(支持Windows Hello)，是这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-9c523cca27bd5f46ddfbc291c981794c.jpg\" data-rawwidth=\"320\" data-rawheight=\"240\"\u003E\u003Cblockquote\u003ERealSense Pattern-来自Intel Developer Zone\u003C\u002Fblockquote\u003E\u003Cp\u003E按苹果官网上的示意图的话，IPhone X的投影是这样的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-0c22c59df9e2e1e4a12a94e235619d01.png\" data-rawwidth=\"1329\" data-rawheight=\"851\"\u003E\u003Cblockquote\u003EIPhone X pattern-来自Apple官网\u003C\u002Fblockquote\u003E\u003Cp\u003E而传统的结构光是条纹状的投影，像这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-d863b8028e43af6abe34d1578981357f.jpg\" data-rawwidth=\"1396\" data-rawheight=\"944\"\u003E\u003Cblockquote\u003EStructured Light-来自Automatic Modelling &amp; Video Mapping\u003C\u002Fblockquote\u003E\u003Cp\u003E那为什么从红外相机里拍出的这些奇怪的图案就可以得到深度了呢？这就要来说说结构光成像了。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0b80b831a1f14aad1634086cf22555e6.gif\" data-rawwidth=\"600\" data-rawheight=\"385\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-0b80b831a1f14aad1634086cf22555e6_b.jpg\"\u003E\u003Cblockquote\u003EKinect Pattern-来自www.futurepicture.org\u003C\u002Fblockquote\u003E\u003Cp\u003E先来看看这幅图，当我们摆一本书在红外投影的点阵中，可以明显感觉到中间凸出来一部分，本质上来说，之所以会看到投影点阵的变化，是因为投影点和拍摄点的位置差。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b5ed8cb87c6cfd78a456ef2f130bce2a.png\" data-rawwidth=\"825\" data-rawheight=\"346\"\u003E\u003Cblockquote\u003Estereo vision-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E设想左边就是我们投影光源O的投影平面，右边这个就是摄像机O’的成像平面，他们之间有一定距离，我们可以看到一个点在投影平面上的位置为p的话，它投影到物体上的位置一定在线段Op上，根据物体的深度不同，投影点可能是P，P1，P2。然而，不同深度的P，P1，P2就会在成像平面上位于不同的位置。所以，只要我们能够检测出来投影平面上的P在成像平面的位置，就可以用简单的三角函数算出来投影光在物体上投影点的位置，也就是说物体表面有一个点在该空间位置。所以，我们需要的就是一幅投影光平面图，并在成像平面寻找投影平面上点的对应点就行啦。\u003Cbr\u003E可是，\u003C\u002Fp\u003E\u003Cimg src=\"v2-cfb23d41c4b0372dc5cb2a4257a1e144.png\" data-rawwidth=\"422\" data-rawheight=\"330\"\u003E\u003Cblockquote\u003EKinect pattern-来自azttm.wordpress.com\u003C\u002Fblockquote\u003E\u003Cp\u003E这么密密麻麻的点都长一样咋找对应点？研究者们想了很多办法，比如：\u003Cbr\u003E每隔一段时间投影不同的地方，每个时刻就一条线，不就好找了吗～，像这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-140cae7cbcb8c3e777a5668f78e79c12.png\" data-rawwidth=\"768\" data-rawheight=\"480\"\u003E\u003Cblockquote\u003Estructured light-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E和改进版二元编码\u003C\u002Fp\u003E\u003Cimg src=\"v2-bbd20e42e180b23a3727777d6f2aea44.png\" data-rawwidth=\"1529\" data-rawheight=\"1187\"\u003E\u003Cblockquote\u003Ebinary coding-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E和色彩编码：\u003C\u002Fp\u003E\u003Cimg src=\"v2-4c7c1dcc2dc9e4325426f7959a69547f.png\" data-rawwidth=\"537\" data-rawheight=\"660\"\u003E\u003Cblockquote\u003Ecolor coding-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E等等。然而这些编码方式要么需要多帧的投影和拍摄，要么需要彩色投影，有没有单帧单色的技术，就像Kinect和True Depth Camera那样的呢？这当然难不倒研究者们。答案就是空间编码，\u003C\u002Fp\u003E\u003Cimg src=\"v2-906d680aa8cebd3113fa26a6b258f0ba.png\" data-rawwidth=\"591\" data-rawheight=\"456\"\u003E\u003Cblockquote\u003ESpatial pattern-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E只要把这样一种pattern投影到物体上，拍一张就可以了。\u003C\u002Fp\u003E\u003Cimg src=\"v2-ee84016d8670a21505cedec72691eb83.png\" data-rawwidth=\"984\" data-rawheight=\"651\"\u003E\u003Cblockquote\u003ESpatial pattern-来自Illinois^cs498dh\u003C\u002Fblockquote\u003E\u003Cp\u003E秘密就在于这种pattern的每一列都是不一样的图案，可以通过匹配这种特异性的图案达到识别每一列的对应位置的目的。\u003Cbr\u003E而Kinect和True Depth Camera都是将这种线型的空间编码扩展到更加复杂的点阵空间编码，即一块区域有一个独立的排布方式，来实现单色单帧图像的编码。此外，还可以结合点阵在物体上的投影的形状和大小进行更快的匹配，更近的物体投影点会更大，而斜的物体投影点就会拉长。据说Kinect的实现方法就是事先拍摄各个深度的投影点，再将采集到的投影图的每个区域与各个深度的参照图像进行比对进行快速的深度计算，就可以得到一幅深度图。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b57851d0c46f4368954b630b16ce3ff1.jpg\" data-rawwidth=\"400\" data-rawheight=\"332\"\u003E\u003Cblockquote\u003EKinect-来自Depth Sensing for 3DTV: A Survey\u003C\u002Fblockquote\u003E\u003Cp\u003E有了这些技术，只要能将高分辨率红外投影器和红外摄像机塞到手机里，那么手机端的深度图像获取也就不是难事，而这一步也是Apple和PrimeSense下最大精力的地方。\u003C\u002Fp\u003E\u003Ch2\u003E深度图怎么玩\u003C\u002Fh2\u003E\u003Cp\u003E深度图不就多了一维深度信息吗？能干啥嘞？在研发出Kinect之后，微软其实还搞了好多黑科技。\u003Cbr\u003E比如骨架跟踪，通过Kinect得到人的骨架信息后，就可以通过人机交互，操作体感游戏。\u003C\u002Fp\u003E\u003Cimg src=\"v2-ebf33d19ea2483ee6dd2b9c265d36671.jpg\" data-rawwidth=\"819\" data-rawheight=\"277\"\u003E\u003Cblockquote\u003EKinect Pose recognition-来自微软研究院\u003C\u002Fblockquote\u003E\u003Cp\u003E业内大名鼎鼎的Kinect Fusion，手持Kinect，就能对对身边的场景进行三维建模，\u003C\u002Fp\u003E\u003Cimg src=\"v2-30502ffbb977a478f2539ab85e6bfb39.png\" data-rawwidth=\"600\" data-rawheight=\"150\"\u003E\u003Cblockquote\u003EKinect Fusion-来自Kinect Fusion paper\u003C\u002Fblockquote\u003E\u003Cp\u003E针对运动物体的Fusion 4D：\u003C\u002Fp\u003E\u003Cimg src=\"v2-cf3fab9f98cd1e03badab91d23be6f8d.png\" data-rawwidth=\"855\" data-rawheight=\"331\"\u003E\u003Cblockquote\u003EFusion 4D-来自Fusion 4D paper\u003C\u002Fblockquote\u003E\u003Cp\u003E用Kinect Fusion来做AR远程通话和远程传送的Holoportaion：\u003C\u002Fp\u003E\u003Cimg src=\"v2-ec7abdcee4fae1383cf041d44d5c7739.png\" data-rawwidth=\"1920\" data-rawheight=\"272\"\u003E\u003Cblockquote\u003EHoloportation-来自微软研究院\u003C\u002Fblockquote\u003E\u003Cp\u003E用红外滤镜结合机器学习算法制作手机端深度传感器并用来进行人脸捕捉和手势交互的的Learning to Be a Depth Camera for Close-Range Human Capture and Interaction\u003C\u002Fp\u003E\u003Cimg src=\"v2-8c66de5f665521aa5ba703ecef263c5b.jpg\" data-rawwidth=\"704\" data-rawheight=\"333\"\u003E\u003Cblockquote\u003ELearning to Be a Depth Camera for Close-Range Human Capture and Interaction-来自微软研究院\u003C\u002Fblockquote\u003E\u003Cp\u003E有了深度图和一些模型的初始模板，就能做深度图到三维参数化模型的快速配准，像是Apple收购的FaceShift的创始人Sofien Bouaziz的工作Dynamic 2D\u002F3D Registration，就极有可能是Apple人脸建模背后的核心技术。\u003C\u002Fp\u003E\u003Cimg src=\"v2-daf7289598ae8cd80a2c6a948cd1802d.png\" data-rawwidth=\"694\" data-rawheight=\"282\"\u003E\u003Cblockquote\u003EDynamic 2D\u002F3D registration-来自sofienbouaziz.com\u003C\u002Fblockquote\u003E\u003Cimg src=\"v2-930b24f288adb59beab5e6d825b047c5.gif\" data-rawwidth=\"308\" data-rawheight=\"191\" data-thumbnail=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-930b24f288adb59beab5e6d825b047c5_b.jpg\"\u003E\u003Cblockquote\u003EFace registration-来自苹果官网\u003C\u002Fblockquote\u003E\u003Cp\u003E有了深度图，也就能更快地实现人脸实时采集和跟踪，同样是来自Sofien Bouaziz的Realtime Performance-Based Facial Animation和Semi-Supervised Facial Animation Retargeting也极有可能是Apple的Animoji背后的技术基础。\u003C\u002Fp\u003E\u003Cimg src=\"v2-72af0119a7501cdb6e7ba6079a58a309.png\" data-rawwidth=\"694\" data-rawheight=\"282\"\u003E\u003Cblockquote\u003ERealtime Performance-Based Facial Animation-来自sofienbouaziz.com\u003C\u002Fblockquote\u003E\u003Cimg src=\"v2-a3d3114b5a25eaa864397a2db31c526f.png\" data-rawwidth=\"694\" data-rawheight=\"282\"\u003E\u003Cblockquote\u003ESemi-Supervised Facial Animation Retargeting-来自sofienbouaziz.com\u003C\u002Fblockquote\u003E\u003Cimg src=\"v2-5f02ee27910a1d48f361c280114bd712.gif\" data-rawwidth=\"596\" data-rawheight=\"332\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-5f02ee27910a1d48f361c280114bd712_b.jpg\"\u003E\u003Cblockquote\u003EAnimoji-来自Apple\u003C\u002Fblockquote\u003E\u003Cp\u003E再结合一些Gaze tracing的工作，就可以做到眼神解锁了\u003C\u002Fp\u003E\u003Cimg src=\"v2-60e9cd0c5df081932ea7591d4fb494ce.png\" data-rawwidth=\"958\" data-rawheight=\"321\"\u003E\u003Cblockquote\u003ERealtime 3D Eye Gaze Animation Using a Single RGB Camera-来自http:\u002F\u002Fhumanmotion.ict.ac.cn\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003E起于微软，止于苹果\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E看了这么多，想必大家也有一个感受，论黑科技研发，那当属微软研究院，可是论用黑科技赚钱，还是得看苹果。还是那句话，微软又“起了个大早，干了个晚集”。无数的新技术，都是始于科学研究和论文，但也万万不能忽视真正将他们带入日常生活的成果转化过程，无数理想化的假设，计算，都是靠着工程师们不断地优化，挖掘整个系统的极限，最后才能来到我们眼前和手中。另一方面，相比现在如火如荼的机器学习人工智能，图形学也终于蹭了一回热点。\u003C\u002Fp\u003E\u003Cp\u003E今天，我们主要介绍了True Depth Camera硬件背后的原理和大致实现方式。如有疏忽请大家不吝指正，我们也会及时更新。之后的几期我们会专门针对Face ID的人脸建模，识别和Animoji的人脸重定向做更深入的分析，敬请期待。\u003C\u002Fp\u003E\u003Ch2\u003EReference\u003C\u002Fh2\u003E\u003Cp\u003E[1] \u003Ca href=\"https:\u002F\u002Fwww.apple.com\u002Fiphone-x\u002F\"\u003Ehttps:\u002F\u002Fwww.apple.com\u002Fiphone-x\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[2] \u003Ca href=\"https:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F201709\u002FR3LVS7IOTysitw2R.html\"\u003Ehttps:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F201709\u002FR3LVS7IOTysitw2R.html\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[3] \u003Ca href=\"https:\u002F\u002Fwww.fool.com\u002Finvesting\u002F2017\u002F09\u002F12\u002Fapples-iphone-x-event-what-you-need-to-know.aspx\"\u003Ehttps:\u002F\u002Fwww.fool.com\u002Finvesting\u002F2017\u002F09\u002F12\u002Fapples-iphone-x-event-what-you-need-to-know.aspx\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[4] \u003Ca href=\"https:\u002F\u002Fwww.google.com\u002Fpatents\u002FUS20160197452\"\u003Ehttps:\u002F\u002Fwww.google.com\u002Fpatents\u002FUS20160197452\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[5] \u003Ca href=\"http:\u002F\u002Fwww.chipworks.com\u002Fabout-chipworks\u002Foverview\u002Fblog\u002Finside-the-intel-realsense-gesture-camera\"\u003Ehttp:\u002F\u002Fwww.chipworks.com\u002Fabout-chipworks\u002Foverview\u002Fblog\u002Finside-the-intel-realsense-gesture-camera\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[6] \u003Ca href=\"http:\u002F\u002Fwww.sci.utah.edu\u002F~gerig\u002FCS6320-S2012\u002FMaterials\u002FCS6320-CV-S2012-StructuredLight.pdf\"\u003Ehttp:\u002F\u002Fwww.sci.utah.edu\u002F~gerig\u002FCS6320-S2012\u002FMaterials\u002FCS6320-CV-S2012-StructuredLight.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[7] \u003Ca href=\"http:\u002F\u002Fwww.sci.utah.edu\u002F~gerig\u002FCS6320-S2013\u002FMaterials\u002FCS6320-CV-S2012-StructuredLight-II.pdf\"\u003Ehttp:\u002F\u002Fwww.sci.utah.edu\u002F~gerig\u002FCS6320-S2013\u002FMaterials\u002FCS6320-CV-S2012-StructuredLight-II.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[8] \u003Ca href=\"http:\u002F\u002Fusers.dickinson.edu\u002F~jmac\u002Fselected-talks\u002Fkinect.pdf\"\u003Ehttp:\u002F\u002Fusers.dickinson.edu\u002F~jmac\u002Fselected-talks\u002Fkinect.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[9] \u003Ca href=\"http:\u002F\u002Fwww.futurepicture.org\u002F?p=116\"\u003Ehttp:\u002F\u002Fwww.futurepicture.org\u002F?p=116\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[10] \u003Ca href=\"https:\u002F\u002Fwww.computer.org\u002Fcsdl\u002Fmags\u002Fmu\u002F2013\u002F04\u002Fmmu2013040010-abs.html\"\u003Ehttps:\u002F\u002Fwww.computer.org\u002Fcsdl\u002Fmags\u002Fmu\u002F2013\u002F04\u002Fmmu2013040010-abs.html\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[11] \u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpublication\u002Freal-time-human-pose-recognition-in-parts-from-a-single-depth-image\u002F\"\u003Ehttps:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpublication\u002Freal-time-human-pose-recognition-in-parts-from-a-single-depth-image\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[12] \u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fproject\u002Fkinectfusion-project-page\u002F\"\u003Ehttps:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fproject\u002Fkinectfusion-project-page\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[13] \u003Ca href=\"http:\u002F\u002Fwww.cs.unc.edu\u002F~doums\u002F\"\u003Ehttp:\u002F\u002Fwww.cs.unc.edu\u002F~doums\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[14] \u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fproject\u002Fholoportation-3\u002F\"\u003Ehttps:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fproject\u002Fholoportation-3\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[15] \u003Ca href=\"https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpublication\u002Flearning-to-be-a-depth-camera-for-close-range-human-capture-and-interaction\u002F\"\u003Ehttps:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpublication\u002Flearning-to-be-a-depth-camera-for-close-range-human-capture-and-interaction\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[16] \u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpublications.php\"\u003Ehttp:\u002F\u002Fsofienbouaziz.com\u002Fpublications.php\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E[17] \u003Ca href=\"http:\u002F\u002Fhumanmotion.ict.ac.cn\u002Fpapers\u002F2016P1_EyeGaze\u002Fdetails.htm\"\u003Ehttp:\u002F\u002Fhumanmotion.ict.ac.cn\u002Fpapers\u002F2016P1_EyeGaze\u002Fdetails.htm\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E果壳中的宇宙系列文章：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29353194\"\u003E果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29669568\"\u003E果壳中的宇宙-IPhone X的Face ID和True Depth Camera分析-Animoji篇\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E微信公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.png\" data-rawwidth=\"430\" data-rawheight=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg src=\"v2-885fb112f568154e08bd27832d4444be.png\" data-rawwidth=\"88\" data-rawheight=\"31\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E\u003Cp\u003E如需转载请署名。\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-14T23:22:41.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":26,"likeCount":359,"state":"published","isLiked":false,"slug":"29353194","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-15T07:22:41+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29353194\u002Fcomments"},"url":"\u002Fp\u002F29353194","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-c98d0fcc891bc72653560374aee7e76a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29353194","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":26,"likesCount":359},"29413795":{"title":"【UnrealEngine4】材质系统中的伪三维纹理","author":"ycz-19","content":"\u003Cp\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-78f6f5048ee046c8846ffcbfe10a0be0.jpg\" data-rawwidth=\"1185\" data-rawheight=\"836\"\u003E\u003Cimg src=\"v2-e8f918b8a5954eeecdfa91182dd9cce2.png\" data-rawwidth=\"969\" data-rawheight=\"834\"\u003E\u003Cp\u003E（使用三维噪声实时生成的伪-云朵）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E写在前面\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E上次讲到了和距离场有关的东西。\u003C\u002Fp\u003E\u003Cp\u003E怎么说，其实我的文章是有一条主线的，不是只是分享虚幻四里的技巧or技术（还说不上什么技术吧）。包括上次提到距离场，以后的文章其实都涉及到一个关键的元素，即是体素。\u003C\u002Fp\u003E\u003Cp\u003E再提一下文章的分布顺序：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E一.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29214784\"\u003E【UnrealEngine4】距离场的使用技巧与应用\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E二.材質中的偽體素（三維紋理）\u003C\u002Fp\u003E\u003Cp\u003E1（本文）\u003C\u002Fp\u003E\u003Cp\u003E2.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29626130\"\u003E【UnrealEngine4】体渲染和Tri-Planar Mapping\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E三.基於NS方程的流體模擬 在虚幻四中\u003C\u002Fp\u003E\u003Cp\u003E1.用蓝图模拟pass，进行伪compute stage的运算\u003C\u002Fp\u003E\u003Cp\u003E2.用蓝图模拟ubo，向材质系统传输数据\u003C\u002Fp\u003E\u003Cp\u003E3.NS方程的解析和实际模拟\u003C\u002Fp\u003E\u003Cp\u003E4.烟体、流体的渲染\u003C\u002Fp\u003E\u003Cp\u003E四.metaball 的原理与在材质中的实现\u003C\u002Fp\u003E\u003Cp\u003E五.在虚幻四中 path tracing\u003C\u002Fp\u003E\u003Cp\u003E1.相机内参、简单物体变换信息的处理\u003C\u002Fp\u003E\u003Cp\u003E2.path tracing的解析，temporal的思路\u003C\u002Fp\u003E\u003Cp\u003E3.在材质中进行path tracing\u003C\u002Fp\u003E\u003Cp\u003E六、透明物体的渲染\u002F造假技巧\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E怎么说呢，这个仅仅是目标，毕竟鄙人目前空闲时间有限，计划原来是在上半年就写的，后来还是得狠下心来现在完成，不然我很有可能以后就消失在这个圈子里了（雾）以后有改动，或者突然放弃了，都会在上一期文中提到。如有什么纰漏请一定要斧正哦。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E下面正文\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E为了给后面的内容做铺垫，这次的文章鄙人将分享一下三维纹理在蓝图和材质中的一些经验。\u003C\u002Fp\u003E\u003Cp\u003E需要重新提到的是，本系列文章只针对蓝图和材质而言，为的是探索蓝图和材质的极限，以及通过这种限制性编程来了解图形学等的思维方式以及工作原理。而且仅仅是经验的分享与交流而已。\u003C\u002Fp\u003E\u003Cp\u003E其实不只是三维纹理，对于一些数据的结构，数据的储存方式，蓝图与材质数据之间的传输，本文也适用。下面是正文，如有纰漏，望斧正。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本期内容如下：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.三维纹理简介\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.三维纹理在蓝图和材质中的创建和应用思路\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.可能出现的问题或者瑕疵\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E四.其他数据类型（flip book等）在蓝图和材质中的创建和应用思路\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.三维纹理简介\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E三维纹理概念在这里不做赘述。为了使翻译对应正确，这里的三维纹理或三维贴图指3DTexture，和2DTexture相对应。使用过虚幻四的同志会发现，虚幻四的材质系统中是没有暴露3DTexture这个功能的。\u003C\u002Fp\u003E\u003Cp\u003E类比二维纹理，三维纹理只是多了一个维度，因此仅使用蓝图和材质，是有可能实现三维纹理的创建和使用（采样）的。\u003C\u002Fp\u003E\u003Cp\u003E在shaderbit中有一篇文章介绍了此过程，鄙人也曾阅读过。但鄙人不会照着翻译下来，会讲到一些根据经验得出的技巧性的东西，和思想，还有需要注意的地方。\u003C\u002Fp\u003E\u003Cp\u003Eshaderbit的文章链接在此：\u003Ca href=\"http:\u002F\u002Fshaderbits.com\u002Fblog\u002Fcreating-volumetric-ray-marcher\"\u003ECreating a Volumetric Ray Marcher\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fshaderbits.com\u002Fblog\u002Fauthoring-pseudo-volume-textures\"\u003EAuthoring Pseudo Volume Textures\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果你觉得他的文章已可以满足要求，那么下面的文字稍微涉猎即可。我不是要翻译他的文章，我只是交流经验，仅此而已。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.三维纹理在蓝图和材质中的创建和应用思路\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E首先理清一下三维贴图的本质和思路。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E不考虑插值的情况下，采样三维贴图=给定一个坐标，输出一个唯一的结果（颜色）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E考虑插值的情况下，我们先考虑一维，线性插值的情况：(知乎第一次把我的公式吞了)\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EFinal = lerp(Sample0,Sample1,k)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ek\u003C\u002Fequation\u003E 为采样点分别到相邻两个数据实际位置的距离之和与采样点到Sample1的实际位置的距离之比。由于储存的数据是离散的，要得到连续的结果，则需要根据当前给定坐标和其在离散数据储存位置的相对位置来进行插值。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E然后我们扩充到二维的情况：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E假设给定一个采样点，根据上述的一维插值，可以得到一个横向的平滑结果。此时新增了一个维度，需要对这个维度再次进行插值，可以得到：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EFinal_{0} = lerp(Sample00,Sample10,k_{x0})\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EFinal_{1} = lerp(Sample01,Sample11,k_{x1})\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EFinal = lerp(Final_{0},Final_{1},k_{y})\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E(原来应该还有更多公式的。。。然后被吞了。。重新写的可能有误，望指正)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E到目前为止，二维贴图采样时的插值在虚幻材质系统中都是硬件加速的。也就是说二维插值的部分我们可以暂且放一边（后面还会提到子块的边界问题）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E考虑三维纹理，整理一下思路：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E函数F1:给定一个二维坐标，可以输出在二维平面插值后的结果。\u003C\u002Fp\u003E\u003Cp\u003E函数F2:给定一个一维坐标和相邻整点（即离散数据储存实际位置），输出插值权重\u003C\u002Fp\u003E\u003Cp\u003E不难得到，给定一个三维坐标，根据z轴选择相邻两个整点坐标，分别由F1得到两个结果，再根据F2即可以完成三维空间中的插值。（恩，鄙人花费那么多文字讲述这里面的关系，是为了后面内容做铺垫的）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E不难发现，我们可以有多种方法将三维贴图转换为二维贴图，在虚幻的材质系统中调用。一种是以z轴分成多张二维贴图，每一张仅包含当前z轴的二维数据；另一种是把z轴编码，以某种顺序排布在一张大的二维贴图中。显然第一种是不现实的，因为材质系统中有16张sampler的限制。\u003C\u002Fp\u003E\u003Cp\u003E这里给出一种排布方式(认真脸)：\u003C\u002Fp\u003E\u003Cimg src=\"v2-309867bf248620e34f383d96b6b14e79.png\" data-rawwidth=\"989\" data-rawheight=\"964\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E事实上可以任意排布，无非就是编码和解码的问题，正如后面会提到的flip book，是同理的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E到这里，无论是根据我的说明还是根据shaderbit上的代码，都应该能得到一个正确结果了，如果令xy固定，z做滑条，效果应该大概是这样的：(视频3M)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-9126d510f56bfdde9af354b6d159e7e2.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F892798047602507776\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"892798047602507776\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E当z轴插值正确之后，对于三维纹理的采样也就完成了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E接下来我来分享一下体数据的注入方式。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E体数据的渲染在后面会讲到，但是这些内容比较重要，是后面流体模拟等必需知道的内容，所以先稍微讲一下。\u003C\u002Fp\u003E\u003Cp\u003E鄙人\u003Cb\u003E以三维噪声为例\u003C\u002Fb\u003E，先整理一下思路：\u003C\u002Fp\u003E\u003Cp\u003E由于三维贴图在前面提到了是一张大的二维贴图，虚幻在蓝图中提供了一个绘制材质到贴图的函数，在这个过程中，当前绘制的坐标是一个    的二维坐标。\u003C\u002Fp\u003E\u003Cp\u003E函数F1，输入二维坐标，输出虚拟三维坐标。\u003C\u002Fp\u003E\u003Cp\u003E函数F2，输入三维坐标，输出当前坐标的噪声值\u003C\u002Fp\u003E\u003Cp\u003E结合函数F1和F2，便可以在一个pass中完成体数据的注入。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E在这里F1是十分重要的角色，后面也会经常用到。\u003C\u002Fp\u003E\u003Cp\u003E比如鄙人在此随便给出一个F2，得到的最终效果如果渲染出来是这样子的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-e6603cdd93cac1b5b0c440747e0beb90.jpg\" data-rawwidth=\"1920\" data-rawheight=\"1048\"\u003E\u003Cp\u003E用RayCast渲染得到效果是这样子的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-c33658d06bad21992e29deeccd9d9c6f.png\" data-rawwidth=\"1920\" data-rawheight=\"1048\"\u003E\u003Cp\u003E(渲染方案在后面有机会会提到)\u003C\u002Fp\u003E\u003Cp\u003E如果每帧更新的话可能得到这样的效果：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-5f14cfc153309ba13ae95bad80add801.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F892802179960836096\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"892802179960836096\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(10M)\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.可能出现的问题或者瑕疵\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里应该是一个坑。如果你认真阅读了\u003Cb\u003Eshaderbit\u003C\u002Fb\u003E上的各种文章，应该会发现里面有一些处理方法。\u003C\u002Fp\u003E\u003Cp\u003E问题出在哪里呢。回看前面提到的储存方法：在一张大的二维贴图中划分为多个等大的空间，分别储存不同层数的数据。\u003C\u002Fp\u003E\u003Cp\u003E由于xy方向上的插值是借助硬件的，也就是说自动完成的，当采样至不同层所属的数据区域的边界的时候，问题就出现了。不属于这一层的数据在硬件插值的时候会被计算进去。这样导致的问题就是，在边界处会出现莫名其妙的幻影。如图：\u003C\u002Fp\u003E\u003Cimg src=\"v2-3a0682b01bce6141999d683b281a689f.png\" data-rawwidth=\"784\" data-rawheight=\"742\"\u003E\u003Cp\u003E(这里借用一下以后会讲到的在材质中加速Metaball求交的图，这里的渲染没有做任何处理，可以看到上面出现了不应该有的像素（而且是半透明的）)\u003C\u002Fp\u003E\u003Cp\u003E关于解决方案，有许多种。鄙人介绍一下主要的思路。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1.clamp\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E即对经过F1处理过的三维坐标进行限制，因为插值错误主要出现在边界情况，因此对于一个    \u003Cequation\u003E(0,1)^{3}\u003C\u002Fequation\u003E 的三维坐标：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eclamp(p,0+eps,1-eps)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E适当调整eps，可以去除边界的瑕疵，而只是牺牲了半个像素左右的数据。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2.数据预处理\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E即对二维贴图中经过F1转换后的坐标进行判断，若为边界，则填为0（或其他缺省数值，只是作为标记）这种方法没有第一种来得直接，且浪费了许多储存空间。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3.手动对xy平面插值\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E正如前面提到的，只需要将贴图在这里\u003C\u002Fp\u003E\u003Cimg src=\"v2-a9849c0ce99c632731397bb3992f3f09.png\" data-rawwidth=\"927\" data-rawheight=\"687\"\u003E\u003Cp\u003E修改为2D pixels，这样在采样的时候将不会自动插值。然后在采样函数中修改为xyz三个轴都进行手动插值。这个方法可能是最科学的了，但是对性能的消耗也不忍直视。（曾在GigaVoxels:A Voxel-Based Rendering Pipeline For Efficient Exploration Of Large And Detailed Scenes里看见过一个表格，里面有详细的消耗信息）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4.jitter\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E上一篇文章提到\u003C\u002Fp\u003E\u003Cimg src=\"v2-58efb49b3ef347116872f2a4518d1652.png\" data-rawwidth=\"216\" data-rawheight=\"101\"\u003E\u003Cp\u003E这个函数。使用这个函数来获取 \u003Cequation\u003EE[k]\u003C\u002Fequation\u003E 期望值的随机数，然后根据随机数对采样点周围进行采样，每次采样一个点。（嗯，这个方法理论可行，我试过感觉效果一般，因为这个函数是有Pattern的，理论上几帧就能收敛到一个准确的结果，因为这个原因带上了残影）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E四.其他数据类型（flip book等）在蓝图和材质中的创建和应用思路\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E先看这个效果：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-0c657a96c474cb7575374fee5a4906c2.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F892806344309116928\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"892806344309116928\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E（视频10M）\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E根据上面所说，对于一系列的二维图像，按照时间轴进行排布，既可得一个由X,Y,T三个方向组成的三维图像，既，二维的动态图。与一般的flipbook相比，时间轴上的插值会使结果更加平滑。\u003C\u002Fp\u003E\u003Cp\u003E同理，如果是动态的三维图像，也可以通过这样的方法储存到二维图像中，以在材质中应用。\u003C\u002Fp\u003E\u003Cp\u003E另：三维纹理在我后面的文章中会经常用到，可以说是十分重要了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E得知知乎可以发视频后，我决定再发几个小视频 (๑•̀ω•́ ๑)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-ca2afd19747d0197b6537a3425ec6f7c.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F892807772717068288\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"892807772717068288\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-73ef05900841b06b7c3cdf14a7b00237.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F892807866770137088\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"892807866770137088\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E（视频和本文无关啦。只是突然觉得其实很多东西都是可以在限制中实现的（蓝图和材质），只要找到合适的方法）\u003C\u002Fp\u003E\u003Cp\u003E9.17 另：体素数据详细注入方案将在下一次的文章中讲到，该内容包含在了在蓝图里模拟compute\u002Ffragment stage 的一些小技巧的专题中。\u003C\u002Fp\u003E\u003Cp\u003E其次，本次所讲的三维纹理十分重要。我不喜欢把代码全部贴上来（毕竟文中的链接里有更详细的实现方案）我想说的是一些自己的经验与看法和踩过的坑，而且古人有云“授之以鱼不如授之以渔”，只有了解了内部的工作原理，才可能实现更多扩展性的内容，而不是只限死在“三维纹理”这一个方向。\u003C\u002Fp\u003E\u003Cp\u003E还有的是，知道了瑕疵产生的原理之后，再结合Shaderbit的文章，会发现他原文其实有一点点小小的问题。如果只是吧代码复制黏贴到材质里，这些瑕疵可能永远都更正不了。\u003C\u002Fp\u003E\u003Cp\u003E最后，关于三维噪声的生成办法，由于时间的关系，本文并没有提及。将在下一篇文章中提到。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E9.18另 感谢评论区里提到了分辨率的问题。我忽略分辨率。文中展示的分辨率是4096*4096的，换算成体积数据，256*256*256。\u003C\u002Fp\u003E\u003Cp\u003E事实上，分辨率可以增加到很大。因为虚幻只是限制了单张Texture2D的大小，和Texture2D的数量，只要合理排布数据（如RBGA各放一点，或者把2^8bit的数据塞到float里，或者多张8192的贴图合在一起，都是没有问题的），理论上可以达到很大的数据量。其实也不必考虑那么多，因为首先受限于渲染速率，分辨率越大，采样次数不变的情况下，有很多是无用数据的。其次，如果单靠这种方法来获取大分辨率，是不科学的。应该用更合理的离散储存方法，如octree（这样顺便还可以做cone tracing，有空再展开）来加速搜寻和减少运算时间。\u003C\u002Fp\u003E\u003Cp\u003E如果是烟雾，64*64*64会有不错的效果。如果是云，把采样方式改为重复（即把输入的采样点坐标frac一下到（0，1））其实也可以模拟很大一片区域。\u003C\u002Fp\u003E\u003Cp\u003E抛砖引玉，\u003C\u002Fp\u003E\u003Cp\u003E再次感谢阅读。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本期的文章就到这里啦\u003C\u002Fp\u003E\u003Cp\u003E感谢阅读，鄙人不才，还望各位以后继续指出纰漏和斧正 (๑•̀ω•́ ๑)。鄙人写下此文仅为了分享和交流经验，无任何商业性质与目的，望各位斧正，提出想法，谢谢。\u003C\u002Fp\u003E\u003Cp\u003E参考文献：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EGigaVoxels:A Voxel-Based Rendering Pipeline For Efficient Exploration Of Large And Detailed Scenes\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fshaderbits.com\u002Fblog\u002Fauthoring-pseudo-volume-textures\"\u003EAuthoring Pseudo Volume Textures\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-17T09:57:37.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":16,"likeCount":98,"state":"published","isLiked":false,"slug":"29413795","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-09-17T17:57:37+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29413795\u002Fcomments"},"url":"\u002Fp\u002F29413795","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-3c131c0a7e7ace773c07629c4d4436a8_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29413795","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":16,"likesCount":98},"29620024":{"title":"迈向人工智能Fashion Design（一）- 服装制版模拟","author":"minchen.li","content":"\u003Ch2\u003E引言\u003C\u002Fh2\u003E\u003Cp\u003E这年头，似乎只要包含智能自动化过程的软件都可以叫人工智能，但其实今天我们要探讨的具体来说是计算机辅助制造（Computer-Aided Design，CAD）。所谓CAD，简单来说就是利用计算机的数值模拟、决策优化、人机交互等技术，让人们的生产方式变得更加轻松高效。可能大家印象中的CAD还是来源于本科时《工程图学》这门课，用来辅助机械设计和生产过程。但其实这个概念早已在更多的领域蔓延开来，比如建筑设计、美术设计、服装设计等。这也是资本追逐的方向之一，因为它会带来生产成本的降低，同时也意味着大批量生产更高品质产品的可能性，一不小心还会是革命性的，和最近讨论很多的“人工智能未来可能会让越来越多的人下岗”是一个道理。\u003C\u002Fp\u003E\u003Cimg src=\"v2-60323c9c66d0ff0a3a8609d61937bf9d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"2145\" data-rawheight=\"712\"\u003E\u003Cp\u003E笔者有幸在硕士期间遇到了一位少女心的导师，接触了很多有关服装设计CAD的研究，很想和大家分享一下，毕竟穿衣也是日常生活中很常见的一个话题。那首先，我们就来谈一谈服装设计过程中极具技术含量，同时也是非常耗时耗材的一个过程——服装制版，以及现有的CAD技术是如何去辅助它的。\u003C\u002Fp\u003E\u003Cimg src=\"v2-99e52c55a987c508bf64d4e58777934c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1075\" data-rawheight=\"336\"\u003E\u003Ch2\u003E传统的服装设计过程\u003C\u002Fh2\u003E\u003Cp\u003E传统的服装设计流水线主要分为三块：创作设计（款式图，包括款式、面料、色彩等等的表达）、结构设计（也叫\u003Cb\u003E制版\u003C\u002Fb\u003E，确定每个部位的具体规格尺寸）、工艺设计（也叫车位，一件成品的缝制过程）。制版在其中起到了承上启下的作用，它将设计师的设计理念转化为具体的生产指令，使得衣服能够真正被制作出来，并且既美观又舒适。\u003Ca href=\"https:\u002F\u002Fbaike.baidu.com\u002Fitem\u002F%E6%9C%8D%E8%A3%85%E5%88%B6%E7%89%88\u002F10108073\"\u003E[百度百科]\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E制版的难点在于，要根据设计师描绘的穿在人身上的服装，确定它是由哪几块平面布料所缝制成的。这其中涉及到的变量很多，比如平面布料的数量、形状，以及它们之间的缝合关系和缝合方式等。\u003C\u002Fp\u003E\u003Cimg src=\"v2-c0401ab0639d1c3231d7893485253d98.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1249\" data-rawheight=\"573\"\u003E\u003Cp\u003E以数学的角度来说，制版师所操作的平面布料，和他想要验证的穿在人身上的服装，都不是在同一套参数空间里。所以制版师们往往是先从一些大概估计形状的平面布料开始，借助小钉把布料往人体模型身上裹（drape），做出想要得到的立体效果，然后用剪刀剪去多余的布料，或者如果这块布料不够大，就换更大的布料来重新尝试，如此往复，从而最终得到各布料的形状和缝合方式。由此可见，这项工作需要非常丰富的经验与十足的耐心，而且前期培训成本也很高。\u003C\u002Fp\u003E\u003Ch2\u003ECAD制版\u003C\u002Fh2\u003E\u003Cp\u003E现在深度学习这么火，可能大家首先想到的解决方法就是，训练一个神经网络吧，输入设计师草图，输出制版，done！或许大概有可能可以吧？\u003C\u002Fp\u003E\u003Cp\u003E要知道，深度卷积神经网络（CNN）是一种结合了卷积（convolution）操作的多层神经网络（neural network），适用于图像数据的表达与映射。那制版数据应该用什么神经网络来学习呢？即使制版数据也能用图像表达，它与设计图之间的映射也是具有非常多歧义和不确定因素的，而且上哪去找上亿对这样的数据？图像到图像的映射，即使是目前最先进的研究成果GAN生成的图像也还是有些许瑕疵。我们如何能保证这种瑕疵在制版数据中一定只是体现在衣服的外型上？能不能缝得起来都不好说！\u003C\u002Fp\u003E\u003Cp\u003ECAD并不是这个理念，它可以说是介于纯手工和纯自动之间的，没有把人完全排除到生产过程之外，而是将一些有确定解，而且又耗时耗材的过程自动化，把那些和设计与情感相关的过程仍然留给设计师来决定，并辅以友好的用户界面，让人们能将更多的精力放在设计而不是苦力上，就如同我们常用来修图的PS、美图秀秀等软件。\u003C\u002Fp\u003E\u003Cp\u003E于是，在2005年就出现了这么一篇文章 \u003Ca href=\"https:\u002F\u002Fwww.researchgate.net\u002Fprofile\u002FNadia_Thalmann\u002Fpublication\u002F222660744_From_early_virtual_garment_simulation_to_interactive_fashion_design\u002Flinks\u002F09e4151314d55dbab9000000.pdf\"\u003E[Volino et al. 2005]\u003C\u002Fa\u003E，讲述了结合物理模拟和人机交互技术来辅助制版过程的可能性，同时也催生了\u003Ca href=\"http:\u002F\u002Foptitex.com\u002F\"\u003EOptitexPDS\u003C\u002Fa\u003E、\u003Ca href=\"https:\u002F\u002Fbrowzwear.com\u002F\"\u003EBrowzwear\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Fwww.marvelousdesigner.com\u002F\"\u003EMarvelous Designer\u003C\u002Fa\u003E等一系列软件以及对相关问题的研究。\u003C\u002Fp\u003E\u003Cimg src=\"v2-62a617656d7ad62f154620b70f37819f.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"960\" data-rawheight=\"497\"\u003E\u003Cp\u003E这类软件借助物理模拟技术来给出在特定布料材质、形状、数量和缝合设置的情况下，衣服穿在一个特定的模特身上会是什么样子（\u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F58648581\"\u003E用计算机模拟人穿一件衣服的样子，可以怎样实现？\u003C\u002Fa\u003E这个问题对此也有些讨论）。并提供平面布料的形状编辑交互，可以让制版师任意编辑平面布料形状，并且实时地得到3D效果反馈，大大方便了制版过程。在此之中，科研人员在布料的物理模拟方法上的持续贡献功不可没。\u003C\u002Fp\u003E\u003Cp\u003E其中\u003Ca href=\"http:\u002F\u002Fwww.cs.columbia.edu\u002Fcg\u002FSC\u002F\"\u003ESenstive Couture [Umetani et al. 2011]\u003C\u002Fa\u003E 用非线性函数的线性逼近思想，使得平面布料的形状编辑，能够直接近似地先反映到模拟的3D衣物上去，而不是重新从初始平板状态开始模拟新的布料缝制成的衣服，从而进一步降低了制版耗时。\u003C\u002Fp\u003E\u003Cimg src=\"v2-46164e1c48d6daf2f765cac095773d6a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1115\" data-rawheight=\"543\"\u003E\u003Cp\u003E具体地，平面布料和3D衣物都是以三角形网格（triangle mesh）来表示，前者的采样点是二维的，而后者的采样点是三维的。如果我们把平面布料和3D衣物两个mesh上的所有采样点按同样的顺序连接在一起写成两个向量 \u003Cequation\u003EX \\in \\mathbb{R}^{2n}\u003C\u002Fequation\u003E 和 \u003Cequation\u003Ex \\in \\mathbb{R}^{3n}\u003C\u002Fequation\u003E （ \u003Cequation\u003En\u003C\u002Fequation\u003E 为采样点个数），物理模拟则可以简单地理解为一个解方程组的过程，其未知变量为 \u003Cequation\u003Ex\u003C\u002Fequation\u003E ，也就是3D衣物的形状和位置，方程组为 \u003Cequation\u003ER(X, x) = \\mathbf{0}\u003C\u002Fequation\u003E ，即3D衣物受力平衡（衣服穿在身上的样子不就是当衣服自身重力、布料内力、和人体对衣物的摩擦与支持力相互平衡的时候的样子吗？） \u003Cequation\u003ER(X, x) \\in \\mathbb{R}^{3n}\u003C\u002Fequation\u003E 为3D衣物每个采样点所受合力连接成的向量，由平面布料和3D衣物的形状与位置共同决定，是它们的非线性方程组，所以求解过程需要用到数值迭代方法。\u003C\u002Fp\u003E\u003Cp\u003E假设某时刻物理模拟完成，平面布料和相应的试穿结果分别为 \u003Cequation\u003EX_0\u003C\u002Fequation\u003E 和 \u003Cequation\u003Ex_0\u003C\u002Fequation\u003E 。此时用户对平面布料进行了编辑，使得它由 \u003Cequation\u003EX_0\u003C\u002Fequation\u003E 变为 \u003Cequation\u003EX_0 + \\Delta X\u003C\u002Fequation\u003E ，那么就得再次开始物理模拟。如果从头开始，肯定是不划算的，所以很直接的想法是从 \u003Cequation\u003E(X_0 + \\Delta X, x_0)\u003C\u002Fequation\u003E 开始。但是这样的话3D衣物的受力会很不正常，不是极度地被拉伸就是极度地被压缩，这会导致求解的不稳定。\u003C\u002Fp\u003E\u003Cp\u003ESensitive Couture的想法就是暂时把 \u003Cequation\u003ER(X, x)\u003C\u002Fequation\u003E 当作一个线性函数，这样就能通过求解线性方程组 \u003Cequation\u003E\\nabla_x R (X_0, x_0) \\Delta x = -\\nabla_X R (X_0, x_0) \\Delta X\u003C\u002Fequation\u003E 直接求出一个近似的与\u003Cequation\u003EX_0 + \\Delta X\u003C\u002Fequation\u003E 平衡的3D衣物\u003Cequation\u003Ex_0 + \\Delta x\u003C\u002Fequation\u003E 了，然后从这里开始重新模拟，不仅受力更加正常，求解也会更快完成（收敛）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-1959d549c87255a5d1bd794672f12dbc.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1251\" data-rawheight=\"467\"\u003E\u003Cp\u003E物理模拟的耗时在很大程度上取决于衣物mesh上采样点的数量，那如何在尽可能不破坏模拟效果的情况下减少采样点呢？\u003Ca href=\"http:\u002F\u002Fgraphics.berkeley.edu\u002Fresources\u002FARCSim\u002F\"\u003EArcSim [Narain et al. 2012]\u003C\u002Fa\u003E 就是着眼于这样一个问题。他通过每个时刻对3D衣物上每一点的受理情况的分析，判断3D衣物在接下来的模拟中哪些部分会很平整，哪些部分会更容易弯曲并产生褶，来进行自适应密度的采样。即只在容易产生褶的地方进行比较精细的采样，而趋于平整的区域则使用较粗糙的采样，于是便尽可能降低了采样点数量，减小了方程组的规模，同时也就加快了物理模拟过程。\u003C\u002Fp\u003E\u003Cimg src=\"v2-85058274d703af7698950ccf7af99160.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1588\" data-rawheight=\"444\"\u003E\u003Cp\u003E回到CAD软件，要想使用它们来设计虚拟衣物或者制版，还是需要很多的专业的制版知识的，否则你不会知道要怎么去调整布料。即使是专业人员，也还是需要好几个来回才能做出理想的效果。所以，其实它们只是把制版过程从现实生活中搬到了电脑上，而并没有给出进一步的辅助。比如它们并没有提供模块化的编辑操作，来方便地为任意长度的袖子、任意形状的裙子等制版。以及编辑和结果验证还是分别在两个参数空间，为什么不能提供更丰富的直接在3D空间的编辑操作呢？\u003C\u002Fp\u003E\u003Ch2\u003E结语\u003C\u002Fh2\u003E\u003Cp\u003E相信看到这里，大家对CAD软件中的模块和相应技术都具有了一定的了解：现实生活中的实践过程往往由物理模拟技术来进行还原，而对实践的人为操作则由人机交互技术来实现。另外，我们之后提到的模块化操作功能，就需要数学优化来建模并求解了。\u003C\u002Fp\u003E\u003Cp\u003E事实上，这些软件目前只是在虚拟服饰的制作中应用得很成熟，涉及到真正的服装设计，可能更多还是应用于教学，或者给予制版师一个更好的初始尝试计划。因为想要使计算机模拟的结果精确地符合现实情形，不仅需要很大的计算量，而且还需要很精确的参数设置，尤其是布料的各种材质属性，以及碰撞处理等。但服装设计CAD这个趋势还是很明显的，学术界目前一直有稳定的跟进工作，我们在本系列的后续文章中会陆续谈到。工业界方面，据笔者了解，哥大的Sensitive Couture制作团队也加入了这个领域的创业大军之中。\u003C\u002Fp\u003E\u003Cp\u003E下期我们谈一谈为制版过程提供更加模块化操作的研究。更新频率暂时计划为每月一篇。\u003C\u002Fp\u003E\u003Ch2\u003E参考文献\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fbaike.baidu.com\u002Fitem\u002F%E6%9C%8D%E8%A3%85%E5%88%B6%E7%89%88\u002F10108073\"\u003E[百度百科]\u003C\u002Fa\u003E 服装制版，百度百科词条\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.researchgate.net\u002Fprofile\u002FNadia_Thalmann\u002Fpublication\u002F222660744_From_early_virtual_garment_simulation_to_interactive_fashion_design\u002Flinks\u002F09e4151314d55dbab9000000.pdf\"\u003E[Volino et al. 2005]\u003C\u002Fa\u003E Volino P, Cordier F, Magnenat-Thalmann N. From early virtual garment simulation to interactive fashion design[J]. Computer-aided design, 2005, 37(6): 593-608.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.cs.columbia.edu\u002Fcg\u002FSC\u002F\"\u003E[Umetani et al. 2011]\u003C\u002Fa\u003E Umetani N, Kaufman D M, Igarashi T, et al. Sensitive couture for interactive garment modeling and editing[J]. ACM Trans. Graph., 2011, 30(4): 90:1-90:12.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fgraphics.berkeley.edu\u002Fresources\u002FARCSim\u002F\"\u003E[Narain et al. 2012]\u003C\u002Fa\u003E Narain R, Samii A, O'Brien J F. Adaptive anisotropic remeshing for cloth simulation[J]. ACM transactions on graphics (TOG), 2012, 31(6): 152.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E微信公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"430\" data-rawheight=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg src=\"v2-885fb112f568154e08bd27832d4444be.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"88\" data-rawheight=\"31\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可，如需转载请署名。\u003C\u002Fp\u003E","updated":new Date("2017-09-28T14:43:56.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":26,"likeCount":79,"state":"published","isLiked":false,"slug":"29620024","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-28T22:43:56+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29620024\u002Fcomments"},"url":"\u002Fp\u002F29620024","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-b1f811a5468eb3e85e166fc02095579a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29620024","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":26,"likesCount":79},"29626130":{"title":"【UnrealEngine4】体渲染和Tri-Planar Mapping","author":"ycz-19","content":"\u003Cp\u003E上次分享了一下在虚幻四中如何仅用蓝图和材质来制作特殊排布的数据和贴图（三维纹理为主）本周的文章是上一篇文章的延续，来讲讲三维纹理的数据注入，和渲染方式。\u003C\u002Fp\u003E\u003Cp\u003E最近鄙人精神状态不怎么好，原来想放弃本周的文章的，还是坚持下来决定写下这篇文章。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E回顾一下文章目录：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.虚幻四中的 距離場\u003C\u002Fb\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29214784\"\u003E【UnrealEngine4】距离场的使用技巧与应用\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.材質中的偽體素（三維紋理）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29413795\"\u003E【UnrealEngine4】材质系统中的伪三维纹理\u003C\u002Fa\u003E（上一期）\u003C\u002Fp\u003E\u003Cp\u003E2.三维纹理的生成和渲染(本文)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.基於NS方程的流體模擬 在虚幻四中\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.用蓝图模拟pass，进行伪compute stage的运算\u003C\u002Fp\u003E\u003Cp\u003E2.用蓝图模拟ubo，向材质系统传输数据\u003C\u002Fp\u003E\u003Cp\u003E3.NS方程的解析和实际模拟\u003C\u002Fp\u003E\u003Cp\u003E4.烟体、流体的渲染\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E四.metaball 的原理与在材质中的实现\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E五.在虚幻四中 path tracing\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.相机内参、简单物体变换信息的处理\u003C\u002Fp\u003E\u003Cp\u003E2.path tracing的解析，temporal的思路\u003C\u002Fp\u003E\u003Cp\u003E3.在材质中进行path tracing\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E六、透明物体的渲染\u002F造假技巧\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E以后根据实际情况做稍微的改动。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E下面正文\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E为了使以后的流体模拟和metaball的部分能方便debug，体数据的渲染部分也包括在此文中了。之所以封面又是那个典型的场景，是因为本文的技术在整个场景里全部有使用，大规模地使用。鄙人不才，文章多有纰漏，望各位斧正。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E文章结构：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.体数据的生成与注入\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.体数据的渲染\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.特别的渲染（对于光栅化通用）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.体数据的生成与注入\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这是上一节遗留下来的内容。关于上一节讲到的原理鄙人在此不再赘述。关于材质部分，这里使用了虚幻四中自带的一个噪声函数：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"196\" src=\"v2-346e03fecc23f4f6aedb6c8d1cd202c8.jpg\" data-rawwidth=\"788\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然可以选择多层噪声函数叠加，得到柏林噪声。\u003C\u002Fp\u003E\u003Cp\u003E经过上一节提到的二维-三维坐标转换和这个三维噪声的函数，可以得到最终的输出结果：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"875\" src=\"v2-345d1261c4396052e3a20ae6fcf96805.jpg\" data-rawwidth=\"916\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E关于蓝图部分，由于在材质中得到了想要的结果是无法应用在任何的体渲染材质中的，因此需要一个将材质输出结果转换为实际数据（Texture）的函数。这个函数有如地球上的光合作用，没有这个函数我的文章到上一节就应该结束了（一起去用c++吧（雾））\u003C\u002Fp\u003E\u003Cp\u003E关于这个十分十分十分十分十分重要的函数，我将在下下讲详细解说（flag），这里仅仅使用一下，先解决本文的需求。\u003C\u002Fp\u003E\u003Cp\u003E使用方法很简单：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"354\" src=\"v2-b79a6f45df02e7e7699234f7979ed065.jpg\" data-rawwidth=\"778\"\u003E\u003Cp\u003E这样，体数据生成注入的结果就可以输出到其中一张Texture中了，也就是说，现在才真正“抓住了”这个实时生成的体数据。\u003C\u002Fp\u003E\u003Cp\u003E对于动态体数据，可以选择实时生成注入，也可以选择在RayCast的时候实时获取，但是出于给文章加戏（霧），才有了上面的体数据的生成注入部分。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"728\" src=\"v2-bc2973f03c923f67f40f4263326d35e9.jpg\" data-rawwidth=\"711\"\u003E\u003Cp\u003E(用噪声随便生成的一朵棉花)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.体数据的渲染\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E接下来鄙人分享一下一个体渲染的方法-RayCast。這個算法十分經典，也曾演變過多次。尽管如此，渲染部分还是是我最头疼的，很多时候翻阅文献自己理解了，或者能实现了，却很难用语言来表达，或者实现的效率往往低下。加上知乎的公式编辑器之恐怖，鄙人决定这一部分的公式用手写好了（字不美，见笑）\u003C\u002Fp\u003E\u003Cp\u003E首先我们看到这个公式：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"219\" src=\"v2-63c0d528b8074d5512b4c64e3ce73c6e.jpg\" data-rawwidth=\"1273\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E嗯，看上去人畜无害。这就是本小节的主角了。这个公式表示一个屏幕上的像素p最后接受的光能强度，从图像效果上来看，就是最终的着色结果。\u003C\u002Fp\u003E\u003Cp\u003E先解释一下里面必要参数的意义：\u003C\u002Fp\u003E\u003Cp\u003EP:当前像素区域\u003C\u002Fp\u003E\u003Cp\u003Er：射线\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\chi\u003C\u002Fequation\u003E ：extinction（不敢随便翻译成中文了，反正最后也用不上的）\u003C\u002Fp\u003E\u003Cp\u003Ej：in-scattering energy中的一项\u003C\u002Fp\u003E\u003Cp\u003E（9.25注）受限于篇目，鄙人无法解释该公式中所有函数的意义。事实上，底下的推导看看就可以了，我恰好从笔记本里翻出来，顺便重新推导了一次。如果只是完成文章的内容，使用最终化简的公式已经可以了。\u003C\u002Fp\u003E\u003Cp\u003E尽管看上去很复杂，事实上用高中的数学水平可以分析，得到化简形式，比如：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"321\" src=\"v2-d93006af4ad0c9e5fc82d7029a99ee14.jpg\" data-rawwidth=\"685\"\u003E\u003Cp\u003E（其实这个方法来自于一篇论文，看过就忘了是哪一篇了实在抱歉。。）\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"181\" src=\"v2-848594d50660e49e87f751ae6761b1ce.jpg\" data-rawwidth=\"997\"\u003E\u003Cp\u003E然后：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"239\" src=\"v2-d5d3be4c694bda57e3759dacfe3cfaf3.jpg\" data-rawwidth=\"791\"\u003E\u003Cp\u003E再根据非相关性：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"395\" src=\"v2-7eb54ba1e1c65e1290877070cc31139e.jpg\" data-rawwidth=\"892\"\u003E\u003Cp\u003E最后可以得到：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"424\" src=\"v2-49cc6b358e91fd63d9b5f976c9b26672.jpg\" data-rawwidth=\"1263\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个公式就是最简的，可用的形式了。考虑递推，可以简单地得到：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"784\" src=\"v2-89228a8d0d09f8e408a0aa44c2e977dd.jpg\" data-rawwidth=\"1187\"\u003E\u003Cp\u003E（写错了几个字，不改了( ´･ᴗ･` )）\u003C\u002Fp\u003E\u003Cp\u003E在shader里已经有了计算的可能。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E有了这个公式，体渲染已经完成了一半。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E首先整理一下思路：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.一条射线，上面分布着若干采样点\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2\u003C\u002Fb\u003E.获取若干采样点的Density和受光情况-得到光能\u003C\u002Fp\u003E\u003Cp\u003E3.根据排序和公式得到该像素的正确着色结果\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E好，在\u003Cb\u003E2\u003C\u002Fb\u003E中出现了新的需求，受光情况。不考虑自发光，烟雾是需要被照亮的。若场景中有N个光源Li\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E把2扩展一下，得到\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.一条射线，上面分布着若干光能采样点\u003C\u002Fp\u003E\u003Cp\u003E2.获取若干采样点的Density和受光情况-得到光能\u003C\u002Fp\u003E\u003Cp\u003Ea.对于场景中的所有光源，射出若干射线，上面分布着若干光源采样点\u003C\u002Fp\u003E\u003Cp\u003Eb.根据排序和公式得到该光能采样点受到的光能\u003C\u002Fp\u003E\u003Cp\u003E3.根据排序和公式得到该像素的正确着色结果\u003C\u002Fp\u003E\u003Cp\u003E（注意其中的光能和光源的标记是不同的，且这里说法不严谨，鄙人语文能力差，无法较准确传达，见谅。为了方便理解，拿单方向光源为例子，实际上，采样点分布为一个平面（感受一下））\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后得到的就是接近真实的结果了。这个算法的复杂度是o(n(m+k))的（大概），其中k是天光采样次数，mn分别为屏幕像素采样数和光源采样数。如果硬是要加上IBL的话，也不是不可行。只是采样数目会变得实在很多，可能需要用Gaussian来提前积分，模拟Lobe分布造成的模糊（对于各向同性的且光照十分低频的烟雾应该相差不大）（鄙人于此用语不怎么严谨了，为了方便表述，见谅）\u003C\u002Fp\u003E\u003Cp\u003E当然了，可以对体数据进行DownSample，做一个Mip-Map Pryamid，然后进行cone tracing，不过这又是后话了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于带颜色的散射的模拟，我在这里不做详细描述。（事实上只是一个带颜色的吸收模型，与上述公式不冲突，只不过私以为用线性空间的颜色来模拟实际情况不太妥当，不过也的确只能这么计算）\u003C\u002Fp\u003E\u003Cp\u003E具体的代码，鄙人也不在文章中放出来。如果实在难以理解运用，可以参考这里的代码：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fshaderbits.com\u002Fblog\u002Fcreating-volumetric-ray-marcher\"\u003Ehttp:\u002F\u002Fshaderbits.com\u002Fblog\u002Fcreating-volumetric-ray-marcher\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E很熟悉的网站吧，上一次我也引用了该网站的内容。值得一看。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"668\" src=\"v2-66fc1b35efc1e1591c6f6803b73d08e1.jpg\" data-rawwidth=\"676\"\u003E\u003Cimg data-rawheight=\"679\" src=\"v2-679985da79f413b47c3e1396d362e1b8.jpg\" data-rawwidth=\"665\"\u003E\u003Cimg data-rawheight=\"728\" src=\"v2-bc2973f03c923f67f40f4263326d35e9.jpg\" data-rawwidth=\"711\"\u003E\u003Cp\u003E（本色白色，根据上文的模拟方案，由不同散射颜色（吸收颜色）渲染的结果）\u003C\u002Fp\u003E\u003Cp\u003E（其实这个内容原本也不是根据shaderbit上点文章做的。我在完成之后原本打算放在market上的，恰好遇到虚幻四更新了一个类似的内容，尽管细致上很多不同，但是我也没敢放上去。NS方程的资源也遇到了同样的情况（Epic。。坑爹），而且基本上是，我用蓝图和材质大费周章地实现了一些东西，Epic总能计算更新那些东西(qq式笑脸））\u003C\u002Fp\u003E\u003Cp\u003E体数据有没有其他渲染的方法呢？有。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"707\" src=\"v2-0ceb39aafa56eee5dcd3cec169689702.jpg\" data-rawwidth=\"857\"\u003E\u003Cp\u003E鄙人再分享一种“实体”式的渲染方法，即渲染体数据水平集的分界面（等值面）。\u003C\u002Fp\u003E\u003Cp\u003E实际上，可以把虽然是储存在离散空间的体数据看作是一个连续的数据（因为上一篇文章提到的插值），可以得到一个连续的密度函数，自变量为三维向量，因变量为密度。\u003C\u002Fp\u003E\u003Cp\u003E以某一个密度为分界，渲染等值面。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E整理一下：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.一条ray，上面有若干采样点\u003C\u002Fp\u003E\u003Cp\u003E2.如果某个采样点的\u003Cb\u003E密度＞密度阈值\u003C\u002Fb\u003E，返回1\u003C\u002Fp\u003E\u003Cp\u003E3.如果没有采样点满足2的条件，返回0\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E考虑光照的计算，还需要知道表面法线，粗糙度等。这里仅考虑法线（粗糙度可自行储存在体数据中，就像密度一样）。\u003C\u002Fp\u003E\u003Cp\u003E一个三元函数，一个法线，可以联想到鄙人第一篇文章中提到的\u003Cb\u003E梯度\u003C\u002Fb\u003E。密度的梯度即等值表面法线，由于第一篇文章中有提到，这里不进行思想上的推导或严格推导了。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"645\" src=\"v2-f34876a231c6becc6ed4e67355feaf54.jpg\" data-rawwidth=\"739\"\u003E\u003Cp\u003E\u003Cb\u003E又可以得到\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.一条ray，上面有若干采样点\u003C\u002Fp\u003E\u003Cp\u003E2.如果某个采样点的密度＞密度阈值\u003C\u002Fp\u003E\u003Cp\u003Ea.根据梯度获取表面法线\u003C\u002Fp\u003E\u003Cp\u003Eb.根据各种信息进行着色（参考烟雾渲染部分，可进行光源采样）\u003C\u002Fp\u003E\u003Cp\u003E3.如果没有采样点满足2的条件，返回0\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E但是事实上，这样的渲染效果并不好。首先，由于数据密度之稀疏，会造成法线有阶梯感，虽然能通过抖动（jitter）和适当调整微分的step size来达到合理视觉效果，但是问题会依旧存在。\u003C\u002Fp\u003E\u003Cp\u003E这里提供一种可能的解决方法：结合烟雾的渲染方法，增加采样次数。具体在此不做阐述。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.特别的渲染\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"842\" src=\"v2-b2fe884f92922f4e5567fe22dd3e9c7e.jpg\" data-rawwidth=\"1849\"\u003E\u003Cp\u003E这个场景除了眼熟之外，还有什么特别的呢？\u003C\u002Fp\u003E\u003Cp\u003E从制作时间来说，仅仅几天便完成了这个雏形。特别之处在于，全场景除了光照uv（自动分）之外，没有任何地方需要用到uv来进行着色。且纹理大部分由材质中的噪声生成，因此加速了制作流程。其实大多数时候，uv是一个无用的数据，例如大量平铺纹理的墙壁，地板，根本不需要uv，用uv进行引索着色只会导致错误的单位制量（纹理时大时小）\u003C\u002Fp\u003E\u003Cp\u003E之所以要提到这个，是因为虚幻的材质Custom函数的限制，输出值做多为一个float4，为了避免重复运算，需要对渲染结果进行精心压缩。不过这是后话了，鄙人在这里先分享一下，如何不分uv来进行正确着色-一个叫\u003Cb\u003ETri Planar Mapping\u003C\u002Fb\u003E的方法\u003C\u002Fp\u003E\u003Cp\u003E考虑一个平面，实际上，可以利用着色点的世界坐标作为贴图的引索。即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EResult=Sample(P.xy)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E考虑三个平面，我们可以得到一个着色点在世界三个平面中的采样值:\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EResult0=Sample(P.xy)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EResult1=Sample(P.yz)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EResult2=Sample(P.xz)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E显然的是，一个着色点只能对应一个着色结果，因此需要求出加权的数值。这里给出一种简单的插值方式，即：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"370\" src=\"v2-d6319e17855460b3bfad1580fc576c1e.jpg\" data-rawwidth=\"1286\"\u003E\u003Cp\u003E得到三个已归一化的分量，分别与三个结果相乘相加即可\u003C\u002Fp\u003E\u003Cp\u003E通过控制三角函数的形状，如加上一个Power项，可以调整插值的硬度.\u003C\u002Fp\u003E\u003Cp\u003E根据角度进行插值，可以得到较平滑的结果：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"839\" src=\"v2-ca66c876316d359812b6c19ffac98db2.jpg\" data-rawwidth=\"1325\"\u003E\u003Cp\u003E（毕竟不是美术，见笑大方了）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E事实上，不难看出，对于一个着色点，真正重要的信息只是法线和世界位置（相对位置）（对于没有什么特征的物体，人物是不包含在内的）\u003C\u002Fp\u003E\u003Cp\u003E对于上面提到的流体渲染，应用这种新的着色方法，可以给体数据赋予一种艺术感（雾）\u003C\u002Fp\u003E\u003Cp\u003E再比如metaball的渲染，受到上述的限制，着色部分必须从custom里单独分离出来，因此uv完完全全成为累赘（这里后面会详细说）可以得到的结果是这样的：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"723\" src=\"v2-161bfb831b4ec3443146b8e3b6209790.jpg\" data-rawwidth=\"901\"\u003E\u003Cp\u003E（在Market上搜索Metaball可找到鄙人的案例）\u003C\u002Fp\u003E\u003Cp\u003E所谓光栅化通用，便是题图场景的应用了。\u003C\u002Fp\u003E\u003Cp\u003E对于光栅化，局限性在于对于采样法线贴图的走向和分布不适合一些细节物体，会有一些不真实的瑕疵产生。不过对于现在虚幻四大规模浮躁的家装制作，这点貌似不成什么问题（借讽一下）\u003C\u002Fp\u003E\u003Cp\u003E（9.26注）简而言之，使用了这个函数，万物皆可被贴图，只需要世界位置和法线即可。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后照例贴几张有趣的图和视频：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-5690c3e165ef4af9dbce8980f824db02.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F895336802133606400\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"895336802133606400\"\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E(很久之前和几位特效师一起工作的时候制作的艺术感小球，无意中找回了这个视频，顺便怀念一下以前的快乐时光)\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-5d78271635e06997208e42d2d0f25be8.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F895337251544907776\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"895337251544907776\"\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-b0d24a00c9f8ec28769dc54a291afdcd.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F895337283618758656\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"895337283618758656\"\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E(几个metaball)\u003Cbr\u003E\u003Cimg data-rawheight=\"706\" src=\"v2-408a2f9c76111577cb91caa1d79e072c.jpg\" data-rawwidth=\"815\"\u003E(用自带的Refraction模拟折射和粗糙表面的玻璃球)\u003Cp\u003E好，本期的文章到此结束了，感谢阅读。\u003C\u002Fp\u003E\u003Cp\u003E借一下文末位置感叹一下，活着可能和写文章一样累吧。但是能分享给各位虚幻四的用户已是我最大的荣幸的高兴，文章无任何商业性质和用途，也没有开通打赏等功能，如果有更多人点赞可能会是我更大的前进动力吧。\u003C\u002Fp\u003E\u003Cp\u003E鄙人不才，对很多东西理解尚不够透彻，文章仅仅为了分享经验交流心得，仅仅抛砖引玉，见笑大方了。如有纰漏，还望指出斧正。\u003C\u002Fp\u003E\u003Cp\u003E最后突然想起一句话\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E「命運虛晃一槍 又是大夢一場」\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E感谢阅读！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E参考文献：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EGigaVoxels:A Voxel-Based Rendering Pipeline For Efficient Exploration Of Large And Detailed Scenes\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EPBRT:Physically Based Rendering 10-Textures\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fshaderbits.com\u002Fblog\u002Fcreating-volumetric-ray-marcher\"\u003ECreating a Volumetric Ray Marcher\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-24T09:32:31.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":17,"likeCount":125,"state":"published","isLiked":false,"slug":"29626130","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-09-24T17:32:31+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29626130\u002Fcomments"},"url":"\u002Fp\u002F29626130","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-6299f875ef2b57686c11156e310ebb6a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29626130","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":17,"likesCount":125},"29669568":{"title":"果壳中的宇宙-iPhone X的Face ID和True Depth Camera分析-Animoji篇","author":"origamidance","content":"\u003Cp\u003E这是我们果壳中的宇宙-IPhone X的Face ID和True Depth Camera分析系列的第二篇，第一篇链接在此\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29353194\"\u003E果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇\u003C\u002Fa\u003E，这回我们就来聊聊iPhone X上另一个令人惊讶的新功能-Animoji。本文主要进行浅显的分析，更多的技术细节请参照论文，另外受限于作者知识储备，本文多有不足之处，请大家多多指正，我们也会根据大家的意见建议及时修改相关部分，以求尽量准确。\u003C\u002Fp\u003E\u003Ch2\u003E起源\u003C\u002Fh2\u003E\u003Cp\u003E或许大家也注意到了，在iPhone X发布后，USC的图形学副教授Hao Li在linkedin上发了个说说，具体内容如下图\u003C\u002Fp\u003E\u003Cimg src=\"v2-33f2c9fe44a4fb256c5714793ff28f65.jpg\" data-rawwidth=\"750\" data-rawheight=\"997\"\u003E\u003Cblockquote\u003E来自Hao Li的Linkedin\u003C\u002Fblockquote\u003E\u003Cp\u003E这个图形学界家喻户晓的杀马特少年又一次来到了聚光灯下。那么Animoji和这位大神的PhD论文究竟有什么关系呢？FaceShift又是干什么的？这又要从快十年前说起了。\u003Cbr\u003EHao Li在2006年进入瑞士ETHZ攻读PhD，师从当时还在ETH的Mark Pauly。博士期间，他发表了数篇文章，可谓无一篇不是大作，08年SGP的非刚性注册，09年SCA的人脸跟踪，可以说是为后来的研究和商业应用打开了一扇大门，09\u002F10\u002F11三年的三篇SIGGRAPH也把整个这一套理论推向更自动，更鲁棒，更实时。他在EPFL的同事Thibaut Weise和Sofien Bouaziz也是这一方向的大牛，在发表数篇论文之后也组建了人脸动画公司FaceShift。2015年FaceShift被苹果收购，他们也成了继PrimeSense之后苹果在iPhone X刘海的技术储备里的另一款重要的拼图。\u003C\u002Fp\u003E\u003Ch2\u003EAnimoji的秘密\u003C\u002Fh2\u003E\u003Cp\u003E在发布会上，我们看到由于有了我们\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29353194\"\u003E上一篇文章\u003C\u002Fa\u003E分析过的True Depth Camera，iPhone X能够做到各种光照环境下的人脸识别，即Face ID，此外还有另一项黑科技，就是Animoji。\u003C\u002Fp\u003E\u003Cimg src=\"v2-8c67932353af0e78c24b55ca82072a91.gif\" data-rawwidth=\"480\" data-rawheight=\"314\" data-thumbnail=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-8c67932353af0e78c24b55ca82072a91_b.jpg\"\u003E\u003Cblockquote\u003EAnimoji-来自苹果发布会\u003C\u002Fblockquote\u003E\u003Cp\u003E你的iPhone X可以通过前置摄像头观察你的表情，并且让卡通做同样的表情，听起来很酷炫，那么，这么神奇的Animoji究竟是怎么实现的呢？\u003C\u002Fp\u003E\u003Cp\u003E我们翻了翻上一节提到的四个大神的paper，这里争取给大家尽量简洁地解释一下这项技术的基本思路。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5f02ee27910a1d48f361c280114bd712.gif\" data-rawwidth=\"596\" data-rawheight=\"332\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-5f02ee27910a1d48f361c280114bd712_b.jpg\"\u003E\u003Cblockquote\u003EAnimoji-来自Apple\u003C\u002Fblockquote\u003E\u003Cp\u003E从这个图里，我们能够看出Jony Ive的头变成了一个更秃（手动尴尬）的虚拟头部，而在这个虚拟头部的背后，就是这项技术的核心概念：Blendshapes（中文我们可以称作混合形状）。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E人脸动画与Blendshapes\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E一张三维人脸一般可以分解为两个维度: identity和expression。identity我的翻译是本征量, 指去掉表情变化之后人脸的形状特征, 可以理解为每个人的相貌; expression是表情, 不同人脸都可以做出类似的表情。通俗点说，就是每个人的面部可以作为相貌和表情的一种组合。所以呢，如果我们想要把一个人的表情迁移到卡通人物上面，就是把人脸的表情分量提取出来，再告诉卡通人物做同样的表情就好啦。\u003C\u002Fp\u003E\u003Cp\u003E闭上眼睛想想，好像人都是俩眼睛一鼻子一嘴巴，表情就是每个部分不同姿势的组合嘛，虽然每个人长的不一样，但表情好像都是类似的那么几种。\u003C\u002Fp\u003E\u003Cimg src=\"v2-634e0a2b913fe92d71e970010dc59edc.jpg\" data-rawwidth=\"564\" data-rawheight=\"1161\"\u003E\u003Cblockquote\u003EExpressions-来自Chronicdoodler.deviantart.com\u003C\u002Fblockquote\u003E\u003Cp\u003E那是不是人的表情就这么有限种呢？或者说人的每种表情是不是可以通过有限种的基本表情合成出来呢？Bingo! Blendshapes就是这个思路，我们假设对同一人来说, 那么他的任意表情就可以用有限的表情基来表示, 这些基就称为这个人的BlendShapes，就像这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-860f58bd47dfd8f26274ab6dbe298ea7.jpg\" data-rawwidth=\"919\" data-rawheight=\"638\"\u003E\u003Cblockquote\u003EBlendshapes-来自Dynamic 2D\u002F3D Registration Course-SGP'14\u003C\u002Fblockquote\u003E\u003Cp\u003E这些blendshapes都有相同的网格结构，也就方便了我们进行组合。说到组合，最简单的就是线性组合了，就像下图这样（唔，这个卡通人物的原型就是上文提到的各位大神的导师Mark Pauly，这么玩自己的导师也是没sei了）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-8424dfe0d24899ae838237cda9a626c9.jpg\" data-rawwidth=\"640\" data-rawheight=\"353\"\u003E\u003Cblockquote\u003EBlendshapes expression-来自cs599-ss2015_Hao Li\u003C\u002Fblockquote\u003E\u003Cp\u003E现在，我们就可以用blendshapes的线性组合来表示人的各种表情了（当然这个不是绝对的，有时候还是需要后续修正），即一个表情可以用一组表情基和一组权重来表示。有了这两组数据，我们就可以大展身手了。\u003C\u002Fp\u003E\u003Cp\u003E比如，我们想把一个表情迁移到一个卡通人物上，只要我们有这个卡通人物的Blendshapes表情基和表情权重就好了。\u003C\u002Fp\u003E\u003Cimg src=\"v2-334d96f750b3dfa7df7ec19339aa96e6.jpg\" data-rawwidth=\"640\" data-rawheight=\"373\"\u003E\u003Cblockquote\u003EBlendshapes expression-来自cs599-ss2015_Hao Li\u003C\u002Fblockquote\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E利用Blendshapes来做人脸跟踪\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E更神奇的是，Blendshapes还能用在这个问题的另一方面，就是人脸跟踪上。我们知道一个面部表情可以由一组Blendshapes表情基的线性组合合成，即这里的 \u003Cequation\u003Ee=Bd+b\u003C\u002Fequation\u003E :\u003C\u002Fp\u003E\u003Cimg src=\"v2-dd7b79b6d0bd79b828d2bc1ce0c84b84.jpg\" data-rawwidth=\"640\" data-rawheight=\"375\"\u003E\u003Cblockquote\u003Eblendshapes-来自Dynamic 2D\u002F3D Registration Course-SGP'14\u003C\u002Fblockquote\u003E\u003Cp\u003E那么人脸跟踪的目的就是求解其中的变量：表情权重d，也就是解一个反问题：给定一个面部的数据e和Blendshapes表情基B如何反求表情权重d。\u003C\u002Fp\u003E\u003Cimg src=\"v2-d5268d1c580661b7a898a52c8b3ac77d.jpg\" data-rawwidth=\"640\" data-rawheight=\"307\"\u003E\u003Cblockquote\u003ETracking-来自cs599-ss2015_Hao Li\u003C\u002Fblockquote\u003E\u003Cp\u003E这个问题有两部分，第一是每个人的相貌，就是我们之前说的identity不同，这也会使每个人的blendshapes表情基不同，所以我们要生成一套符合每个人相貌的blendshapes表情基；第二个就是求解表情权重了。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E个性化的Blendshapes表情基\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E这个个性化的Blendshapes表情基就是要生成一组符合当前用户的相貌的表情基。最直接的办法就是让用户为每一个表情拍摄一组数据，再通过非刚性变形把初始的blendshapes变形成个性化的blendshapes。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0de8fdc0097f3ef491d0603fff930e13.jpg\" data-rawwidth=\"3600\" data-rawheight=\"720\"\u003E\u003Cblockquote\u003EBlendshapes capture-来自Face Off: Live Facial Puppetry\u003C\u002Fblockquote\u003E\u003Cp\u003E也有在跟踪过程中逐渐修正的算法：\u003C\u002Fp\u003E\u003Cimg src=\"v2-7c5f68c3ab84524fc9a92163d83e2b89.jpg\" data-rawwidth=\"1280\" data-rawheight=\"720\"\u003E\u003Cblockquote\u003ECustomized blendshapes-来自Online Modeling For Realtime Facial Animation\u003C\u002Fblockquote\u003E\u003Cp\u003E还有直接通过捕捉到的一般脸结合刚性形变生成个性化的Blendshapes的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-12598bafb04b5a14e7fc2c807de00eb6.jpg\" data-rawwidth=\"640\" data-rawheight=\"369\"\u003E\u003Cblockquote\u003Ecustomized blendshapes-来自Realtime Facial Animation with On-the-fly Correctives\u003C\u002Fblockquote\u003E\u003Cp\u003E这里就是变形过后的Blendshapes：\u003C\u002Fp\u003E\u003Cimg src=\"v2-de89dbdc581aefb47f52d7e4cbf0dc19.gif\" data-rawwidth=\"400\" data-rawheight=\"225\" data-thumbnail=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-de89dbdc581aefb47f52d7e4cbf0dc19_b.jpg\"\u003E\u003Cblockquote\u003Ecustomized blendshapes-来自Realtime Performance-Based Facial Animation\u003C\u002Fblockquote\u003E\u003Cp\u003E当然，还有重要的一步就是要捕捉一般脸的模型，用于辅助变形和追踪，一般来说，用户只要转转头，通过刚性和非刚性注册就可以通过深度图生成比较完整的一般脸的模型：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-27310b764c8567a92828c34de9f0f392.gif\" data-rawwidth=\"400\" data-rawheight=\"225\" data-thumbnail=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-27310b764c8567a92828c34de9f0f392_b.jpg\"\u003E\u003Cblockquote\u003ENeutral face-来自Realtime Performance-Based Facial Animation\u003C\u002Fblockquote\u003E\u003Cp\u003E看到这里是不是觉得似曾相识？没错，在发布会上我们看到的这一幕：\u003C\u002Fp\u003E\u003Cimg src=\"v2-930b24f288adb59beab5e6d825b047c5.gif\" data-rawwidth=\"308\" data-rawheight=\"191\" data-thumbnail=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-930b24f288adb59beab5e6d825b047c5_b.jpg\"\u003E\u003Cblockquote\u003EFace registration-来自苹果官网\u003C\u002Fblockquote\u003E\u003Cp\u003E这里iPhone X不仅捕捉了用于Face ID人脸识别的人脸特征，同时也获得了用于blendshapes的一般脸模型，可谓一举两得，后续可以通过上文提到的非刚性形变和在跟踪过程中逐渐修正的算法实现个性化的blendshapes生成。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E表情权重\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E上文提到人脸跟踪就是求解人脸动画的反问题：给定一个面部的数据e和Blendshapes表情基B如何反求表情权重d，通过上面的方法我们得到了个性化的Blendshapes表情基B，那么给定一个面部数据e，我们就可以通过优化方法求得表情权重d，即 \u003Cequation\u003Eargmin_d||e−(Bd+b)||^2\u003C\u002Fequation\u003E 之类。这里值得注意的是这个公式只是一个示意，实际算法中会考虑多种能量函数，包括空间深度信息：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-811fd9cf55e26bc67b05ad4a42c4bb0c.jpg\" data-rawwidth=\"118\" data-rawheight=\"99\"\u003E\u003Cblockquote\u003Edepth-没错，这就是Hao Li\u003C\u002Fblockquote\u003E\u003Cp\u003E彩色纹理信息：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-183e42e1b0b1394c563ff4dda48e11e8.jpg\" data-rawwidth=\"119\" data-rawheight=\"104\"\u003E\u003Cblockquote\u003Etexture-没错，这也是Hao Li\u003C\u002Fblockquote\u003E\u003Cp\u003E还会考虑时空的信息，结合前几帧的信息进行优化：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-90e510514e32f98c5098e5808fe9d946.jpg\" data-rawwidth=\"679\" data-rawheight=\"140\"\u003E\u003Cblockquote\u003Espatial-temporal-没错，还是Hao Li，本图仅作示意，并非实际连续帧\u003C\u002Fblockquote\u003E\u003Cp\u003E之后，通过一些优化算法即可得到表情权重d，也就是我们想要求解的跟踪参数。（对算法有兴趣的朋友可以参照Reference中的论文内容）\u003C\u002Fp\u003E\u003Ch2\u003E结语\u003C\u002Fh2\u003E\u003Cp\u003E至此，我们浅显地分析了一下这回iPhone X上的Animoji的技术背景。我们可以看出，这些酷炫的黑科技背后都是无数科研人员的灵感，分析，和实现，优化的漫长循环。能做出如此炫目的工作的Hao Li，Thibaut Weise，Sofien Bouaziz，Mark Pauly和他们在ETHZ，EPFL，FaceShift，Apple同事们也真的值得大家尊敬和仰慕。\u003Cbr\u003E另外值得注意的是，不光Mark Pauly组在做这方面的研究，浙大的周昆老师团队也有像Face Warehouse等等许多十分杰出的人脸动画和跟踪的工作，发布会中演示的Snapchat的酷炫的人脸动画：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-7a2893f4b9e56834b133f367092fe461.gif\" data-rawwidth=\"120\" data-rawheight=\"231\" data-thumbnail=\"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-7a2893f4b9e56834b133f367092fe461_b.jpg\"\u003E\u003Cblockquote\u003ESnapchat-来自苹果发布会\u003C\u002Fblockquote\u003E\u003Cp\u003E也有我们华人研究者的参与，我们将来可能也会写点东西来介绍他们的工作（或者作者们自己出来写也说不定呢）。\u003C\u002Fp\u003E\u003Ch2\u003EReference\u003C\u002Fh2\u003E\u003Cp\u003E[1] \u003Ca href=\"https:\u002F\u002Fvfxblog.com\u002F2017\u002F09\u002F12\u002Fso-about-those-iphone-animojis\u002F\"\u003Ehttps:\u002F\u002Fvfxblog.com\u002F2017\u002F09\u002F12\u002Fso-about-those-iphone-animojis\u002F\u003C\u002Fa\u003E\u003Cbr\u003E[2] \u003Ca href=\"http:\u002F\u002Fchronicdoodler.deviantart.com\u002F\"\u003EChronicdoodler.deviantart.com\u003C\u002Fa\u003E\u003Cbr\u003E[3] \u003Ca href=\"http:\u002F\u002Fwww.hao-li.com\u002Fcs599-ss2015\u002Fslides\u002FLecture15.1.pdf\"\u003Ehttp:\u002F\u002Fwww.hao-li.com\u002Fcs599-ss2015\u002Fslides\u002FLecture15.1.pdf\u003C\u002Fa\u003E\u003Cbr\u003E[4] \u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpublications.php\"\u003Ehttp:\u002F\u002Fsofienbouaziz.com\u002Fpublications.php\u003C\u002Fa\u003E\u003Cbr\u003E[5] \u003Ca href=\"http:\u002F\u002Fwww.hao-li.com\u002FHao_Li\u002FHao_Li_-_publications.html\"\u003Ehttp:\u002F\u002Fwww.hao-li.com\u002FHao_Li\u002FHao_Li_-_publications.html\u003C\u002Fa\u003E\u003Cbr\u003E[6] \u003Ca href=\"http:\u002F\u002Fgaps-zju.org\u002Ffacewarehouse\u002F\"\u003Ehttp:\u002F\u002Fgaps-zju.org\u002Ffacewarehouse\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E作者： \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F124c6b0ebea66fa33790b08785bc28e3\" data-hash=\"124c6b0ebea66fa33790b08785bc28e3\" data-hovercard=\"p$b$124c6b0ebea66fa33790b08785bc28e3\"\u003E@origami dance\u003C\u002Fa\u003E， \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fdfe7d0f3baa8a5f99802c5f0facc03e0\" data-hash=\"dfe7d0f3baa8a5f99802c5f0facc03e0\" data-hovercard=\"p$b$dfe7d0f3baa8a5f99802c5f0facc03e0\"\u003E@张远\u003C\u002Fa\u003E，王士玮，方清\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E果壳中的宇宙系列文章：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29353194\"\u003E果壳中的宇宙-IPHONE X的FACE ID和TRUE DEPTH CAMERA分析-硬件篇\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29669568\"\u003E果壳中的宇宙-IPhone X的Face ID和True Depth Camera分析-Animoji篇\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E微信公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.png\" data-rawwidth=\"430\" data-rawheight=\"430\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg src=\"v2-885fb112f568154e08bd27832d4444be.png\" data-rawwidth=\"88\" data-rawheight=\"31\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可。\u003C\u002Fp\u003E\u003Cp\u003E如需转载请署名。\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-25T17:40:08.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":19,"likeCount":94,"state":"published","isLiked":false,"slug":"29669568","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-26T01:40:08+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29669568\u002Fcomments"},"url":"\u002Fp\u002F29669568","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-cc12d54a5eadb96893d1b15b3c69c9be_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29669568","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":19,"likesCount":94},"30965016":{"title":"【UnrealEngine4】从虚幻四的着色模型到NPR","author":"ycz-19","content":"\u003Cp\u003E本文主要分享虚幻四中着色器的使用技巧与如何添加自己的着色模型的方式。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-2391a85387baa362c44186ae789ea505.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E(正在设计的一个像素风格的渲染流程，同样采用本文的方法，对引擎的着色模型进行了改造，可以接受天光\u002F点光等的自定义照明效果）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E鄙人消失了一个月左右，又回来了，对此深感抱歉。之前因为学业\u002F事业\u002F身体\u002F等各种原因，之前的系列文章也中断了一段时间～之前应该是讲到了流体的部分，由于数学性\u002F图形学性较强，鄙人也还在准备当中。\u003C\u002Fp\u003E\u003Cp\u003E本周先插播一小段技巧，同样也是实用的技巧，希望能够分享给大家。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E一.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29214784\"\u003E【UnrealEngine4】距离场的使用技巧与应用\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E二.材质中的伪体素\u003C\u002Fp\u003E\u003Cp\u003E1.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29413795\"\u003E【UnrealEngine4】材质系统中的伪三维纹理\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E2.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29626130\"\u003E【UnrealEngine4】体渲染和Tri-Planar Mapping\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E三.在虚幻四中基於NS方程的流體模擬\u003C\u002Fp\u003E\u003Cp\u003E1.\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29845135\"\u003E【UnrealEngine4】蓝图-材质的数据传输与伪ComputePipeline\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E2.NS方程的解析和实际模拟\u003C\u002Fp\u003E\u003Cp\u003E四.metaball 的原理与在材质中的实现\u003C\u002Fp\u003E\u003Cp\u003E五.在虚幻四中 path tracing\u003C\u002Fp\u003E\u003Cp\u003E1.相机内参、简单物体变换信息的处理\u003C\u002Fp\u003E\u003Cp\u003E2.path tracing的解析，temporal的思路\u003C\u002Fp\u003E\u003Cp\u003E3.在材质中进行path tracing\u003C\u002Fp\u003E\u003Cp\u003E六、透明物体的渲染\u002F造假技巧\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E特别篇目：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一、NPR与虚幻四的着色模型（本文）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E二、一些后期处理的原理与解析\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本文的目标：在虚幻四中插入自定义的着色模型，理解虚幻四中延迟渲染的流程。鄙人仅仅分享一种简单的做法，不代表最优做法\u002F官方做法，分享仅此为了让一些很多人都存在的疑问得以解决。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-fa5eb4885e5711745b926d40f184a900.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E（Cel Shading，对全部光源都适用的（而不是在材质编辑器里只能通过蓝图手动传入的那种。。。））\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E文章结构：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.GBuffer的结构\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.虚幻中Shader.usf的内部关联\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.插入自定义着色模型\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一.GBuffer的结构\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E虚幻四大多时候使用延迟渲染，而前向\u002F延迟渲染的最大区别，可能就是GBuffer的使用与否。\u003C\u002Fp\u003E\u003Cp\u003EGBuffer，全称Geometry Buffer，事实上这个定义很早被定下，而实际上如今的意思已经远超原本的意思（虽然这个东西不重要，还是稍微提一下）\u003C\u002Fp\u003E\u003Cp\u003E这里将解析一下虚幻四默认的GBuffer的结构。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1048\" src=\"v2-e1b10b4b5edee2f7f71736bc05e1393d.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E\u003Cb\u003E首先\u003C\u002Fb\u003E，需要了解虚幻四延迟渲染的流程。\u003C\u002Fp\u003E\u003Cp\u003EGBuffer的本质是\u003Cb\u003E送信者\u003C\u002Fb\u003E，将信息传递给最终的着色部分。而实际上信息\u003Cb\u003E提供者\u003C\u002Fb\u003E是Mesh，把信息给送信者的是材质，也就是说，\u003Cb\u003E材质是中介的中介\u003C\u002Fb\u003E（可能有点绕了）。\u003C\u002Fp\u003E\u003Cp\u003E换句话说，虚幻的普通域的材质实际上写入的是GBuffer，而不是最终结果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E其次\u003C\u002Fb\u003E，再整理一下各种东西之前的关系。\u003C\u002Fp\u003E\u003Cp\u003EA：场景物体\u003C\u002Fp\u003E\u003Cp\u003EB：材质\u002F材质编辑器输出\u003C\u002Fp\u003E\u003Cp\u003EC：BassPixelPass（后面会提到\u003C\u002Fp\u003E\u003Cp\u003ED：GBuffer\u003C\u002Fp\u003E\u003Cp\u003EE：FinalPixelPass（最终根据各种着色模型输出到屏幕的Pass\u003C\u002Fp\u003E\u003Cp\u003E渲染顺序一般为\u003C\u002Fp\u003E\u003Cp\u003EA-&gt;B-&gt;C-&gt;D-&gt;E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E最后\u003C\u002Fb\u003E，稍微提一下虚幻四中默认的GBuffer的排布.\u003C\u002Fp\u003E\u003Cp\u003E本文旨在插入“新的”着色模型，基本的DiffuseColor\u002FSpecularColor\u002FMetalic\u002FSpecular\u002FAO\u002FWorldNormal什么的不再具体阐述（毕竟需要修改的地方很少，默认的即可。）\u003C\u002Fp\u003E\u003Cp\u003E在不知道什么版本更新了Cloth\u002FEye\u002FClearCoat 的着色模型之后，GBuffer里多了一个八位四通道的的CustomData，也就是说，这个CustomData是可以被使用而不影响原有的渲染流程的。接下来，鄙人将分享一下，怎么插入自定义的着色模型，和利用这个插槽来增加参数。\u003C\u002Fp\u003E\u003Ch2\u003EGBuffer.CustomData\u003C\u002Fh2\u003E\u003Cp\u003E（他在shader里的出现形式是这样的）\u003C\u002Fp\u003E\u003Cp\u003E虚幻四自带的Cloth\u002FHair\u002FEye\u002FClearCoat等着色模型均使用了该CustomData，来储存切线或者其他参数。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二.虚幻中Shader.usf的内部关联\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E前面做了一些铺垫，虚幻的材质系统在内部是有很大关联的。鄙人将介绍几个常用的usf文件，理解文件结构，也为后面增加着色模型提供了一些理论基础。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E首先打开引擎源目录，找到\u003Cb\u003EEngine\u002FShaders\u003C\u002Fb\u003E文件夹（建议备份一份）\u003C\u002Fp\u003E\u003Cp\u003E(4.18左右的版本里面还分了Private\u002FPublic\u002FStandaloneRenderer的文件夹)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E里面有很多文件，选几个解析一下其作用与各种关联。\u003C\u002Fp\u003E\u003Cp\u003E这里需要有一点点编程基础（#include什么的，#if什么的指令需要清楚）\u003C\u002Fp\u003E\u003Cp\u003E下面正文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1.BRDF.usf（BRDF.ush）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E里面储存了大部分常用的brdf函数（大雾：抄过的人都说好）\u003C\u002Fp\u003E\u003Cp\u003E因为里面应有尽有，只有想不到的，没有找不到的，在写着色模型的时候也能很轻松地调用，因此不详细解说了。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"556\" src=\"v2-414829ccf6ae3ba91081c228b165adce.jpg\" data-rawwidth=\"1208\"\u003E\u003Cp\u003E（其中一个Diffuse的BRDF，很方便shader学习者借鉴，因为上面有论文出处）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2.BasePassPixelShader.usf\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E控制写入GBuffer的着色器。可以读取材质编辑器里输出的参数，可以控制GBuffer里应该写入什么。\u003C\u002Fp\u003E\u003Cp\u003E比如材质编辑器里指定了着色模型A，这个Pass可以控制把材质中的diffusecolor写入到normal里，把specular写入到ao里，大概就是这个意思。也就是说，这里再次说明了材质只是中介的中介，不管材质的输出是怎么连的，最后决定怎么写入GBuffer的都是这个shader。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3.DeferredLightingCommon.usf(DeferredLightingCommon.ush)\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个文件顾名思义，就是控制光照的。其中最重要的函数是\u003Cb\u003EGetDynamicLighting\u003C\u002Fb\u003E，这里控制了对于每种光源\u002F每种表面，着色器应该怎么处理。添加着色模型也应该从这里入手。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4.ShadingModels.usf（ShadingModels.ush）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E被3.  include了。主要函数是\u003Cb\u003ESurfaceShading\u003C\u002Fb\u003E 等一系列决定最终光照的函数。\u003C\u002Fp\u003E\u003Cp\u003E里面根据GBuffer里储存的ShadingModel，在\u003Cb\u003Ecase SHADINGMODELID_XXXXXX\u003C\u002Fb\u003E 里进行了着色模型的选择。\u003C\u002Fp\u003E\u003Cp\u003E同时，这个文件里是最终决定着色方式的著色器。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E他们的执行顺序（按理来说）应该是：\u003Cb\u003E2-&gt;3-&gt;4-&gt;1\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三.插入自定义着色模型\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E首先来一个简单的例子：\u003C\u002Fp\u003E\u003Cp\u003E在\u003Cb\u003EShadingModels.usf（ShadingModels.ush）\u003C\u002Fb\u003E中找到\u003Cb\u003EStandardShading\u003C\u002Fb\u003E函数，这个函数被\u003Cb\u003ESurfaceShading\u003C\u002Fb\u003E 当着色模型为默认时调用。\u003C\u002Fp\u003E\u003Cp\u003E其中有三行：\u003C\u002Fp\u003E\u003Cp\u003E\tfloat3 Diffuse = Diffuse_Lambert( DiffuseColor );\u003C\u002Fp\u003E\u003Cp\u003E\t\u002F\u002Ffloat3 Diffuse = Diffuse_Burley( DiffuseColor, LobeRoughness[1], NoV, NoL, VoH );\u003C\u002Fp\u003E\u003Cp\u003E\t\u002F\u002Ffloat3 Diffuse = Diffuse_OrenNayar( DiffuseColor, LobeRoughness[1], NoV, NoL, VoH );\u003C\u002Fp\u003E\u003Cp\u003E可以通过注释更改默认的Diffuse的BRDF。\u003C\u002Fp\u003E\u003Cp\u003E对于高光也可以进行一样的操作，当然前提是读者对shader十分熟悉了，自然替换起来也可以得心应手。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E关于添加\u002F插入自己的着色模型。\u003C\u002Fp\u003E\u003Cp\u003E提供两种方案\u003C\u002Fp\u003E\u003Cp\u003E1.通过C++增加材质编辑器里的着色模型选项，然后再通过shader增加真正的shadingmodel\u003C\u002Fp\u003E\u003Cp\u003E2.直接去掉虚幻默认的shadingmodel，更改为自己的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E拿ClearCoat举例，在材质中选择ClearCoat可以开多三个口：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"222\" src=\"v2-f4d567f2ee223d9e1156e04242245c5a.jpg\" data-rawwidth=\"333\"\u003E\u003Cp\u003E透明图层，透明图层粗糙度，还有最后的BottomNormal。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E先从\u003Cb\u003EBasePassPixelShader.usf \u003C\u002Fb\u003E开始\u003C\u002Fp\u003E\u003Cp\u003E找到\u003Cb\u003E#elif MATERIAL_SHADINGMODEL_CLEAR_COAT\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后就可以决定这些接口将怎么被写入GBuffer中。\u003C\u002Fp\u003E\u003Cp\u003EGBuffer.CustomData.xy = ClearCoatBottomNormal0(MaterialParameters).xy;\u003C\u002Fp\u003E\u003Cp\u003EGBuffer.CustomData.z = GetMaterialCustomData0(MaterialParameters);\u003C\u002Fp\u003E\u003Cp\u003EGBuffer.CustomData.w = GetMaterialCustomData1(MaterialParameters);\u003C\u002Fp\u003E\u003Cp\u003E就像这样，写入到Custom的xy就是BottomNormal的xy值，写入到Custom的z的就是材质输出的透明图层，以此类推。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后到\u003Cb\u003EShadingModels.usf（ShadingModels.ush）\u003C\u002Fb\u003E  中找到\u003Cb\u003ESurfaceShading\u003C\u002Fb\u003E  ，可以看到类似的根据着色模型ID选择着色模型的代码。新建一个函数\u003Cb\u003EXX(FGBufferData GBuffer)\u003C\u002Fb\u003E，\u003C\u002Fp\u003E\u003Cp\u003E在\u003Cb\u003Ecase SHADINGMODELID_CLEAR_COAT:\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E后调用自己的函数。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EXX(GBuffer);\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后就可以在这个函数里为所欲为了。\u003C\u002Fp\u003E\u003Cp\u003E关于NPR的着色器可以参考底下：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcandycat1992\u002FNPR_Lab\"\u003Ecandycat1992\u002FNPR_Lab\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里我给出一个自己改进过的经验模型，也就是题图的着色模型的Diffuse部分：\u003Cbr\u003E \u003Cequation\u003E\\alpha=Steps*NoL-0.5 \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\beta=2(\\alpha-floor(\\alpha))-1\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\gamma=\\beta^{2Hardness+1}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EFinal =max\\left\\{ \\frac{(0.5\\gamma+floor(\\alpha))}{Steps},0.0 \\right\\}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E（暂且命名为Diffuse_YCZ函数）\u003C\u002Fp\u003E\u003Cp\u003E这个函数是基于CelShading的，加入了一个Hardness这个参数，来控制分界边的软硬。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"612\" src=\"v2-d5bff5f49e5288e03f983997b3c782de.jpg\" data-rawwidth=\"1649\"\u003E\u003Cp\u003E注：Hardness需要为整数。这种办法可以使CelShading退化至普通的Lambert，对于边界的锯齿也能更好地去除。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-0abfd6912493a6973914396bb81dd663.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E（将GBuffer里除了法线之外的插槽全部改为了自定义的参数，如控制多颜色的Instance，控制阴影，等）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E使用这种办法可以快速加入自己需要的着色模型，相当于定制自己的引擎，比修改源码重新编译应该要来得更靠谱一点，从成功几率上看。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本期文章要分享的东西也写完了~希望能帮到各位虚幻四的用户和读者。\u003C\u002Fp\u003E\u003Cp\u003E下一期将会简单地介绍一下一些后期处理在虚幻四中的实现方法。\u003C\u002Fp\u003E\u003Cp\u003E包括NPR的Hatching，描边，还有水面分界特效的简单实现方法。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"797\" src=\"v2-a373d726ce09a0332e09f246240ad3fd.jpg\" data-rawwidth=\"1611\"\u003E\u003Cp\u003E（Hatching与描边）\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1080\" src=\"v2-cee49c7488ca31a14e77ca9dcf09c705.jpg\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E（动态水面分界）\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic4.zhimg.com\u002F80\u002Fv2-164b30d9c2362487f0b6d180ccc143ef_b.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F913096339934576640\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"913096339934576640\"\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E大家的点赞才是我最大的前进的动力~所以 阅读完之后记得点赞哦(๑•̀ω•́ ๑)\u003C\u002Fp\u003E\u003Cp\u003E文章仅仅为了分享经验交流心得，抛砖引玉，见笑大方了。如有纰漏，望斧正。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E参考文献\u002F项目：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcandycat1992\u002FNPR_Lab\"\u003Ecandycat1992\u002FNPR_Lab\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-11-12T09:13:38.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":31,"likeCount":145,"state":"published","isLiked":false,"slug":"30965016","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-11-12T17:13:38+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30965016\u002Fcomments"},"url":"\u002Fp\u002F30965016","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-42215ffe66173f45a45fb5759d36a196_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F30965016","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":31,"likesCount":145},"31715910":{"title":"迈向人工智能Fashion Design（二）- 模块化服装设计","author":"minchen.li","content":"\u003Ch2\u003E引言\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29620024\"\u003E上期\u003C\u002Fa\u003E我们探讨了服装制版模拟软件及其相关技术，它们被广泛应用于虚拟角色设计，同时也在服装设计领域有一定程度的应用。然而，想要用它们设计一套服装，还是需要繁琐地创建多个布块，并仔细调整它们的形状、大小、以及缝合关系，而且具体该如何调整，还需要制版专业知识的指导。\u003C\u002Fp\u003E\u003Cp\u003E其实，在CG与CAD研究领域，早就有过很多尝试提供模块化服装设计功能的研究（也就是把繁琐的细节与专业知识封装起来，让用户可以只关心需求，直接在需求层操作软件来进行设计），而且这些功能尚未被实现在现有的商用软件中。那么，到底有哪些方便的服装设计功能，它们又为何还没有被工业化呢？\u003C\u002Fp\u003E\u003Ch2\u003E基于草图的3D服装建模\u003C\u002Fh2\u003E\u003Cp\u003E在服装设计流水线的第一步——“创作设计”中，服装设计师就是用草图（sketch）的形式去表现自己的设计理念的。那么，如果能从这种简洁高效的表达方式，直接通过计算生成具体的3D衣物以及制版，必将进一步提升服装制版软件的使用效率。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5ae3317d22fd26f24d9f5c211d441bbe.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"900\" data-rawheight=\"546\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fphildec.users.sourceforge.net\u002FResearch\u002FCloth.php\"\u003EVirtual garments: A fully geometric approach for clothing design [Decaudin et al. 2006]\u003C\u002Fa\u003E 就是这样一篇尝试基于sketch来建模3D衣物并生成制版的工作。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6e452bbf9c90a40a7fa30cd31af31d5f.jpg\" data-caption=\"图1: 工作流\" data-size=\"normal\" data-rawwidth=\"1395\" data-rawheight=\"300\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E用户基于模特画出衣服的轮廓和缝合线后（图1-1），衣物的3D表面将根据当前视角中轮廓到模特的距离，基于模特的3D表面距离场重建出来，并被缝合线分割成多个部分（图1-2红衣）。然而，这样基于iso-surface重建出的衣物离真实衣物的形状还是有差距的。\u003C\u002Fp\u003E\u003Cp\u003E我们都知道，真实的衣物应该是能由多个平面布块缝合而成的，也就是说，它一定能被我们沿着缝合线裁剪成多个平面布块。但这里，我们还并不能保证，被缝合线分割的衣物各部分都是可以被几乎无伸缩形变地展开在平面上的（developable），就像世界地图不可避免的让俄罗斯和加拿大版图变得比中、美庞大很多。所以，接下来他们从这个初始衣物（图1-2红衣）开始，通过三维表面形变（deformation）的方法，求解出了很相似的一个各部分都几乎developable的衣物（如图1-3橙衣）。于是衣物的制版也可由网格参数化（mesh parameterization）方法由3D衣物各部分求出了（如图2-Figure 3）。为了尽量防止对角形变（shear）产生的皱（wrinkle），他们采用的方法是着重优化映射前后角度差异的\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002F~sheffa\u002FABF++\u002Fabf.htm\"\u003EABF++ [Sheffer et al. 2005]\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0a4305fee21bf8804abd7e3be439766a.jpg\" data-caption=\"图2: piece-wise developable 3D衣物与相应制版求解\" data-size=\"normal\" data-rawwidth=\"1286\" data-rawheight=\"527\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fphildec.users.sourceforge.net\u002FResearch\u002FCloth.php\"\u003E[Decaudin et al. 2006]\u003C\u002Fa\u003E文中有一句说，虽然求出的3D衣物各部分仍然只是几乎developable，但是并无大碍，因为衣服穿到人身上后本来也是会发生形变的。前半句其实还OK，后半句不太行啊！衣服穿在身上应有的形变，不一定就是他们的方法求出的衣物所含有的形变吧？\u003C\u002Fp\u003E\u003Cp\u003E除了对衣服的大体形态进行建模，\u003Ca href=\"http:\u002F\u002Fphildec.users.sourceforge.net\u002FResearch\u002FCloth.php\"\u003E[Decaudin et al. 2006]\u003C\u002Fa\u003E中的方法还可以生成几种褶（例如图1-4黄衣）。他们还根据该算法生成的制版缝制了一些成衣（如图1-5花衣，图3毛衣、裤子、裙子）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-fb0be80395bf4735a949a639f7e8b25f.jpg\" data-caption=\"图3: 根据虚拟3D衣物及其制版缝制的成衣\" data-size=\"normal\" data-rawwidth=\"1313\" data-rawheight=\"342\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E尽管这些实物和3D模型的样子还是有很大差异，但是能对这样一个复杂又充满不确定性的问题给出很可行的求解思路，这篇文章已经影响深远了。类似的工作还有\u003Ca href=\"http:\u002F\u002Fmaverick.inria.fr\u002FPublications\u002F2007\u002FTWBCH07\u002F\"\u003EA Sketch-Based Interface for Clothing Virtual Characters [Turquin et al. 2007]\u003C\u002Fa\u003E等。\u003C\u002Fp\u003E\u003Ch2\u003E服装拼接\u003C\u002Fh2\u003E\u003Cp\u003E除了从无到有地用sketch对服装进行建模，如果已经有了一些衣物，或者袖子、衣领、裤腿等服装部件，那么根据需求将不同的部件拼接起来也是一种很高效的服装设计方式。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0010448513002418#f000065\"\u003EModeling 3D garments by examples [Li and Lu 2014]\u003C\u002Fa\u003E就是这样一项工作（如图4）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-740096ae91e89c20598efce2577d6f9c.jpg\" data-caption=\"图4：[Li and Lu 2014]示意图\" data-size=\"normal\" data-rawwidth=\"500\" data-rawheight=\"154\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.711.29&amp;rep=rep1&amp;type=pdf\"\u003EStyling Evolution for Tight-Fitting Garments [Kwok et al. 2016]\u003C\u002Fa\u003E也是很有意思的一项工作，他们应用evolution theory巧妙地根据现有风格设计出了多种新风格的紧身衣（如图5）。 \u003C\u002Fp\u003E\u003Cimg src=\"v2-c1446a4af2eae848090c0ab15dc41f5c.jpg\" data-caption=\"图5：[Kwok et al. 2016]示意图\" data-size=\"normal\" data-rawwidth=\"1284\" data-rawheight=\"425\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Ch2\u003E衣物向不同身材的迁移\u003C\u002Fh2\u003E\u003Cp\u003E有了足够多的3D衣物数据，接下来可以考虑的事就是如何为不同身材的人做衣服了。由于计算机功能强大，我们可以不再局限于只考虑单一维度的大中小尺码，或是最多加个修身版什么的。根据人体三位模型，我们可以考虑为任何身材体型的人定制最合适的某款衣服！\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fpdfs.semanticscholar.org\u002Febc8\u002F6210a7f8aba9a93f3a0efc219c24c318b372.pdf\"\u003EMade-to-Measure Technologies for an Online Clothing Store [Cordier et al. 2003]\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Fwww.semanticscholar.org\u002Fpaper\u002FDesign-automation-for-customized-apparel-products-Wang-Wang\u002F2378f14fa743ef8c6d4ff5fbd74acfdc813f211b\"\u003EDesign automation for customized apparel products [Wang et al. 2005]\u003C\u002Fa\u003E做了这方面的尝试，他们将衣物和人体分割成多个部分，并计算两者各部分的对应关系（correspondence）。有了这组对应关系后便可以比较直接地将一件衣服从一个人体模型迁移到另一个模型上了（如图6）。当然，这也需要各人体模型之间拥有各部分的对应关系。\u003C\u002Fp\u003E\u003Cimg src=\"v2-af738270bee9ddc0ab1d0242c00d1dd1.jpg\" data-caption=\"图6：[Wang et al. 2005]示意图\" data-size=\"normal\" data-rawwidth=\"1176\" data-rawheight=\"880\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E值得一提的是，后来的\u003Ca href=\"https:\u002F\u002Fhal.inria.fr\u002Fhal-00695903\u002Ffile\u002FGarmentTransfer.pdf\"\u003EDesign Preserving Garment Transfer [Brouet et al. 2012]\u003C\u002Fa\u003E在算法中引入了服装设计中对衣物的fit、shape、proportion的测度概念，并通过优化计算使得这些测度尽量保持原样，从而很好地提高了服装迁移的效果，尤其是在身材差异很大的人体模型之间，迁移的服装仍可以保持与原服装几乎相同的风格（如图7）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddcb1d49690b30c27866092ecf4d38b4.jpg\" data-caption=\"图7：通过引入对fit、shape、proportion等测度的计算，即使是在身材差异很大的人体模型之间，[Brouet et al. 2012]也可以生成风格基本不受影响的迁移服装\" data-size=\"normal\" data-rawwidth=\"1202\" data-rawheight=\"361\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Ch2\u003E少了点什么？\u003C\u002Fh2\u003E\u003Cp\u003E然而，上述方法基本都没有考虑实际情形中3D衣物究竟是否在各种力的作用下可以保持其形态，而且他们在生成制版的过程中都只是采用纯几何的网格参数化方法，并没有考虑布料伸缩性等因素。这使得在实际生产中，根据其制版裁缝出的衣物并不能与其3D模型完全相同，而且有时这种差异还会很大。可能这也就是这些模块化的服装设计方法并没有被大规模工业化的原因吧！\u003C\u002Fp\u003E\u003Cp\u003E最近，\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002Flabs\u002Fimager\u002Ftr\u002F2016\u002FPhysicsDrivenPatternAdjustment\u002F\"\u003EPhysics-driven Pattern Adjustment for Direct 3D Garment Editing [Bartle et al. 2016]\u003C\u002Fa\u003E专门研究了服装设计过程中3D衣物以及制版的物理合理问题。他们结合布料模拟（cloth simulation）过程，并把它当成一个黑箱（black box），即不用关心内部构造，只管输入（服装制版）和输出（物理合理的3D衣物），使用gradient-free optimization的理念生成保证物理合理的制版和3D衣物，并支持服装大体形态的设计操作，比如长短变化、拼接等（如图8）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-592e6b0ca3f63eb73204e370ca32db29.jpg\" data-caption=\"图8：[Bartle et al. 2016]通过他们的Pattern Adjustment方法（e,f）实现了物理合理的基本服装设计操作（a,b,c,d）\" data-size=\"normal\" data-rawwidth=\"1499\" data-rawheight=\"355\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E但由于\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002Flabs\u002Fimager\u002Ftr\u002F2016\u002FPhysicsDrivenPatternAdjustment\u002F\"\u003E[Bartle et al. 2016]\u003C\u002Fa\u003E要求输入的3D衣物本身必须物理合理，想要用它来设计细节丰富的服装还是很难的，比如褶（Fold\u002FPleat）的设计，因为设计师并不精确地知道怎样的形状完全物理合理，而且就算知道，这种高精度的3D建模过程也会是极其繁琐的。所以，下一期我们不如就聊一聊我今年SIGGRAPH的新作，如何简便地为衣物设计各式各样物理合理的褶。\u003C\u002Fp\u003E\u003Ch2\u003E参考文献\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fphildec.users.sourceforge.net\u002FResearch\u002FCloth.php\"\u003E[Decaudin et al. 2006]\u003C\u002Fa\u003E Decaudin, P., Julius, D., Wither, J., Boissieux, L., Sheffer, A., &amp; Cani, M. P. (2006, September). Virtual garments: A fully geometric approach for clothing design. In \u003Ci\u003EComputer Graphics Forum\u003C\u002Fi\u003E (Vol. 25, No. 3, pp. 625-634). Blackwell Publishing, Inc.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002F~sheffa\u002FABF++\u002Fabf.htm\"\u003E[Sheffer et al. 2005]\u003C\u002Fa\u003E Sheffer, A., Lévy, B., Mogilnitsky, M., &amp; Bogomyakov, A. (2005). ABF++: fast and robust angle based flattening. \u003Ci\u003EACM Transactions on Graphics (TOG)\u003C\u002Fi\u003E, \u003Ci\u003E24\u003C\u002Fi\u003E(2), 311-330.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fmaverick.inria.fr\u002FPublications\u002F2007\u002FTWBCH07\u002F\"\u003E[Turquin et al. 2007]\u003C\u002Fa\u003E Turquin, E., Wither, J., Boissieux, L., Cani, M. P., &amp; Hughes, J. F. (2007). A sketch-based interface for clothing virtual characters. \u003Ci\u003EIEEE Computer graphics and applications\u003C\u002Fi\u003E, \u003Ci\u003E27\u003C\u002Fi\u003E(1).\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0010448513002418#f000065\"\u003E[Li and Lu 2014]\u003C\u002Fa\u003E Li, J., &amp; Lu, G. (2014). Modeling 3D garments by examples. \u003Ci\u003EComputer-Aided Design\u003C\u002Fi\u003E, \u003Ci\u003E49\u003C\u002Fi\u003E, 28-41.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.711.29&amp;rep=rep1&amp;type=pdf\"\u003E[Kwok et al. 2016]\u003C\u002Fa\u003E Kwok, T. H., Zhang, Y. Q., Wang, C. C., Liu, Y. J., &amp; Tang, K. (2016). Styling evolution for tight-fitting garments. \u003Ci\u003EIEEE transactions on visualization and computer graphics\u003C\u002Fi\u003E, \u003Ci\u003E22\u003C\u002Fi\u003E(5), 1580-1591.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fpdfs.semanticscholar.org\u002Febc8\u002F6210a7f8aba9a93f3a0efc219c24c318b372.pdf\"\u003E[Cordier et al. 2003]\u003C\u002Fa\u003E Cordier, F., Seo, H., &amp; Magnenat-Thalmann, N. (2003). Made-to-measure technologies for an online clothing store. \u003Ci\u003EIEEE Computer graphics and applications\u003C\u002Fi\u003E, \u003Ci\u003E23\u003C\u002Fi\u003E(1), 38-48.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.semanticscholar.org\u002Fpaper\u002FDesign-automation-for-customized-apparel-products-Wang-Wang\u002F2378f14fa743ef8c6d4ff5fbd74acfdc813f211b\"\u003E[Wang et al. 2005]\u003C\u002Fa\u003E Wang, C. C., Wang, Y., &amp; Yuen, M. M. (2005). Design automation for customized apparel products. \u003Ci\u003EComputer-Aided Design\u003C\u002Fi\u003E, \u003Ci\u003E37\u003C\u002Fi\u003E(7), 675-691.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fhal.inria.fr\u002Fhal-00695903\u002Ffile\u002FGarmentTransfer.pdf\"\u003E[Brouet et al. 2012]\u003C\u002Fa\u003E Brouet, R., Sheffer, A., Boissieux, L., &amp; Cani, M. P. (2012). Design preserving garment transfer. \u003Ci\u003EACM Transactions on Graphics\u003C\u002Fi\u003E, \u003Ci\u003E31\u003C\u002Fi\u003E(4), Article-No.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.cs.ubc.ca\u002Flabs\u002Fimager\u002Ftr\u002F2016\u002FPhysicsDrivenPatternAdjustment\u002F\"\u003E[Bartle et al. 2016]\u003C\u002Fa\u003E Bartle, A., Sheffer, A., Kim, V. G., Kaufman, D. M., Vining, N., &amp; Berthouzoz, F. (2016). Physics-driven pattern adjustment for direct 3D garment editing. \u003Ci\u003EACM Trans. Graph.\u003C\u002Fi\u003E, \u003Ci\u003E35\u003C\u002Fi\u003E(4), 50-1.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E_(:3」∠)_ _(・ω・”∠)_ _(:з)∠)_ ∠( ᐛ 」∠)＿ _(:зゝ∠)_\u003Cbr\u003E请毫不犹豫地关注我们：\u003Cbr\u003E我们的网站：\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.io\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003E知乎专栏：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fgraphicon\"\u003EGraphiCon图形控\u003C\u002Fa\u003E\u003Cbr\u003E微信公众号：GraphiCon\u003C\u002Fp\u003E\u003Cimg src=\"v2-3850f35ade59894c046cd7c208c615c0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"430\" data-rawheight=\"430\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E如果你有什么想法，建议，或者想加入我们，你可以：\u003Cbr\u003E给我们发邮件：\u003Ca href=\"mailto:hi@graphicon.io\"\u003Ehi@graphicon.io\u003C\u002Fa\u003E\u003Cbr\u003E加入我们的QQ群：SIQGRAPH（342086343）\u003Cbr\u003E加入我们的slack群：\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fgraphicon.herokuapp.com\u002F\"\u003EGraphiCon\u003C\u002Fa\u003E\u003Cbr\u003EGraphiCon长期接受投稿，如果你想投稿给我们可以通过上面的方式联系我们！\u003C\u002Fp\u003E\u003Cimg src=\"v2-885fb112f568154e08bd27832d4444be.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"88\" data-rawheight=\"31\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E本作品采用\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcreativecommons.org\u002Flicenses\u002Fby-nc-nd\u002F4.0\u002F\"\u003E知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议\u003C\u002Fa\u003E进行许可，如需转载请署名。\u003C\u002Fp\u003E","updated":new Date("2018-04-15T06:58:16.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":20,"likeCount":29,"state":"published","isLiked":false,"slug":"31715910","isTitleImageFullScreen":false,"rating":"none","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-f66ba20daf085ebb0941ec2286ad74cb_r.jpg","links":{"comments":"\u002Fapi\u002Fposts\u002F31715910\u002Fcomments"},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19559083","id":"19559083","name":"CAD"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19642176","id":"19642176","name":"服装设计"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19551275","id":"19551275","name":"人工智能"}],"adminClosedComment":false,"href":"\u002Fapi\u002Fposts\u002F31715910","excerptTitle":"","sourceUrl":"","pageCommentsCount":20,"snapshotUrl":"","publishedTime":"2018-04-15T14:58:16+08:00","url":"\u002Fp\u002F31715910","summary":"","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":20,"likesCount":29},"33614512":{"title":"【PathTracing】实时光线追踪和BSSRDF的那些事","author":"ycz-19","content":"\u003Cp\u003E\u003Cb\u003E写在前面\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E好久没有写文章。。不知道这次的文章能不能把想说的都表达完全。鄙人消失了快几个月了吧。。因为各种各样的原因也没有时间写下这些文字（这篇文章也是用零散时间东拼西凑出来的，望大家不要嫌弃）。\u003C\u002Fp\u003E\u003Cp\u003E本次想聊聊的是PathTracing用在Realtime渲染中的可行性与BSSRDF相关的问题。大概分为两个部分，第一部分以介绍经验为主，第二部分以鄙人最近做的一个实验为主（数学上的推导较多），希望能够和各位一起交流渲染的学习经验。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E另，本文中渲染器用的是VULKAN 的API，严格来说，是从我的体素渲染器中分离的一个小分支（原本是想Raytrace SVO的来着，尴于时间不足）\u003C\u002Fp\u003E\u003Cp\u003E使用了Compute和光栅化的Pipeline，ComputeShader进行PathTracing，光栅化全屏做后期处理。Shader总共一千多行，运行程序不含封装部分600行。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E这里是目录\u003C\u002Fb\u003E（文章太多，目录已经不好整理了，想看之前虚幻系列的文章的话点我的头像可以查看噢）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本文结构：\u003C\u002Fp\u003E\u003Cp\u003E一、PathTracing\u003C\u002Fp\u003E\u003Cp\u003E二、实时PathTracing\u003C\u002Fp\u003E\u003Cp\u003E三、BSSRDF的简介\u003C\u002Fp\u003E\u003Cp\u003E四、BSSRDF在球面上的重要性采样的探索\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E一、PathTracing\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"1030\" src=\"v2-f1b1ffbdb5c124fac20de580dab20549.jpg\" data-size=\"normal\" data-rawwidth=\"1832\"\u003E\u003Cp\u003E何为PathTracing？顾名思义，既是路径的追踪，对光线的追踪。\u003C\u002Fp\u003E\u003Cp\u003E本质上，PathTracing也是一种对渲染方程的求解。\u003C\u002Fp\u003E\u003Cp\u003E这里只考虑单向的路径追踪。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E按照鄙人的理解，其重要部分为：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.与场景求交\u003C\u002Fp\u003E\u003Cp\u003E2.获取表面属性\u003C\u002Fp\u003E\u003Cp\u003E3.根据表面属性生成新的射线\u003C\u002Fp\u003E\u003Cp\u003E4.累积各种路径上的能量\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E通常的流程如下：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.从眼睛出发，射出一条射线（若不考虑DOF，这条射线的位置是属于特定像素区域内的，可以是随机覆盖该像素，也可以是根据某种分布进行覆盖，各有特点）\u003C\u002Fp\u003E\u003Cp\u003E而射线方向则是当前射线位置减去相机位置\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ERay.Ori_{0}\\in P_{i,j}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ERay.Dir_{0} = normalize(Ray.Ori - CameraPosition)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E2.射线与场景求交，得到新位置 \u003Cequation\u003ERay.Ori_{k}\u003C\u002Fequation\u003E ，新表面法线 \u003Cequation\u003EN_{k}\u003C\u002Fequation\u003E ，新的表面属性 \u003Cequation\u003EM_{k}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E累积 \u003Cequation\u003ERadiance\u003C\u002Fequation\u003E ： \u003Cequation\u003ERadiance += R_{k-1}\\odot M_{k}.E\u003C\u002Fequation\u003E (E为表面自发光的强度，R为当前遮蔽积累量)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ER_{k} \\odot=\u003C\u002Fequation\u003E 本次计算的遮蔽积累量\u003C\u002Fp\u003E\u003Cp\u003E3.根据 \u003Cequation\u003EN_{k}\u003C\u002Fequation\u003E 、 \u003Cequation\u003EM_{k}\u003C\u002Fequation\u003E 、 \u003Cequation\u003ERay.Dir_{k-1}\u003C\u002Fequation\u003E 、\u003Cequation\u003ERay.Ori_{k}\u003C\u002Fequation\u003E 等等参数，随机（蒙特卡罗的思想，这里不详细叙述）一条新射线 \u003Cequation\u003ERay.Dir_{k} \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E4.重复步骤2到3，直到射线遮蔽累积量已经过小，或者反弹次数过多\u003C\u002Fp\u003E\u003Cp\u003E5.得到最终的Radiance，输出至屏幕\u003C\u002Fp\u003E\u003Cp\u003E（这里使用了一个遮蔽累积量这词，是为了方便理解而创造的）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E因为使用的是蒙特卡洛的算法，求的只是一个理论上无偏的近似解，但是可以看到图中有噪点。噪点的成因，直观表现为积分过程中，每个样本之间的方差\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EV[x]=E[(x-E[x])^{2}]\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然，为了减少方差，这里有许多方法可以使用，如\u003Cb\u003EImportanceSampling\u003C\u002Fb\u003E（重要性采样），\u003Cb\u003EMIS\u003C\u002Fb\u003E（Multi-，多重重要性采样），\u003Cb\u003ERussianRoulette\u003C\u002Fb\u003E（俄罗斯转盘），还有一些高级一点的如可以逼近未知分布的\u003Cb\u003EMetropolis\u003C\u002Fb\u003E(本文只使用了重要性采样与多重重要性采样)。方法思想很多，从逼近真实光线分布到复用光线路径，最后的目的都是为了使用最少的路径来获取最接近正确结果的结果。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E二、实时PathTracing\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E其实说是实时PathTracing，更准确来说应该是对未来的展望。本文中使用的渲染器，如果将分辨率调至720p以下，每帧每像素5采样（5spp），对于光路不复杂的材质（塑料，金属，玻璃），结合Temporal Filter能勉强达到能看的实时渲染。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"985\" src=\"v2-3cbe84e7150d751a55ccdeaee6cb285f.jpg\" data-size=\"normal\" data-rawwidth=\"1806\"\u003E\u003Cp\u003E可以看到大部分噪点都是由次表面散射的珠子提供的\u003C\u002Fp\u003E\u003Cp\u003E当然，本文的渲染器在求交上面也偷了懒，目前只支持球和无限大的平面进行求交，而实际应用中，使用三角形来表示场景，将可能用到KDTree，BVH等的加速算法来进行求交，但是尽管如此，求交速度也会慢很多，这也是PathTracing不能实时化的原因之一。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"499\" src=\"v2-b1807b22544a4a71abab7a1f2e5b4580.jpg\" data-size=\"normal\" data-rawwidth=\"504\"\u003E\u003Cimg data-rawheight=\"551\" src=\"v2-b7c3e65b7999a4e68f1c650001323b2b.jpg\" data-size=\"normal\" data-rawwidth=\"528\"\u003E\u003Cp\u003E(这是\u003Cb\u003EPeter and Karl's GPU path tracer\u003C\u002Fb\u003E，一个我在网上浏览资料时看到光线追踪器。这是一个使用CUDA可支持三角形和其他类型表达场景的光线追踪器（但是效率比较低，对比截图可以看得出来，驱动也很容易停止响应o(-`д´- ｡)對，沒錯，每次截圖，就是一次驅動的崩潰)\u003C\u002Fp\u003E\u003Cp\u003E当然还有许多许多在这方面做得很好的渲染器，鄙人就不一一列举出来。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然除此之外还有一个思路，就是图像的去噪。这方面在这几年研究也变得更多。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1、Spatiotemporal Variance-Guided Filter（SVGF）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"2208\" src=\"v2-972b0a7cecc47d0c9472a76185444fcb.jpg\" data-size=\"normal\" data-rawwidth=\"1242\"\u003E\u003Cimg data-rawheight=\"807\" src=\"v2-d669fe1debf93c726b3d4cffac19faa7.jpg\" data-size=\"normal\" data-rawwidth=\"1920\"\u003E\u003Cp\u003E这是一个结合了光栅化与PathTracing的渲染有偏（虽然说最后还是理论上可以收敛到无偏的，如果直接光照也由PathTracing提供，而且静止时间足够长）的方案。简单介绍一下，SVGF需要用到光栅化提供的GBuffer的信息，来重构空间信息。使用PathTracing来获取间接光照信息（此时含噪点）。将像素颜色分为Albedo（GBuffer中获取）和Irradiance，对Irradiance进行空间上的滤波（周围像素将根据空间信息加权），进行亮度上的滤波（根据周围像素的颜色的相似性进行加权）等等，以及对之前的帧样本进行叠加（类似TAA），从而达到“不浪费之前的样本”“不浪费周围的样本”的去噪效果。\u003C\u002Fp\u003E\u003Cp\u003E详细见文章末尾论文处。\u003C\u002Fp\u003E\u003Cp\u003E（同时这个降噪的思想也是接下来想要努力的方向，如果还能有时间的话\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2.AI降噪\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"861\" src=\"v2-3e7ccab5d455bbc6f96789261b72915f.jpg\" data-size=\"normal\" data-rawwidth=\"1871\"\u003E\u003Cp\u003E来自\u003Cb\u003EOptix 5.0\u003C\u002Fb\u003E \u003Cb\u003EAI-Based Denoising\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如今降噪结合AI，是一个蛮流行的研究方向。。本文也不再详细叙述。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E三、BSSRDF的简介\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E假设已经了解了BRDF,BSDF等概念，那么理解BSSRDF应该不算太苦手。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"450\" src=\"v2-f50782109ff2ef2dbf1658710e29704e.jpg\" data-size=\"normal\" data-rawwidth=\"450\"\u003E\u003Cp\u003E我们现实中看到的物体，通常是这样的。次表面散射这一概念，也会随着带出来。光线先经过介质折射进入表面，然后在物体内部进行散射（吸收），再从某一点射出。为了加速这一模拟过程，BSSRDF这一概念被提出（实际上与现实中有差距，具体下文会提到）\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"356\" src=\"v2-af4013d6f292b5527546267560bd39d2.jpg\" data-size=\"normal\" data-rawwidth=\"518\"\u003E\u003Cimg data-rawheight=\"514\" src=\"v2-5d00626281c2bbcf40d35d71900e9ec6.jpg\" data-size=\"normal\" data-rawwidth=\"944\"\u003E\u003Cp\u003E简单地理解，BSSRDF描述的是这样一个事情：对于 \u003Cequation\u003EP_{0}\u003C\u002Fequation\u003E 外一点 \u003Cequation\u003EP_{i}\u003C\u002Fequation\u003E 与射出（入）的光线方向 \u003Cequation\u003E\\omega_{i}\u003C\u002Fequation\u003E ，可以得到的能量是多少。\u003C\u002Fp\u003E\u003Cp\u003E因此对于每一个采样点，实际上需要求物体表面的所有点对他的贡献。其中BSSRDF被简单记叙为： \u003Cequation\u003EBSSRDF(p_{0},p_{i},\\omega_{0},\\omega_{i})=F_{t}(eta_{0},\\omega_{0})F_{t}(eta_{i},\\omega_{i})R_{d}(d)\u002F\\pi\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E实际上通常 \u003Cequation\u003Ed=distance(p_{0},p_{i})\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E而eta则为介质的IOR（空气为1）,F项为常见的Fresnel项\u003C\u002Fp\u003E\u003Cp\u003E因为通常 \u003Cequation\u003Ed=distance(p_{0},p_{i})\u003C\u002Fequation\u003E ，但是在选取表面上一点时，两点中间可能不是连续的介质（中间可能隔着空气），因此会导致最后结果与实际出现偏差，偏暗（如果是球球则不会有这样的问题啦）\u003C\u002Fp\u003E\u003Cp\u003E因此在路径追踪中只需对 \u003Cequation\u003ERay.Ori_{k}\u003C\u002Fequation\u003E 进行合理地重新选取，根据BSSRDF进行能量的累加，就能近似地模拟这种结果。\u003C\u002Fp\u003E\u003Cp\u003ERd函数也十分地复杂。他的积分形式（我懒得打了啦）没有解析解，因此通常使用他的近似算法来求解，如\u003Cb\u003EDipole\u003C\u002Fb\u003E，\u003Cb\u003EDirectionalDipole\u003C\u002Fb\u003E等。。\u003C\u002Fp\u003E\u003Cp\u003E而且使用原始函数或者Dipole的形式，需要输入的参数也十分复杂：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"654\" src=\"v2-2f1453ea803724069d64a0817774a05b.jpg\" data-size=\"normal\" data-rawwidth=\"1618\"\u003E\u003Cp\u003E（那个Chicken，认真的吗(((( ;°Д°))))）\u003C\u002Fp\u003E\u003Cp\u003E（而且实现也十分复杂，如果照着论文来做的话，因为参数太多了，很容易写错o(╥﹏╥)o在这里卡了好多好多天）\u003C\u002Fp\u003E\u003Cp\u003E本文渲染器中使用的是一种\u003Cb\u003ENormalized Diffusion\u003C\u002Fb\u003E的算法（\u003Cb\u003EApproximate Reflectance Profiles for Efficient Subsurface Scattering）。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E该算法的核心在于这个公式\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ER_{d}(r) = (e^{-r\u002Fd}+e^{-r\u002F3d})\u002F(8\\pi d r )\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E其中d是控制该函数的一个玄学参数（下面会讲到）\u003C\u002Fp\u003E\u003Cp\u003E这个公式形式也比原来的Rd简单了不少。而且据原论文，该公式乘以 \u003Cequation\u003E(8\\pi d r )\u003C\u002Fequation\u003E 之后，是可以求出CDF的，从而可以求出 \u003Cequation\u003ECDF^{-1}\u003C\u002Fequation\u003E ，进行重要性采样（\u003Cb\u003E然而其实这个CDF的逆也没有解析解\u003C\u002Fb\u003E）。\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"984\" src=\"v2-f7d2cae0dd8ab5c447782b9914796112.jpg\" data-size=\"normal\" data-rawwidth=\"1792\"\u003E\u003Cp\u003E使用Normalized Diffusion的渲染结果，可以看到噪点依然明显（＠´＿｀＠）\u003C\u002Fp\u003E\u003Cp\u003E然后鄙人就有了一个大胆的想法（以下内容均为实验内容，未经允许严禁转发）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E四、BSSRDF在球面上的重要性采样的探索\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E所需工具：Wolfram,Excel，计算器\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E首先使用该公式\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Es = 3.5+100(A-0.33)^{4}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003Es为scaling factor\u003C\u002Fp\u003E\u003Cp\u003E又已知\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EA = \\int_{0}^{u}R(r)2\\pi r dr\u003C\u002Fequation\u003E (u是无穷，找不到那个符号了o(╥﹏╥)o)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EA = (1+ r_{d})(1 - r_{d})\u003C\u002Fequation\u003E\u003Cb\u003E (Albedo without the fresnel terms)\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E而\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Er_{d} = -1.440n^{-2}+0.710n^{-1}+0.668+0.0636n\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E (来自\u003Cb\u003EOptical Monitoring of Fresh and Processed Agricultural Crops\u003C\u002Fb\u003E（我也不知道为什么是这个奇怪的名字）)\u003C\u002Fp\u003E\u003Cp\u003E而\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ed = l_{d}\u002Fs\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E从而得到d的近似解， \u003Cequation\u003El_{d}\u003C\u002Fequation\u003E 为平均散射距离\u003C\u002Fp\u003E\u003Cp\u003E可以看到参数被简化了许多。而鄙人想做的事情，正是拟合出 \u003Cequation\u003ER_{d}\u003C\u002Fequation\u003E 的曲线，从而得到一个CDF，CDF的逆均有解析解的分布 \u003Cequation\u003E\\tilde{R_{d}}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1.求出d的常用范围\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E使用Wolram将Rd画出来，可以发现函数形状较d的变化会比较大\u003C\u002Fp\u003E\u003Cp\u003En取1~2(通常物体的\u003Cb\u003EReflective Index\u003C\u002Fb\u003E)，散射距离从1取到500：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"872\" src=\"v2-25b1b560b7bd87432479cad9417c8365.jpg\" data-size=\"normal\" data-rawwidth=\"1157\"\u003E\u003Cp\u003E可以发现d的取值大概分布在0.1~0.5(实际上\u003Cb\u003EIOR\u003C\u002Fb\u003E的值会大于1.2，通常为1.3，因此前面一部分骤变的曲线被舍去了)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2.根据d的取值可能拟合多条曲线\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E使用Excel进行运算：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"651\" src=\"v2-f017341d1ea9853595bf36de664e4610.jpg\" data-size=\"normal\" data-rawwidth=\"937\"\u003E\u003Cp\u003E得到不同的d时，r对应的 \u003Cequation\u003ER_{d}\u003C\u002Fequation\u003E 的取值。通过散点拟合，可以统一为一个形式： \u003Cequation\u003Ekx^{b}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cimg data-rawheight=\"318\" src=\"v2-255df6494761c4665590208c39477a20.jpg\" data-size=\"normal\" data-rawwidth=\"488\"\u003E\u003Cp\u003E\u003Cb\u003E3.拟合k、b\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E根据不同的d值，我们得到了不同的k，b值。\u003C\u002Fp\u003E\u003Cp\u003E新建表格，对k，b值进行拟合：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"120\" src=\"v2-62c26e2098d2cffb0f598709cea1bc74.jpg\" data-size=\"normal\" data-rawwidth=\"335\"\u003E\u003Cimg data-rawheight=\"275\" src=\"v2-e3c13c97b25bb7cb794b476dda7f646a.jpg\" data-size=\"normal\" data-rawwidth=\"475\"\u003E\u003Cimg data-rawheight=\"272\" src=\"v2-68db005a8eb10a6cd763b09c1f058c25.jpg\" data-size=\"normal\" data-rawwidth=\"471\"\u003E\u003Cp\u003E实际上，运气很好的是，在选取的d的范围之内，k，b的值均为单调的（事实上再过一点点就会呈现下降趋势，不过对于选取的区域来说已经足够精确了）\u003C\u002Fp\u003E\u003Cp\u003E又可以得到关系式：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ek = 0.0243lnd + 0.0671\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eb = 0.6301lnd - 0.8747\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E得到完整的拟合曲线为：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\tilde{R_{d}}(r) = (0.0243lnd + 0.0671)r^{0.6301lnd - 0.8747}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4.细节处理与归一化处理\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E由于该函数在0处无定义，因此使用分段的形式：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\bar{R_{d}}(r) = (0.0243lnd + 0.0671)minr^{0.6301lnd - 0.8747} ;0\\leq r\\leq minr \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\bar{R_{d}}(r) = (0.0243lnd + 0.0671)r^{0.6301lnd - 0.8747} ;minr\\leq r\\leq 2R\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E(其中R为当前球的半径，因为2R为可采样的最大距离，因此需要进行截断处理，minr为自由选择的一个不等于0的极小的数，小于minr的函数值将会变得平稳，从而防止无法积分）\u003C\u002Fp\u003E\u003Cp\u003E求出该函数在定义域内的积分：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EB = \\int_{0}^{2R}\\tilde{R_{d}}(r)dr=minr\\tilde{R_{d}}(minr) + \\frac{k}{b+1}((2R)^{b+1}-minr^{b+1})\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E归一化：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E^{'}R_{d}(r) = \\bar{R_{d}}(r)\u002FB\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5.求CDF与CDF的逆\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ECDF(r) =\\int_{0}^{r}⁣⁣⁣⁣ ^{'}R_{d}(x)dx = \\frac{k\\cdot minr^{b}}{B}r ; 0\\leq r\\leq minr\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ECDF(r) =\\int_{0}^{r}⁣⁣⁣⁣ ^{'}R_{d}(x)dx =\\frac{bk\\cdot minr^{b+1}}{B(b+1)} + \\frac{kr^{b+1}}{B(b+1)};minr\\leq r \\leq 2R\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003ECDF同样也是一个分段函数\u003C\u002Fp\u003E\u003Cp\u003E接下来求CDF的逆，因为是简单的指数型函数，因此求解也十分方便：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ECDF^{-1}(\\zeta) = \\frac{B}{k\\cdot minr^{b}}\\zeta ;0\\leq \\zeta \\leq \\frac{k\\cdot minr^{b+1}}{B}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003ECDF^{-1}(\\zeta) = \\left(\\frac{\\zeta - \\frac{bk\\cdot minr^{b+1}}{B(b+1)}}{\\frac{k}{B(b+1)}} \\right)^{\\frac{1}{b+1}} ; \\frac{k\\cdot minr^{b+1}}{B}\\leq \\zeta \\leq 1\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E有了这个函数，我们就能通过0-1的随机变量来进行采样，返回一个距离r。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6.根据r在球面上进行采样\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这一部分比较难解释。首先建立一个特殊的球面坐标系：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"901\" src=\"v2-c85f546291598ba51c94f31ffec2b967.jpg\" data-size=\"normal\" data-rawwidth=\"901\"\u003E\u003Cp\u003E从一个截面上看，是这样的。经过随机采样得到了r，我们需要使采样点均匀分布在这里：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"901\" src=\"v2-322105e549b1f80c4ae567aa21e27405.jpg\" data-size=\"normal\" data-rawwidth=\"901\"\u003E\u003Cp\u003E涂黑的圆盘与球面的交线，即球小圆之一，采样点应该在这上面均匀分布。\u003C\u002Fp\u003E\u003Cp\u003E随机在球面上取一点 \u003Cequation\u003Ep_{x}\u003C\u002Fequation\u003E ,取向量\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ec = Rsin\\theta ⁣⁣⁣⁣\\cdot normalize((p-p_{x})\\times(o-p))\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ev = (R-Rsin\\theta)normalize(o-p)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E可以得到采样点的位置为：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ep_{i} = p+c+v\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E而根据高中所学知识（余弦定理），可以求得 \u003Cequation\u003Ecos\\theta = \\frac{2R^{2}-r^{2}}{2R^{2}}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E7.PDF\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E根据重要性采样理论，不同分布下应该除以PDF：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EPDF(r) = ^{'}R_{d}(r) \u002F(2\\pi Rsin\\theta)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E从而完成重要性采样的求解。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E对比使用该采样的前后图像，会发现确实有许多改进，噪点明显减少：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"451\" src=\"v2-185927f09ca8dbdcfd3480cdb8d33645.jpg\" data-caption=\"未使用改进后的重要性采样，1024spp\" data-size=\"normal\" data-rawwidth=\"797\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"449\" src=\"v2-1ae4baee031d9e80d8678866efd825af.jpg\" data-caption=\"使用后，1024spp\" data-size=\"normal\" data-rawwidth=\"792\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"452\" src=\"v2-597f900019bec60e23c533068bdca865.jpg\" data-caption=\"使用前，1024spp\" data-size=\"normal\" data-rawwidth=\"798\"\u003E\u003Cimg data-rawheight=\"450\" src=\"v2-16748cc952847a25c90ae72cbb0b8243.jpg\" data-caption=\"使用后，1024spp\" data-size=\"normal\" data-rawwidth=\"795\"\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic1.zhimg.com\u002F80\u002Fv2-6f2bc7a5ad99e0ad4c9e9a5809e96e48_b.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F944011958136037376\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"944011958136037376\"\u003E\u003C\u002Fvideo\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic3.zhimg.com\u002F80\u002Fv2-eb0c6b1b2a5d8074c0835d725bc42cda_b.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F944012371203784704\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"944012371203784704\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E(一些1080*720的实时渲染效果，视频上传中，希望压缩得不要太严重)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E总结：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E本次的文章和大家分享了PT的基本思想，以及实时应用的可能性。\u003C\u002Fp\u003E\u003Cp\u003E第二段文章对于BSSRDF里面Rd函数的拟合为试验性的尝试，也获得了一点成果（命名为YCZ 分布（*\u002F∇＼*）），但是也还有许多理解不到位的地方（也请大家指出错误之处）。在分享该过程的同时，可以与大家一起加深对重要性采样的理解，感到很高兴，也希望以后还有更多这样交流的机会（鄙人也因为某些原因，下半年可能销声匿迹了，实际上，这篇文章也写了很多天，虽然渲染器只有短短的几千行。。。）\u003C\u002Fp\u003E\u003Cp\u003E所以，请在我彻底销声匿迹之前，让我感受多几下被人赞的感受吧*(*´∀｀*)☆\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E感激不尽！ありがとうございます！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E参考文献：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1.Optical Monitoring of Fresh and Processed Agricultural Crops\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2.Approximate Reflectance Profiles for Efficient Subsurface Scattering\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3.BSSRDF理論と実装\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4.Spatiotemporal Variance-Guided Filter\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5.\u003C\u002Fb\u003E\u003Cb\u003EA Practical Model for Subsurface Light Transport\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2018-02-05T16:33:15.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":43,"likeCount":268,"state":"published","isLiked":false,"slug":"33614512","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-02-06T00:33:15+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F33614512\u002Fcomments"},"url":"\u002Fp\u002F33614512","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-e0cb9ca33ef121ec1ce96dba3c5d1f4d_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F33614512","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":43,"likesCount":268},"33865743":{"title":"译：UE4是如何渲染一帧的（1）","author":"charlie-45","content":"\u003Cp\u003E原文链接：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Finterplayoflight.wordpress.com\u002F2017\u002F10\u002F25\u002Fhow-unreal-renders-a-frame\u002F\"\u003EHow Unreal Renders a Frame\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E作者：Kostas Anagnostou， Lead Graphics Programmer at Radiant Worlds\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这几天我在翻阅UE4的源码。受到一些\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.adriancourreges.com\u002Fblog\u002F2015\u002F11\u002F02\u002Fgta-v-graphics-study\u002F\"\u003E分析著名游戏如何渲染一帧的文章\u003C\u002Fa\u003E启发，我考虑对UE4也做些类似的工作，分析UE4是怎么渲染一帧的。\u003C\u002Fp\u003E\u003Cp\u003E由于UE4源码公开，我们可以分析源码来研究UE4的渲染器是如何工作的。不过UE4的渲染器十分复杂，并且根据场景的不同渲染流程有很多变化，所以有一个（渲染过程中的）清晰、底层的API调用看起来会更加方便一些（遇到搞不明白的地方再去看源码）。\u003C\u002Fp\u003E\u003Cp\u003E我制作了一个简单的场景，场景包括一些动态的或静态的模型，一些光源，体积雾，透明物体以及粒子效果。这些东西会覆盖到UE4大部分材质和渲染方法。\u003C\u002Fp\u003E\u003Cimg src=\"v2-1667e4e24327dd84c75843f6b4ea2dc9.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1815\" data-rawheight=\"976\"\u003E\u003Cp\u003E我使用RenderDoc在编辑器中捕捉了一帧。一个实际游戏里的渲染流程和这个可能不一样，但通过捕捉到的数据我们可以粗略地窥见UE4是怎么渲染一帧的。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5eee77c202b3b80203a219cd56f13877.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"843\" data-rawheight=\"1160\"\u003E\u003Cp\u003E声明：以下分析基于GPU捕捉数据以及\u003Cb\u003EUE 4.17.1\u003C\u002Fb\u003E的渲染器代码，（作者）本人先前没有使用UE的经验。如果我漏掉了什么东西，请在评论中让我知晓。\u003C\u002Fp\u003E\u003Cp\u003E幸运的是UE4的draw call列表非常整洁，并且有良好的注释，这会使我们分析起来更简单。如果你的场景中缺了些材质或者你的渲染质量设置得较低，你捕捉到的draw call列表可能和我的不一样。例如如果你的场景中没有粒子效果，那么\u003Cb\u003EParticalSimulation\u003C\u002Fb\u003E这个 render pass就不会出现。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESlateUI\u003C\u002Fb\u003E这个pass包括了所有UE编辑器用于渲染UI的渲染调用，这一部分本文将会忽略，重点关注\u003Cb\u003EScene\u003C\u002Fb\u003E下的所有render pass。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E粒子模拟\u003C\u002Fh2\u003E\u003Cp\u003EUE4的一帧以\u003Cb\u003EParticleSimulation\u003C\u002Fb\u003E pass开始。这一步在GPU上计算了场景里所有的粒子发射器（emitter）的粒子运动以及其他属性，并将结果输出到两个渲染目标（rendertarget）上，一个格式为RGBA32_Float，保存位置，另一个为RGBA16_Float，保存速度以及其他一些和粒子时间\u002F生存周期相关的数据。下图展示了RGBA32_Float格式的渲染目标保存的数据，每一个像素代表了一个sprite的世界坐标。\u003C\u002Fp\u003E\u003Cimg src=\"v2-a4657a1a5f447c86fb05023f104abf3a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"672\" data-rawheight=\"374\"\u003E\u003Cp\u003E我在场景中添加的粒子效果似乎有两个emitter在GPU上模拟时不需要进行碰撞检测，所以可以在每一帧较早的时候运行其对应的render pass。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EZ-Prepass\u003C\u002Fh2\u003E\u003Cp\u003E接下来就是\u003Cb\u003EPrePass\u003C\u002Fb\u003E流程，这一步其实就是z-prepass，将所有不透明物体渲染到一个R24G8的深度缓冲中。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5160f7292b366de4bcbb0dab3276ca7a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1379\" data-rawheight=\"741\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E值得注意的是UE4使用reverse-Z来保存深度，意味着近裁面的深度值为1，远裁面的深度值为0。这使得深度缓冲的精度更高，避免在远处发生z-fighting的现象。从该pass的名字可以看出这一步是由“DBuffer”触发的。DBuffer是UE4用来保存延迟贴花（deferred decal）的缓冲，这一步需要场景深度，所以会启动Z-prepass。这个Z-buffer还会用在其他地方，例如遮挡检测和屏幕空间反射，这些我们会在之后提及。\u003C\u002Fp\u003E\u003Cp\u003EDraw call列表中的一些渲染pass似乎是空的，例如\u003Cb\u003EResolveSceneDepth\u003C\u002Fb\u003E，这一步我猜测是用于那些需要在使用纹理前resolve渲染目标的平台（PC平台不需要）；又比如\u003Cb\u003EShadowFrustumQueries\u003C\u002Fb\u003E，这一步看起来是个傀儡标记，因为真正的阴影遮挡测试发生在写一个渲染pass中。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E遮挡检测\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003EBeginOcclusionTests\u003C\u002Fb\u003E负责一帧中所有遮挡测试。UE4默认使用硬件遮挡查询（hardware occlusion queries）来进行遮挡测试。简而言之分为3步：\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E将所有被标记为遮挡体的物体（例如一个较大的solid mesh）渲染进一个深度缓冲。\u003C\u002Fli\u003E\u003Cli\u003E创建一个遮挡查询（occlusion query），提交该查询并渲染那些我们希望查询遮挡情况的模型。这一步使用硬件深度测试（z-test）以及我们在第一步中创建的深度缓冲。遮挡查询将返回通过深度测试的像素数量，如果结果是0就意味着该物体完全被solid mesh遮挡。由于为了深度测试而去把完整的模型渲染一遍的开销很高，这一步我们渲染模型的包围盒，而不是原模型，如果该包围盒不可见（也就是没通过深度测试），那么该包围盒所代表的模型肯定也不可见。\u003C\u002Fli\u003E\u003Cli\u003E将查询结果读回CPU，根据被渲染像素的数量我们决定是否提交模型给GPU渲染（即便是有一小部分像素可见我们也可以不读渲染这个模型）。\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cp\u003EUE4根据具体情况决定使用哪一类遮挡查询：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b9d8c3c562adda8f275948b86912d36a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"303\" data-rawheight=\"292\"\u003E\u003Cp\u003E硬件遮挡查询有诸多劣势，例如有drawcall粒度上的问题，渲染器需要对每一个模型（或者一个模型批次）提交一个drawcall来进行遮挡查询，这会使得每一帧的drawcall数量显著上升；还有一个问题是硬件遮挡查询需要将结果读回到CPU，这就需要在CPU和GPU之间同步，并且要求CPU一直等待到GPU完成查询处理的时刻。这对instanced物体并不友好，但在这里我们先忽略这个问题。\u003C\u002Fp\u003E\u003Cp\u003E对于CPU与GPU间的同步问题，UE4使用和其他引擎类似的方法：将CPU对数据的读回操作延迟几帧进行。这个方法大部分情况下可行，但在摄像机高速移动的时候可能会导致物体的突然出现（pop in）（实践中这不是个大问题，因为物体在遮挡剔除时使用包围盒来计算遮挡，这一步是保守，即便完全不可见的物体也可能被标记为可见）。额外的drawcall开销依然存在，但这个问题也是可以解决的。UE4通过以下方法来减轻这个问题的影响：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E首先所有物体会被渲染到深度缓冲。（也就是之前提到的这一过程）\u003C\u002Fli\u003E\u003Cli\u003E对于所有需要遮挡测试的物体向GPU提交一个遮挡查询请求。\u003C\u002Fli\u003E\u003Cli\u003E在每一帧的最后，CPU从前一帧（或者更加前面的帧）读回物体的可见性结果。如果物体是可见的就将物体标为在下一帧需要渲染。对于不可见的物体，将其加入一个“分组”的查询中，该查询会以批次提交最高8个物体的包围盒组，测试这些物体在下一帧是否可见。\u003C\u002Fli\u003E\u003Cli\u003E如果整个分组在下一帧变为可见，那么再将整个组重新分离为独立的遮挡查询并提交。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E如果相机和物体是静止的（或者缓慢移动），这一优化会将必要的遮挡查询数量减少8倍。唯一一个我注意到的奇怪地方是被遮挡物体的批次查询组合方式似乎是随机的，而不是基于物体在空间上的距离。\u003C\u002Fp\u003E\u003Cp\u003E这一步对应于上图中的\u003Cb\u003EIndividualQueries\u003C\u002Fb\u003E和\u003Cb\u003EGroupedQueries\u003C\u002Fb\u003E标记。\u003Cb\u003EGroupedQueries\u003C\u002Fb\u003E在这一帧是空的，因为UE4没有在前一帧中找到任何需要这一操作的物体。\u003C\u002Fp\u003E\u003Cp\u003E在整个遮挡剔除pass的最后，\u003Cb\u003EShadowFrustumQueries\u003C\u002Fb\u003E提交所有针对本地光源（local light，也就是点光源或者聚光灯）的包围盒的遮挡查询（无论光源是否投影都会提交，和这一步的名字所表达的意思不同），如果某个光源被完全遮挡住了那么就没必要去对该光源进行任何光照\u002F投影计算。值得注意的是我们的示例场景中有4个点光源（每一帧每个光源都需要计算shadowmap），但是\u003Cb\u003EShadowFrustumQueries\u003C\u002Fb\u003E这一步提交的查询数量为3。我猜测这是因为其中一个光源的包围盒和相机近裁面相交，因此UE4认为该光源必然可见。另一点值得一提，对于一个需要计算cubemap shadowmap的动态光源，UE4会提交一个球体来进行遮挡测试。\u003C\u002Fp\u003E\u003Cimg src=\"v2-355677201249cab7dc29faac587e4b84.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"880\" data-rawheight=\"633\"\u003E\u003Cp\u003E对于需要计算逐物体阴影的静止动态光源（之后会有更详细的介绍），UE4会提交一个视锥体来进行遮挡检测：\u003C\u002Fp\u003E\u003Cimg src=\"v2-287190467a98983d28ee7d4413db1edd.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"892\" data-rawheight=\"647\"\u003E\u003Cp\u003E最后对于\u003Cb\u003EPlanarReflectionQuerie\u003C\u002Fb\u003Es这一步，我估计是指用于计算平面反射（planar reflection）的遮挡剔除计算（方法是将相机变换到渲染平面之后\u002F之下在重新绘制物体）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EHi-Z缓冲的生成\u003C\u002Fh2\u003E\u003Cp\u003E接下来，UE4会创建一个Hi-Z缓冲（passes \u003Cb\u003EHZB SetupMipXX\u003C\u002Fb\u003E），存储格式为16位浮点数（R16_Float）。这一步将Z-prepass阶段得到的深度缓冲作为输入创建一个深度值的mipmap链（mipmap chain）。这一步还会将深度重新采样为分辨率大小为2的幂次数的纹理，这样用起来更方便。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b5c0c0715395ce6fd9f93874af25129e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"671\" data-rawheight=\"336\"\u003E\u003Cimg src=\"v2-cc36e55ee110a09d89cc7122af4fb6f4.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1024\" data-rawheight=\"512\"\u003E\u003Cimg src=\"v2-318045d3f53e72b9e63829dce81a1e2d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1024\" data-rawheight=\"512\"\u003E\u003Cimg src=\"v2-b7b9f1d57974c50032e3067aff5e62c2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1024\" data-rawheight=\"512\"\u003E\u003Cp\u003E之前提到，由于UE4使用reverse-Z，pixel shader在降采样时使用最小值操作符（译者注：也就是指每次降采样时选取邻域内深度值最小的像素输出到下一个mipmap）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E阴影的渲染\u003C\u002Fh2\u003E\u003Cp\u003E接下来一步是阴影计算render pass(\u003Cb\u003EShadowDepths\u003C\u002Fb\u003E)。\u003C\u002Fp\u003E\u003Cimg src=\"v2-249ad6f489fb956b893a23dbd362a12f.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"881\" data-rawheight=\"863\"\u003E\u003Cp\u003E静态（stationary）的平行光，两个可移动（movable）的点光源以及一个静止（static）的点光源。所有光源都会计算阴影。\u003C\u002Fp\u003E\u003Cimg src=\"v2-48b397436c6e4aea6606e4a9fa3b4610.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"348\" data-rawheight=\"147\"\u003E\u003Cp\u003E对于静态光源，渲染器会为静态物体烘焙阴影，并为动态物体计算阴影。对于可移动的光源每一帧都需要为所有物体计算阴影（完全动态）。最终对于静态物体其阴影会被烘焙入光照贴图（lightmap），所以这些阴影在渲染中不会出现。\u003C\u002Fp\u003E\u003Cp\u003E对于平行光我添加了分三个层级的级联阴影（cascaded shadowmaps），以观察UE4是怎么处理这个功能的。UE4创建了一个3x1的格式为R16_TYPELESS的纹理（每行3个tile，每层阴影一个），每一帧清除一次（意味着每一帧所有层都要更新，而不会有隔帧更新之类的优化）。随后，在\u003Cb\u003EAtlas0\u003C\u002Fb\u003E render pass中所有物体会被渲染进对应的阴影tile中。\u003C\u002Fp\u003E\u003Cimg src=\"v2-7333f432167c539a013cb8aa3bcb1e46.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1379\" data-rawheight=\"458\"\u003E\u003Cp\u003E从上面的drawcall列表可看出只有Split0需要渲染一些物体，其他块是空的。阴影在渲染时无需pixel shader，这能使得阴影的渲染速度翻倍。值得注意的是无论平行光是静止的还是动态的，渲染器会将所有物体（包括静态物体）都渲染到阴影贴图中。\u003C\u002Fp\u003E\u003Cp\u003E接下来是Atlas1 render pass，这一步将渲染所有静态点光源的阴影。在我的场景中只有那块岩石模型被标记为动态物体。对于静态光源的动态物体，UE4使用逐物体阴影贴图，保存在一个纹理图集（texture atlas）中，意味着对于\u003Cb\u003E每一个光源，每一个物体\u003C\u002Fb\u003E都会渲染一个shadowmap。\u003C\u002Fp\u003E\u003Cimg src=\"v2-872d535b2ec3ae695c21aea0d5c3f098.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"790\" data-rawheight=\"764\"\u003E\u003Cp\u003E最后，对于动态光源，UE4使用传统的立方体阴影（cubemap shadowmap，在\u003Cb\u003ECubemap\u003C\u002Fb\u003EXX passes中)，使用一个geometry shader来选择要渲染到cubemap的哪个面上（以减少draw call）。在这一步只渲染动态物体，所有静态物体会被缓存起来。CopyCachedShadowMap这一步会把阴影缓存复制进来，然后在此之上渲染动态物体的阴影深度。下图是一个动态光源的立方体阴影缓存中一个面的内容（CopyCachedShadowMap这一步的输出）\u003C\u002Fp\u003E\u003Cimg src=\"v2-15b8ae595309516ab19e95e3c8f609a1.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"512\" data-rawheight=\"512\"\u003E\u003Cp\u003E这是渲染了动态物体（石头）后的结果：\u003C\u002Fp\u003E\u003Cimg src=\"v2-6385140e429f3efd1e1f500438e45f4a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"512\" data-rawheight=\"512\"\u003E\u003Cp\u003E静态物体的阴影缓存不会再每一帧重新生成，因为渲染器知道（我们场景中的）这一光源没有移动（尽管被标记为动态光源）。如果光源移动了，渲染器会在每一帧渲染动态物体前把所有静态物体重新绘制入阴影缓存中（这一步我在另一个测试中证实）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-78bdcedaf08aa0cfd4d8947427a4dd27.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"499\" data-rawheight=\"338\"\u003E\u003Cp\u003E唯一一个静态光源（static light）完全没有出现在drawcall列表中，意味着这个光源不会影响动态物体，只会通过光照贴图去影响静态物体。\u003C\u002Fp\u003E\u003Cp\u003E在本文最后提个建议，如果在你的场景中有静态光源（stationary light）请确保在编辑器中测试性能前烘焙光照（我不确定在standalone模式下运行时是否需要这样），如果不烘焙的话UE4会将它当做动态光源并渲染立方体阴影，而不是逐物体阴影。\u003C\u002Fp\u003E\u003Cp\u003E在下一篇中我们会继续探索UE4的渲染流程，考察light grid生成，G-prepass和光照这些渲染步骤。\u003C\u002Fp\u003E","updated":new Date("2018-02-18T10:14:40.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":211,"state":"published","isLiked":false,"slug":"33865743","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-02-18T18:14:40+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F33865743\u002Fcomments"},"url":"\u002Fp\u002F33865743","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-2f1fc41248aa930db44f2d04997ffc37_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F33865743","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":211},"35067260":{"title":"Coherent Occlusion Culling(CHC)算法的原理与实现","author":"lin-lin-83-12","content":"\u003Cp\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003ECHC算法是Jiˇrí Bittner在2004年提出的一种遮挡剔除的算法，其中主要运用到了渲染的（Temporal coherence）时间相干性以及（Spatial coherence）空间相干性，同时运用BVH（Bounding Volume Hirachical）管理场景并且通过基于硬件的遮挡查询对遮挡物进行剔除，提高渲染速度。\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003E算法背景\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ch2\u003E\u003Cb\u003EHardware Occlusion Culling\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003ECHC算法主要建立在基于硬件的遮挡查询（Hardware Occlusion Culling）的基础上。Hardware Occlusion Culling基于一个十分简单的思想，在判断物体是否被遮挡时，将物体的深度值传递给GPU，GPU将自己现存的最低的深度值与物体的深度值进行对比，并返回查询结果（可见像素点个数）。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E优点\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cul\u003E\u003Cli\u003EAPI简单易用，不需要额外管理信息，能迅速集成进现有系统\u003C\u002Fli\u003E\u003Cli\u003E基于GPU进行判断，效率高，充分挖掘GPU性能\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E\u003Cb\u003E存在问题\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cul\u003E\u003Cli\u003E基于GPU的判断效率高，但涉及数据传输，在大规模场景下会造成CPU一直等待GPU查询结果返回造成GPU性能饥饿的情况\u003C\u002Fli\u003E\u003Cli\u003E虽然基于GPU判断效率高，不过在复杂场景下仍有大量渲染目标需要被测试，仍有提升空间\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E\u003Cb\u003ECoherent Occlusion Culling（CHC）\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ch2\u003E\u003Cb\u003E目标\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cul\u003E\u003Cli\u003E减少进行遮挡查询的次数\u003C\u002Fli\u003E\u003Cli\u003E避免CPU出现瓶颈而GPU饥饿的情况\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E\u003Cb\u003E算法核心\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cul\u003E\u003Cli\u003E利用BVH（Bounding Volume Hirachical）管理场景，并利用\u003Cb\u003ESpatial Coherence\u003C\u002Fb\u003E（空间相关性）减少每一帧需要进行遮挡查询的次数。\u003C\u002Fli\u003E\u003Cli\u003E重用上一帧的查询结果，利用\u003Cb\u003ETime Coherence\u003C\u002Fb\u003E（时间相关性）进一步减少查询次数\u003C\u002Fli\u003E\u003Cli\u003E维护一个查询队列，延迟进行查询的时间，并利用渲染部分场景的时间来填充CPU等待GPU查询结果返回的时间，减少GPU的饥饿。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E\u003Cb\u003E算法介绍\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ch2\u003E\u003Cb\u003ESpatial Coherence\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E在实际的渲染过程中，一个渲染场景通常会有大量物体，如果将他们都渲染出来会对GPU造成极大的性能负担，所以需要对看不见的物体从渲染队列中剔除。例如View Frustum Culling算法：只渲染在视角范围内的物体。而对于一个复杂场景来说，经过View Frustum裁剪过后的物体对于渲染管线仍有很大压力。\u003C\u002Fp\u003E\u003Cp\u003E而对于CHC算法的基础Hardware Occlusion Culling算法来说，对每一个物体都进行一次查询仍然是难以负担的任务。为了减少进行查询的次数，CHC算法的作者采用了一种层次化管理场景(BVH)的方法。将场景中的物体基于空间信息利用树状结构进行管理，相邻的物体存在于叶节点中。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-f143e6ce99e345a9085e157799c7640d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"750\" data-rawheight=\"235\" data-watermark=\"watermark\" data-original-src=\"v2-f143e6ce99e345a9085e157799c7640d\" data-watermark-src=\"v2-4ee051d2f84a9dd8f7d790a9e2b8359f\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(图片来源\u003Ca href=\"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBounding_volume_hierarchy\"\u003EWikipedia\u003C\u002Fa\u003E)\u003C\u002Fp\u003E\u003Cp\u003E如图所示，场景中一共有6个物体，而树状结构一共有4个内部节点，每个物体都被它的父节点包围，每个内部节点也被它的父节点包围。\u003C\u002Fp\u003E\u003Cp\u003E算法流程如下：在渲染开始时会从根节点依次往下遍历，并利用Hardware Occlusion Culling的方法检测节点包围盒对于当前场景是否可见，如果可见则遍历子节点直至叶节点。如不可见则证明该包围盒下所有节点都不可见，则跳过该节点继续遍历。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-9e6aef2b931c436d5e5fa79e21f0197a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1354\" data-rawheight=\"676\" data-watermark=\"watermark\" data-original-src=\"v2-9e6aef2b931c436d5e5fa79e21f0197a\" data-watermark-src=\"v2-1faa3e78ca5ddd11b170ffc691ab4689\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如上图，从根节点A开始遍历，发现右下角部分可视，则遍历子节点B与C。对于B节点的可见性测试失败，则跳过B节点的所有子节点，开始遍历C节点，直至遍历到叶节点开始渲染。\u003C\u002Fp\u003E\u003Cp\u003E从上面例子中可以见到，通过这样一个场景管理的方法能够很有效的减少对于物体级别的操作次数。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003ETips\u003C\u002Fb\u003E\u003Cbr\u003E在实际的遮挡物检测中，必须注意到物体渲染先后次数的问题。Hardware Occlusion Culling是将待查询物体的深度与屏幕缓存中现有物体深度进行比较，考虑物体A被物体B挡在后面，完全不可见。但遍历树时首先遍历到物体A，这是物体B还没有被渲染，那么物体A的可见性测试将是True。所以使用BVH结合Occlusion Culling是必须考虑\u003Cb\u003E以从前往后\u003C\u002Fb\u003E的方式遍历树结构。\u003Cbr\u003E在《Phisical Based Rendering》P297页介绍了一种成本很低的从前往后遍历的方法。具体实现见下方\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003ETime Coherence\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E即使利用了BVH管理场景，场景中仍具有大量待查询的物体。CHC算法的作者继续采用了一种假设的方法去消除一部分查询。\u003C\u002Fp\u003E\u003Cp\u003ECHC算法将树内部的节点分为\u003Cb\u003EOpen Node\u003C\u002Fb\u003E与\u003Cb\u003ETerminal Node\u003C\u002Fb\u003E（下文以O与T表示）。O是指上一帧可见的非叶节点。除此之外都是T（也就是上一帧不可见的节点或者是所有叶节点）。实际代码中是这样判断的：\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003E\u002F\u002FIs visible in last frame?\nbool wasVisible = curNode-&gt;visible &amp;&amp; (curNode-&gt;lastVisited == frameID - 1);\n\u002F\u002FIs leaf node?\nbool opened = wasVisible &amp;&amp; !curNode-&gt;isLeaf;\u003C\u002Fcode\u003E\u003Cp\u003E在渲染的第一帧初始化两类节点的值，从第二帧的遍历开始，如果遇到O，则假设它这一帧能够被看到，初始化查询加入查询队列，但不等待查询结果返回就直接发出渲染命令，同时将可见性设为false。同时在每一次遍历新节点是查看队列中的查询结果，如果未返回则继续遍历，如果返回则处理查询结果并设置相应的可见性。\u003C\u002Fp\u003E\u003Cp\u003E如果遇到T，初始化查询，并且阻塞到查询结果返回。\u003C\u002Fp\u003E\u003Cp\u003ECHC算法的秘诀：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E遍历时跳过所有O的可见度测试并默认通过\u003C\u002Fb\u003E，\u003Cb\u003E同时将其可见属性设为false\u003C\u002Fb\u003E，\u003Cb\u003E根据它的子叶节点的可见度测试结果重置它的可见属性\u003C\u002Fb\u003E。这种方法的作用是显而易见的，它有效的减少了执行可见度测试的次数，而他带来的影响：\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cblockquote\u003E\u003Cb\u003E假设上一帧可见的物体这一帧也可见\u003C\u002Fb\u003E：对于物体（叶节点）来说，在初始化查询后不等待其可见还是不可见的结果就立即发出渲染命令。这个假设第一不会影响到场景的正确性，因为所有的物体都会执行深度测试再次被裁剪。第二，初始化查询时将可见性设为false，这样在处理查询结果时也根据查询结果对这个节点\u003Cb\u003E以及其父节点\u003C\u002Fb\u003E赋予O或是T的属性从而影响到下一帧，也就是他的误差率是±1帧。\u003C\u002Fblockquote\u003E\u003Cul\u003E\u003Cli\u003E让CPU执行树的遍历与GPU执行可见性测试交错执行，这样能够有效的消除CPU的性能瓶颈以及GPU的饥饿。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003ECHC算法的流程图：\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003Ewhile(true){\n    \u002F\u002FPART 1:Query and process finished queries\n    while (!queryQueue.empty()|| doneTravel == true) {\n        if (!queryQueue.empty()&amp;&amp; resultAvailable(queryQueue.front())) {\n        \u002F\u002FPrevious invisible is ready\n        \u002F\u002F······\n    }\n    else if (!queryQueueForNextFrame.empty()&amp;&amp; resultAvailable(queryQueueForNextFrame.front())) {\n        \u002F\u002Fprevious visible is ready\n        \u002F\u002F······\n    }\n\n    if (queryQueue.empty() &amp;&amp; queryQueueForNextFrame.empty()) break;\n    }\n\n    \u002F\u002FPART 2:Check if the algorithm is done\n    if (queryQueue.empty() &amp;&amp; queryQueueForNextFrame.empty() &amp;&amp; doneTravel) \n        break;\n\n    \u002F\u002FPART 3:traversal\n    curNode = &amp;root[curVisitOffset];\n    bool wasVisible = curNode-&gt;visible &amp;&amp; (curNode-&gt;lastVisited == frameID - 1);\n    bool opened = wasVisible &amp;&amp; !curNode-&gt;isLeaf;\n    curNode-&gt;visible = false;\n    curNode-&gt;lastVisited = frameID;\n    if (!opened) {\n        issueOcculusionQuery(curNode,true);\n        wasVisible ? queryQueueForNextFrame.push(curNode) : queryQueue.push(curNode);\n    }\n    if (wasVisible)\n        traversalNode(curNode, curVisitOffset, toVisit);\n\n    if (curNode-&gt;isLeaf) {\n        \u002F\u002FTravel in front-to-back order\n        if (!toVisit.empty()) {\n            curVisitOffset = toVisit.top();\n            toVisit.pop();\n        } else {\n            doneTravel = true;\n            curVisitOffset = 0;\n        }\n    }\n\n}\u003C\u002Fcode\u003E\u003Cp\u003E如图\u003C\u002Fp\u003E\u003Cp\u003E这样，1.减少可见性查询的次数；2.消除CPU的性能瓶颈以及GPU的饥饿；两个目的就达到了~\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E算法实现\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E（关于BVH算法，《Phisical Based Rendering》P255-P308页有详细介绍，我的代码也是基于它实现的，读者可以自行查找或下载我的源代码）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E（我是将CHC算法用于VR引擎，会有左右眼渲染两次，所以有些时候会进行两次可见性测试，读者实验时可以删去多余代码）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E定义变量\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003E\u002F\u002FAll of the objects\nObjects = gIsLeft? leftBvhAccel-&gt;getOrderedMesh():rightBvhAccel-&gt;getOrderedMesh();\n\u002F\u002FFor occlusion query(Terminal Node)\nstd::queue&lt;LinearBVHNode*&gt; queryQueue; \n\u002F\u002FFor occlusion query(Open Node)\nstd::queue&lt;LinearBVHNode*&gt; queryQueueForNextFrame; \n\n\u002F\u002FFor travel in front-back order\nint curVisitOffset = 0; \nstd::stack&lt;int&gt; toVisit;\n\n\u002F\u002FFor travel\nLinearBVHNode* curNode;\nLinearBVHNode* root = gIsLeft ? leftBvhAccel-&gt;getLinearNodes() : rightBvhAccel-&gt;getLinearNodes();\n\n\u002F\u002FJudge the travel is done\nbool doneTravel = false;\u003C\u002Fcode\u003E\u003Ch2\u003E\u003Cb\u003E循环主体\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Ewhile(true){\n    \u002F\u002FPART 1:Query and process finished queries\n    while (!queryQueue.empty()|| doneTravel == true) {\n        \u002F\u002F······\n    }\n\n    \u002F\u002FPART 2:Check if the algorithm is done\n    if (queryQueue.empty() &amp;&amp; queryQueueForNextFrame.empty() &amp;&amp; doneTravel) \n        break;\n\n    \u002F\u002FPART 3:traversal\n    \u002F\u002F······\n\n}\u003C\u002Fcode\u003E\u003Ch2\u003E\u003Cb\u003EPART 1:Query and process finished queries\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Ewhile (!queryQueue.empty()|| doneTravel == true) {\n    if (!queryQueue.empty()&amp;&amp; resultAvailable(queryQueue.front())) {\n        \u002F\u002FPrevious invisible is ready\n        \u002F\u002F······\n    }\n    else if (!queryQueueForNextFrame.empty()&amp;&amp; resultAvailable(queryQueueForNextFrame.front())) {\n        \u002F\u002Fprevious visible is ready\n        \u002F\u002F······\n    }\n\n    if (queryQueue.empty() &amp;&amp; queryQueueForNextFrame.empty()) break;\n}\u003C\u002Fcode\u003E\u003Cp\u003E\u003Cb\u003EPrevious invisible is ready\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003Eif (!queryQueue.empty()&amp;&amp; resultAvailable(queryQueue.front())) {\n    \u002F\u002FPrevious invisible is ready\n    curNode = queryQueue.front();\n    queryQueue.pop();\n\n    \u002F\u002FIf it is visible\n    if (getOcculusionResult(curNode) &gt; 1) {\n        traversalNode(curNode, curVisitOffset, toVisit);\n        pullUpVisibility(root, curNode);\n        glDeleteQueriesARB(1, &amp;curNode-&gt;queryID);\n    } else {\n        \u002F\u002FIf it is not visible,query for the other eyes\n        \u002F\u002FIt is only for VR!\n        issueOcculusionQuery(curNode, false);\n        if (getOcculusionResult(curNode) &gt; 1) {\n            \u002F\u002FIf the target is visible\n            traversalNode(curNode, curVisitOffset, toVisit);\n            \u002F\u002FSet it's visible property as same as it's parent \n            pullUpVisibility(root, curNode);\n            glDeleteQueriesARB(1, &amp;curNode-&gt;queryID);\n        }\n        else {\n            \u002F\u002FThe target is not visible\n            if (toVisit.empty() &amp;&amp; curVisitOffset == 0) {\n                doneTravel = true;\n                break;\n            } else if (toVisit.empty() &amp;&amp; !curNode-&gt;isLeaf) {\n                \u002F\u002Fthe last invisible node\n                doneTravel = true;\n                break;\n            } else if (!curNode-&gt;isLeaf) {\n                \u002F\u002Finvisible node\n                curVisitOffset = toVisit.top();\n                toVisit.pop();\n            }\n        }\n    }\n}\u003C\u002Fcode\u003E\u003Cp\u003E\u003Cb\u003EPrevious visible is ready\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003Eelse if (!queryQueueForNextFrame.empty()&amp;&amp; resultAvailable(queryQueueForNextFrame.front())) {\n    \u002F\u002Fprevious visible is ready\n    curNode = queryQueueForNextFrame.front();\n    queryQueueForNextFrame.pop();\n    if (getOcculusionResult(curNode) &gt; 1) {\n        pullUpVisibility(root, curNode);\n        glDeleteQueriesARB(1, &amp;curNode-&gt;queryID);\n    }\n    else {\n        issueOcculusionQuery(curNode, false);\n        if (getOcculusionResult(curNode) &gt; 1) {\n            pullUpVisibility(root, curNode);\n            glDeleteQueriesARB(1, &amp;curNode-&gt;queryID);\n        }\n    }\n}\u003C\u002Fcode\u003E\u003Ch2\u003E\u003Cb\u003EPART 3:Traversal\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003EcurNode = &amp;root[curVisitOffset];\nbool wasVisible = curNode-&gt;visible &amp;&amp; (curNode-&gt;lastVisited == frameID - 1);\nbool opened = wasVisible &amp;&amp; !curNode-&gt;isLeaf;\ncurNode-&gt;visible = false;\ncurNode-&gt;lastVisited = frameID;\nif (!opened) {\n    issueOcculusionQuery(curNode,true);\n    wasVisible ? queryQueueForNextFrame.push(curNode) : queryQueue.push(curNode);\n}\nif (wasVisible)\n    traversalNode(curNode, curVisitOffset, toVisit);\n\nif (curNode-&gt;isLeaf) {\n    if (!toVisit.empty()) {\n        curVisitOffset = toVisit.top();\n        toVisit.pop();\n    } else {\n        doneTravel = true;\n        curVisitOffset = 0;\n    }\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:issueOcculusionQuery\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Evoid issueOcculusionQuery(LinearBVHNode* vCurNode, bool isLeft) {\n    glDepthMask(GL_FALSE);\n    glColorMask(GL_FALSE, GL_FALSE, GL_FALSE, GL_FALSE);\n    glGenQueriesARB(1, &amp;(vCurNode-&gt;queryID));\n    glBeginQueryARB(GL_SAMPLES_PASSED_ARB, vCurNode-&gt;queryID);\n\n    drawBound(vCurNode, isLeft);\n\n    glEndQueryARB(GL_SAMPLES_PASSED_ARB);\n    glDepthMask(GL_TRUE);\n    glColorMask(GL_TRUE, GL_TRUE, GL_TRUE, GL_TRUE);\n\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:drawBound\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Evoid drawBound(LinearBVHNode* vCurNode, bool isLeft){\n    \u002F\u002FDraw the Node's Bounding Box\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:traversalNode\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Evoid traversalNode(LinearBVHNode* curNode, int&amp; curVisitOffset, stack&lt;int&gt;&amp; toVisit) {\n    if (curNode-&gt;isLeaf) {\n        drawNode(curNode,true);\n        glBindFramebuffer(GL_FRAMEBUFFER, 0);\n        glBindFramebuffer(GL_FRAMEBUFFER, drawingRightFbo);\n        drawNode(curNode,false);\n        glBindFramebuffer(GL_FRAMEBUFFER, drawingLeftFbo);\n\n    }\n\n    else {\n        glm::vec3 EyeToCentroid = curNode-&gt;bounds.getCentroid() - camera.Position;\n        int DirisNeg[3]{ EyeToCentroid.x &lt; 0, EyeToCentroid.y &lt; 0, EyeToCentroid.z &lt; 0 };\n        if (DirisNeg[curNode-&gt;axis]) {\n            toVisit.push(curVisitOffset + 1);\n            curVisitOffset = curNode-&gt;secondChildOffset;\n        } else {\n            toVisit.push(curNode-&gt;secondChildOffset);\n            ++curVisitOffset;\n        }\n    }\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:pullUpVisibility\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Evoid pullUpVisibility(LinearBVHNode* root, LinearBVHNode* curNode) {\n    while (!curNode-&gt;visible) {\n        curNode-&gt;visible = true;\n        curNode = &amp;root[curNode-&gt;parentOffset];\n    }\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:getOcculusionResult\u003C\u002Fh2\u003E\u003Ccode lang=\"cpp\"\u003EGLuint getOcculusionResult(LinearBVHNode* curNode) {\n    GLuint sampleCount;\n    glGetQueryObjectuivARB(curNode-&gt;queryID, GL_QUERY_RESULT_ARB, &amp;sampleCount);\n    return sampleCount;\n}\u003C\u002Fcode\u003E\u003Ch2\u003EFunction:resultAvailable\u003C\u002Fh2\u003E\u003Ccode lang=\"text\"\u003Ebool resultAvailable(LinearBVHNode* node) {\n    GLint available;\n    glGetQueryObjectivARB(node-&gt;queryID, GL_QUERY_RESULT_AVAILABLE_ARB, &amp;available);\n    \u002F\u002F  glGetOcclusionQueryuivNV(node-&gt;queryID, GL_PIXEL_COUNT_AVAILABLE_NV,&amp;available);\n    return available;\n}\u003C\u002Fcode\u003E\u003Ch2\u003E项目地址\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fblog.llsevenr.cn\u002F2018\u002F03\u002F22\u002FCoherent-Occlusion-Culling-CHC-%E7%AE%97%E6%B3%95%E7%9A%84%E5%8E%9F%E7%90%86%E4%B8%8E%E5%AE%9E%E7%8E%B0\u002F\"\u003ECoherent Occlusion Culling(CHC) 算法的原理与实现\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2018-03-29T02:59:41.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":0,"state":"published","isLiked":false,"slug":"35067260","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-03-29T10:59:41+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F35067260\u002Fcomments"},"url":"\u002Fp\u002F35067260","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-7d5e944331eb5bee9549eea35e9862e9_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F35067260","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":0},"35372344":{"title":"将自己多年前写的大规模并行流体解算器和OpenVDB链起来了","author":"zhang-xin-xin-92-11","content":"\u003Cp\u003E最近闲来无事， 被Facebook推送的3年前的自己发的状态触动了，于是打算翻出我几年前没继续写下去的流体解算器做一些更新。\u003C\u002Fp\u003E\u003Cp\u003E先放上GitHub的链接，当然这个里头的代码不够新， 除了AMGPCG线性求解器以外，其它的代码我都有一些改动。。。。应该会在发完这篇文章后去push。\u003C\u002Fp\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fzhxx1987\u002Ftbb_liquid_amgpcg\" data-draft-node=\"block\" data-draft-type=\"link-card\" data-image=\"v2-ac18e4bde357817b4d3cffc8b01a486f\" data-image-width=\"420\" data-image-height=\"420\" data-image-size=\"ipico\"\u003Ezhxx1987\u002Ftbb_liquid_amgpcg\u003C\u002Fa\u003E\u003Cp\u003E简单介绍一下自己这个解算器，这个解算器粗糙中带着精致，在不考虑更高级的功能之前，现在已经包含了一下一些特性：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E大规模并行化, 大量的运算, 包括线性代数, 以及粒子运动等, 都已经用tbb进行了并行化\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-3cddbb3aeb2bff2b04283f0c6a09b059.jpg\" data-caption=\"运行中的CPU占用率，除了一些间隙，CPU基本吃满\" data-size=\"normal\" data-rawwidth=\"1920\" data-rawheight=\"998\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cul\u003E\u003Cli\u003E无条件稳定的离散格式, 通常取dt = 10CFL控制数也没问题, 取100倍也没事, 只是会损失精度.\u003C\u002Fli\u003E\u003Cli\u003E高阶高效的FLIP粒子advection求解, 采用RK3多步积分.\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-6a74c166ebb1a806a652f4adc059e6af.jpg\" data-caption=\"图片取自[1], 在旋度复杂的速度场下, 只有采用多步的RK3积分才可以尽可能的保持粒子的无散分布, 不出现聚拢或分散的现象.\" data-size=\"normal\" data-rawwidth=\"677\" data-rawheight=\"668\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cul\u003E\u003Cli\u003E稀疏, 动态的解算网格:\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-e1f8c6a886ecf6618e1ae4332aff3bcc.jpg\" data-caption=\"动态分配的方程域，左侧为当前时间步的流体形态，右侧为相对构造的有限体积网格示意，其中每一个格子代表了一个8x8x8的block，对于没有流体的空间，不存在任何内存分配。 此算例中的容器上不封顶，动态网格亦会无限升高。\" data-size=\"normal\" data-rawwidth=\"1854\" data-rawheight=\"818\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cul\u003E\u003Cli\u003E在动态网格的数据结构上实现了并行的高效的泊松方程解算算法AMGPCG, ~5 Million 未知量收敛到1e-5只需8次迭代（迭代次数与网格分辨率几乎无关， 更大的网格分辨率也只需8次）, 包括了多尺度网格的构造及解5M未知量的泊松方程共计15秒.\u003C\u002Fli\u003E\u003Cli\u003E采用了OpenVDB对得到的流体(粒子)形态进行mesh化, 以便于得到更高质量, 更佳内存占用的obj 网格.\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003ETo Do List\u003C\u002Fp\u003E\u003Cp\u003E目前为止只实现了最基本的SDF边界, 接下来希望使用VDB的 meshToLevelset来接管边界的生成, 那样的话就能直接读取动画数据了.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E和VDB连通后, 我跑了一个算例:\u003C\u002Fp\u003E\u003Cimg src=\"v2-79fe4c003c979086ba29f0779dd19c78.jpg\" data-caption=\"照这个算例的安排，横向上约会被分成400个网格。建模这块水体的粒子数有4000多万FLIP粒子， 我设定每个有限体积网格包含8个粒子，于是乎泊松方程的未知量约为5百万。\" data-size=\"normal\" data-rawwidth=\"1577\" data-rawheight=\"839\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E接下来是一些运行时间统计：\u003C\u002Fp\u003E\u003Cp\u003E整个算例共计消耗9G内存，每个时间步积分大致消耗 5 min， 这五分钟里， 泊松方程求解只占用了15~20秒（~5%）， 其余的时间包括了每个时间步的稀疏网格构建0.5min，FLIP粒子的advection 2 min， FLIP粒子和网格的交互操作，包括有限体积离散的水平级重建等约1.5min， 用于输出时候的VDB mesh重建约0.5 min\u003C\u002Fp\u003E\u003Cp\u003E因为我采用了自适应时间步长，所有有时候当运动速度过快了时候，最大允许的时间步长会降到 10*CFL 限制的时间 ~0.005 sec， 那样达到0.02秒的时间积分会采取四个子步骤，增加帧与帧间的耗时。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E前天算例跑完了， 今天终于有空来更新一下动画：\u003C\u002Fp\u003E\u003Cimg src=\"v2-4f883a6faccc48aeb1a01e1faae07a9b.gif\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"662\" data-rawheight=\"372\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\" data-thumbnail=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-4f883a6faccc48aeb1a01e1faae07a9b_b.jpg\"\u003E\u003Cp\u003E对OpenVDB的API的使用心得： OpenVDB做mesh的速度真的太快了！！！我自己的mesher要花十几二十分钟来mesh这么多粒子， vdb只需要30秒！此处贴上VDB部分的代码（我还没commit到git repo里去）：\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003E#include &lt;openvdb\\math\\Math.h&gt;\n#include &lt;openvdb\u002Fopenvdb.h&gt;\n#include &lt;openvdb\u002FExceptions.h&gt;\n#include &lt;openvdb\u002FTypes.h&gt;\n#include &lt;openvdb\u002Ftree\u002FLeafNode.h&gt;\n#include \"openvdb\u002Ftools\u002FParticlesToLevelSet.h\"\n#include \"openvdb\u002Ftools\u002FLevelSetFilter.h\"\n#include \"openvdb\u002Ftools\u002FVolumeToMesh.h\"\nclass MyParticleList\n{\nprotected:\n\tstruct MyParticle {\n\t\topenvdb::Vec3R p, v;\n\t\topenvdb::Real  r;\n\t\tMyParticle()\n\t\t{\n\t\t\tp = openvdb::Vec3R(0);\n\t\t\tv = openvdb::Vec3R(0);\n\t\t\tr = 0;\n\t\t}\n\t\tMyParticle(const MyParticle &amp;_p)\n\t\t{\n\t\t\tp = _p.p;\n\t\t\tv = _p.v;\n\t\t\tr = _p.r;\n\t\t}\n\t};\n\topenvdb::Real           mRadiusScale;\n\topenvdb::Real           mVelocityScale;\n\tstd::vector&lt;MyParticle&gt; mParticleList;\npublic:\n\n\ttypedef openvdb::Vec3R  value_type;\n\n\tMyParticleList(size_t size, openvdb::Real rScale = 1, openvdb::Real vScale = 1)\n\t\t: mRadiusScale(rScale), mVelocityScale(vScale) {\n\t\tmParticleList.resize(size);\n\t}\n\tMyParticleList(openvdb::Real rScale = 1, openvdb::Real vScale = 1)\n\t\t: mRadiusScale(rScale), mVelocityScale(vScale) {\n\t\tmParticleList.resize(0);\n\t}\n\tvoid free()\n\t{\n\t\tmParticleList.swap(std::vector&lt;MyParticle&gt;());\n\t}\n\tvoid set(int i, const openvdb::Vec3R &amp;p, const openvdb::Real &amp;r,\n\t\tconst openvdb::Vec3R &amp;v = openvdb::Vec3R(0, 0, 0))\n\t{\n\t\tMyParticle pa;\n\t\tpa.p = p;\n\t\tpa.r = r;\n\t\tpa.v = v;\n\t\tmParticleList[i] = pa;\n\t}\n\tvoid add(const openvdb::Vec3R &amp;p, const openvdb::Real &amp;r,\n\t\tconst openvdb::Vec3R &amp;v = openvdb::Vec3R(0, 0, 0))\n\t{\n\t\tMyParticle pa;\n\t\tpa.p = p;\n\t\tpa.r = r;\n\t\tpa.v = v;\n\t\tmParticleList.push_back(pa);\n\t}\n\t\u002F\u002F\u002F @return coordinate bbox in the space of the specified transfrom\n\topenvdb::CoordBBox getBBox(const openvdb::GridBase&amp; grid) {\n\t\topenvdb::CoordBBox bbox;\n\t\topenvdb::Coord &amp;min = bbox.min(), &amp;max = bbox.max();\n\t\topenvdb::Vec3R pos;\n\t\topenvdb::Real rad, invDx = 1.0 \u002F grid.voxelSize()[0];\n\t\tfor (size_t n = 0, e = this-&gt;size(); n&lt;e; ++n) {\n\t\t\tthis-&gt;getPosRad(n, pos, rad);\n\t\t\tconst openvdb::Vec3d xyz = grid.worldToIndex(pos);\n\t\t\tconst openvdb::Real   r = rad * invDx;\n\t\t\tfor (int i = 0; i&lt;3; ++i) {\n\t\t\t\tmin[i] = openvdb::math::Min(min[i], openvdb::math::Floor(xyz[i] - r));\n\t\t\t\tmax[i] = openvdb::math::Max(max[i], openvdb::math::Ceil(xyz[i] + r));\n\t\t\t}\n\t\t}\n\t\treturn bbox;\n\t}\n\t\u002F\u002Ftypedef int AttributeType;\n\t\u002F\u002F The methods below are only required for the unit-tests\n\topenvdb::Vec3R pos(int n)   const { return mParticleList[n].p; }\n\topenvdb::Vec3R vel(int n)   const { return mVelocityScale*mParticleList[n].v; }\n\topenvdb::Real radius(int n) const { return mRadiusScale*mParticleList[n].r; }\n\n\t\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\u002F\n\t\u002F\u002F\u002F The methods below are the only ones required by tools::ParticleToLevelSet\n\t\u002F\u002F\u002F @note We return by value since the radius and velocities are modified\n\t\u002F\u002F\u002F by the scaling factors! Also these methods are all assumed to\n\t\u002F\u002F\u002F be thread-safe.\n\n\t\u002F\u002F\u002F Return the total number of particles in list.\n\t\u002F\u002F\u002F  Always required!\n\tsize_t size() const { return mParticleList.size(); }\n\n\t\u002F\u002F\u002F Get the world space position of n'th particle.\n\t\u002F\u002F\u002F Required by ParticledToLevelSet::rasterizeSphere(*this,radius).\n\tvoid getPos(size_t n, openvdb::Vec3R&amp;pos) const { pos = mParticleList[n].p; }\n\n\n\tvoid getPosRad(size_t n, openvdb::Vec3R&amp; pos, openvdb::Real&amp; rad) const {\n\t\tpos = mParticleList[n].p;\n\t\trad = mRadiusScale*mParticleList[n].r;\n\t}\n\tvoid getPosRadVel(size_t n, openvdb::Vec3R&amp; pos, openvdb::Real&amp; rad, openvdb::Vec3R&amp; vel) const {\n\t\tpos = mParticleList[n].p;\n\t\trad = mRadiusScale*mParticleList[n].r;\n\t\tvel = mVelocityScale*mParticleList[n].v;\n\t}\n\t\u002F\u002F The method below is only required for attribute transfer\n\tvoid getAtt(size_t n, openvdb::Index32&amp; att) const { att = openvdb::Index32(n); }\n};\n\u002F\u002FVDB will take the particles from my simulation code and build a mesh from them.\nvoid export_VDB(string path, int frame, FluidSim &amp;_sim, double radius)\n{\n\tMyParticleList pa(_sim.particles.size(), 1, 1);\n\ttbb::parallel_for(0, (int)_sim.particles.size(), 1, [&amp;](int p)\n\t{\n\t\tVec3f pos = _sim.particles[p].pos;\n\t\tpa.set(p, openvdb::v3_0_0::Vec3R((double)(pos[0]), (double)(pos[1]), (double)(pos[2])), radius);\n\t});\n\tdouble voxelSize = radius \u002F 1.001*2.0 \u002F sqrt(3.0) \u002F 2.0, halfWidth = 2.0;\n\topenvdb::FloatGrid::Ptr ls = openvdb::createLevelSet&lt;openvdb::FloatGrid&gt;(voxelSize,halfWidth);\n\topenvdb::tools::ParticlesToLevelSet&lt;openvdb::FloatGrid,openvdb::Index32&gt; raster(*ls);\n\t\n\n\traster.setGrainSize(1);\u002F\u002Fa value of zero disables threading\n\traster.rasterizeSpheres(pa);\n\topenvdb::CoordBBox bbox = pa.getBBox(*ls);\n\tstd::cout &lt;&lt; bbox.min() &lt;&lt; std::endl;\n\tstd::cout &lt;&lt; bbox.max() &lt;&lt; std::endl;\n\traster.finalize(true);\n\n\tstd::vector&lt;openvdb::Vec3s&gt; points; \n\tstd::vector&lt;openvdb::Vec4I&gt; quads;\n\tstd::vector&lt;openvdb::Vec3I&gt; triangles;\n\n\topenvdb::tools::volumeToMesh(*ls, points, triangles, quads, 0.0, 0.5);\n\tprintf(\"meshing done\\n\");\n\n\tostringstream strout;\n\tstrout &lt;&lt; path &lt;&lt; \"liquidmesh_\"&lt;&lt; setfill('0') &lt;&lt; setw(5) &lt;&lt; frame &lt;&lt; \".obj\";\n\n\tstring filepath = strout.str();\n\n\tofstream outfile(filepath.c_str());\n\n\t\u002F\u002Fwrite vertices\n\tfor (unsigned int i = 0; i &lt; points.size(); ++i)\n\t\toutfile &lt;&lt; \"v\" &lt;&lt; \" \" &lt;&lt; points[i][0] &lt;&lt; \" \" &lt;&lt; points[i][1] &lt;&lt; \" \" &lt;&lt; points[i][2] &lt;&lt; std::endl;\n\t\u002F\u002Fwrite quad face\n\tfor (unsigned int i = 0; i &lt; quads.size(); ++i)\n\t\toutfile &lt;&lt; \"f\" &lt;&lt; \" \" &lt;&lt; quads[i][0] + 1 &lt;&lt; \" \" &lt;&lt; quads[i][1] + 1 &lt;&lt; \" \" &lt;&lt; quads[i][2] + 1 &lt;&lt; \" \" &lt;&lt; quads[i][3] + 1 &lt;&lt; std::endl;\n\t\u002F\u002Fwrite triangle faces\n\tfor (unsigned int i = 0; i &lt; triangles.size(); ++i)\n\t\toutfile &lt;&lt; \"f\" &lt;&lt; \" \" &lt;&lt; triangles[i][0] + 1 &lt;&lt; \" \" &lt;&lt; triangles[i][1] + 1 &lt;&lt; \" \" &lt;&lt; triangles[i][2] + 1 &lt;&lt; std::endl;\n\toutfile.close();\n\tpoints.swap(std::vector&lt;openvdb::Vec3s&gt;());\n\tquads.swap(std::vector&lt;openvdb::Vec4I&gt;());\n\ttriangles.swap(std::vector&lt;openvdb::Vec3I&gt;());\n}\u003C\u002Fcode\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E参考\u003C\u002Fp\u003E\u003Cp\u003E[1] Detailed Water with Coarse GridsCombining Surface Meshes and Adaptive Discontinuous Galerkin. SIGGRAPH 2014.\u003C\u002Fp\u003E\u003Cp\u003E[2] Resolving Fluid Boundary Layers with Particle Strength Exchange and Weak Adaptivity SIGGRAPH 2016\u003C\u002Fp\u003E\u003Cp\u003E[3] \u003Ca href=\"http:\u002F\u002Fwww.openvdb.org\u002F\"\u003EOpenVDB\u003C\u002Fa\u003E. \u003C\u002Fp\u003E","updated":new Date("2018-04-07T03:04:51.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":28,"likeCount":79,"state":"published","isLiked":false,"slug":"35372344","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2018-04-07T11:04:51+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F35372344\u002Fcomments"},"url":"\u002Fp\u002F35372344","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-02119bd85a56e0e51410a37c8ae454a5_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F35372344","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":28,"likesCount":79},"35390336":{"title":"SIGCourse：Dynamic Registration","author":"zhang-yuan-19","content":"\u003Cp\u003ESIGGRAPH Course是很好的学习材料，不少研究者会把自己的研究总结成Notes，在阅读这些材料的过程中，可以很清晰地看到研究者们的脉路。在本文中，我简要介绍了\u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpublications.php\"\u003EModern Techniques and Applications for Real-Time Non-rigid Registration\u003C\u002Fa\u003E里的内容，这部分notes发表在SIGGRAPH Asia Course 2016上，在这部分材料中，可以看到，Mark Pauly、Andrea Tagliasacchi，Hao Li、Sofien Bouaziz等人，是如何将ICP算法泛化到各种类型物体上，做了工程化的实现，使之可以实时运行，并最终推入了我们的日常生活（在\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F29669568\"\u003E果壳中的宇宙\u003C\u002Fa\u003E中，我们介绍了这些工作在iPhone X上的应用）。\u003C\u002Fp\u003E\u003Ch2\u003ERegistration定义\u003C\u002Fh2\u003E\u003Cp\u003ERegistration的中文翻译是注册或者配准，什么是registration，为什么需要registration呢？\u003Cbr\u003E广义上的Registration指的是将一对数据进行配准。我们可以举一个现实生活中的例子，假设我们希望将一个现实中的物体，转成计算机可以存储的三维格式，我们可以用各种设备采集物体信息，比如相机、深度相机、3D扫描仪等等。但是由于传感器中可能存在的噪声、采集场景的光照条件和用户交互的问题，采集到的数据质量总是不完美的：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-1e671deeb3cce988b2e694f1dba5c896.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"823\" data-rawheight=\"397\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E如何从糟糕的采集数据中，重建出较为可靠的3D数据呢？自然而然的想法是，将一个高质量的template模型变形，直到和采集数据相拟合，随后就认为该变形后的模型对应了采集数据。比如registration在人脸中的应用：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-ff2dd8c9dbfb29bb3abef90643c19d06.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"910\" data-rawheight=\"207\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E根据上述的描述，问题随之而来：\u003Cbr\u003E1、如何衡量变形后的模型和原模型之间的拟合程度呢？\u003Cbr\u003E2、哪些变形可以作用在物体上呢？\u003C\u002Fp\u003E\u003Cp\u003E以上两个问题引出了如下的能量函数定义：\u003C\u002Fp\u003E\u003Cimg src=\"v2-c33083caa14f4ac0ad562ded19d86d08.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"839\" data-rawheight=\"258\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于第一个问题，我们需要衡量template和采集数据之间的距离。\u003C\u002Fp\u003E\u003Cimg src=\"v2-674c1e4b07894b06a8538cc93f3ec9df.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"831\" data-rawheight=\"432\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于第二个问题，我们首先需要讨论一下三维物体类型，不同类型的三维物体所允许的变形方式是不同的。三维物体的类型包括：刚体（整体刚性旋转）、局部刚体（局部刚性旋转）、流体，以及人脸、人手、人体这种变形情况比较复杂的物体（局部刚性旋转和非刚体变形）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-1ac0217e1094e794e566432db6304c12.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"957\" data-rawheight=\"436\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003ERigid Registration\u003C\u002Fh2\u003E\u003Cp\u003E让我们从最简单的刚体配准谈起，刚体就是只能全局旋转平移的物体，我们的目标就是求解两个刚体之间的旋转矩阵和平移向量：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-d24bab33a89b0ff80644ebdba992ee36.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"372\" data-rawheight=\"93\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E刚体配准可以使用经典的ICP算法（Iterative Closest Point 迭代最近邻算法）直接求解。这里主要分为两种情况：\u003Cbr\u003E1、已知两个刚体之间对应点的关系，那么可以直接通过SVD分解求得最优旋转矩阵和平移向量，不需要迭代，具体推导过程见\u003Ca href=\"https:\u002F\u002Figl.ethz.ch\u002Fprojects\u002FARAP\u002Fsvd_rot.pdf\"\u003ELeast-Squares Rigid Motion Using SVD\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6bc2c8235d6ba2d8f2be53ce9cbe6984.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"481\" data-rawheight=\"220\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E2、未知两个刚体之间对应点的关系，就需要通过最近邻搜索，确定两个模型之间的对应点（这种对应可能是错的），随后求解旋转矩阵和平移向量，迭代这个过程，直到收敛，当然不一定收敛到最小值。\u003C\u002Fp\u003E\u003Cimg src=\"v2-79e84a7b918add710afb4cf889dcae58.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1000\" data-rawheight=\"428\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EICP算法和EM算法\u003C\u002Fh2\u003E\u003Cp\u003E看到上述ICP算法的描述，我可以联想到一个很相似的算法：K-Means算法，因为K-Means算法也是寻找最近邻点，也是迭代求解，我们知道，K-Means是EM算法的一个特殊形式，那么，ICP算法是EM算法的特殊形式么？答案是肯定的，\u003Ca href=\"http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.18.5106&amp;rep=rep1&amp;type=pdf\"\u003E证明在此\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Ch2\u003E时间瓶颈\u003C\u002Fh2\u003E\u003Cp\u003E那么上述ICP算法的时间瓶颈在哪里呢？对于已知对应点的情况，主要是SVD分解的速度，对于未知对应点的情况，还包括以下两点：\u003Cbr\u003E1、求解最近邻点；\u003Cbr\u003E2、收敛速度（或者是迭代次数）；\u003C\u002Fp\u003E\u003Cp\u003E如何快速求解最近邻点呢？我们既可以构造数据结构来查询精确的对应关系，比如：kd-tree和octree，也可以通过ray casting算法近似求解。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0f71bb2ef5ac39f4f34dc904b7d3f7e3.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"789\" data-rawheight=\"308\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如何提高收敛速度呢？\u003Ca href=\"http:\u002F\u002Fgraphics.stanford.edu\u002Fpapers\u002Ffasticp\u002Ffasticp_paper.pdf\"\u003E之前的工作\u003C\u002Fa\u003E说明，在能量函数中，保留point-to-point的同时引入point-to-plane，能够提高收敛速度。\u003C\u002Fp\u003E\u003Cimg src=\"v2-f1dac519c945e1b7f8efbbbb4747372e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"889\" data-rawheight=\"330\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003ENon-rigid Registration\u003C\u002Fh2\u003E\u003Cp\u003E上述ICP算法解决了刚体配准的问题，那么对于我们前面提到的其他类别的物体，又该如何解决呢？\u003Cbr\u003E对于刚体来说，变形方式是旋转和平移。对于局部刚体来说，变形方式是局部旋转。对于人脸、人手、人体这类物体，它们的变形既包括了刚体变形（不同pose引起的局部旋转平移），又包括了非刚体变形（比如不同shape导致的胖瘦高矮等）。因此刚体配准和非刚体配准的区别在于变形方式不同，相比于刚体的旋转和平移，非刚体的变形情况更加复杂。\u003Cbr\u003E从能量项的角度来看（在这里暂时只考虑point-to-point，Z为变形后的template，Y为待配准数据）:\u003C\u002Fp\u003E\u003Cimg src=\"v2-bd3ebfc07876b015df2e751054f485f0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"890\" data-rawheight=\"245\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003Ematch能量并没有体现变形方式的区别，因此针对不同类型的物体，我们需要引入不同的prior能量来体现不同的变形方式。\u003Cbr\u003E对于刚体来说，原template和变形后的template之间的关系应当为旋转和平移：\u003C\u002Fp\u003E\u003Cimg src=\"v2-fe821a7a2efbc6eadb3381080042edf4.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"763\" data-rawheight=\"365\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E对于局部刚体来说，原template和变形后的template之间，局部点集应当共享同一个旋转矩阵：\u003C\u002Fp\u003E\u003Cimg src=\"v2-0f96a8f41570d1965674c0ccba36a495.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"906\" data-rawheight=\"330\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E对于人脸来说，我们可以用一组表情基来表示人脸上的非刚体变形：\u003C\u002Fp\u003E\u003Cimg src=\"v2-87223917b2110a325689d0c20aed90d2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"795\" data-rawheight=\"256\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E针对不同的变形任务，可以设计不同的prior能量。在对上述match能量和prior能量做了定义之后，我们就可以求解这个非线性问题了。由于match能量中仍然需要求解最近邻点，因此整个算法和ICP算法一样，依旧是迭代算法。首先确定最近邻点，随后使用优化方法（高斯牛顿法）优化整个能量函数。当然为了提高运行速度，我们要把可以并行的部分搬到GPU上去运行，比如求取最近邻点等操作。\u003C\u002Fp\u003E\u003Cp\u003E那么registration有哪些应用场景呢？以人脸为例，在求解得到人脸配准模型之后，就可以做\u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpdf\u002FRPBFA_SIGG11.pdf\"\u003EFacial Animation\u003C\u002Fa\u003E和\u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpdf\u002FSSGPLVM_EPFL14.pdf\"\u003EFacial Animation Retrageting\u003C\u002Fa\u003E这类有趣的事情了！\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-94f4f19ebc04fa7aa42b3bdcd209a9bc.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"694\" data-rawheight=\"282\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E结语\u003C\u002Fh2\u003E\u003Cp\u003E在上文中，我简单介绍了Registration，真正要做成可实用的技术，仍然需要大量的细节：\u003Cbr\u003E1、match能量不仅仅只有point-to-point和point-to-plane，比如在\u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpdf\u002FHandTracking_SGP15.pdf\"\u003ERobust Articulated-ICP for Real-Time Hand Tracking\u003C\u002Fa\u003E中，我们可以看到silhouette能量的引入可以解决self-occlusions问题；\u003Cbr\u003E2、针对不同类型的物体，prior能量是不同的，只引入一种prior能量，实际效果可能并不理想，因此针对一些bad cases，还需要引入更多的人类先验知识到prior能量中，比如在\u003Ca href=\"http:\u002F\u002Fsofienbouaziz.com\u002Fpdf\u002FHandTracking_SGP15.pdf\"\u003ERobust Articulated-ICP for Real-Time Hand Tracking\u003C\u002Fa\u003E中，我们可以看到作者引入了Kinematic prior来解决self-intersections问题；\u003Cbr\u003E3、我们需要更加精细地描述物体，\u003Ca href=\"http:\u002F\u002Fpinscreen.com\u002F\"\u003Epinscreen\u003C\u002Fa\u003E在人脸的基础上提供了头发模型，\u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fpublications\u002Fembodiedhands\"\u003EEmbodied Hands: Modeling and Capturing Hands and Bodies Together\u003C\u002Fa\u003E统一了人手和人体。\u003Cbr\u003E4、移动平台上RGB相机仍然是主流，能不能只用RGB相机就完成registration呢？之前的\u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fpublications\u002Fbogo-eccv-2016\"\u003EKeep it SMPL\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fpublications\u002Fkanazawa-cvpr-2018\"\u003EEnd-to-end Recovery of Human Shape and Pose\u003C\u002Fa\u003E给出了不错的方向。\u003C\u002Fp\u003E\u003Cp\u003E最后，周昆教授提出了\u003Ca href=\"http:\u002F\u002Fwww.sohu.com\u002Fa\u002F119043643_114877\"\u003E计算机图形学技术2.0的概念\u003C\u002Fa\u003E，之前的图形学更关注较为理想环境下的特效技术，比如摄影棚里有绿幕、marker点和可控的光照条件。而随着移动平台的兴起，创作者们的场景也越来越不可控，因此当下的图形学更关注在不受限的环境下，如何使用算法达到较好的特效。\u003C\u002Fp\u003E\u003Ch2\u003E参考文献\u003C\u002Fh2\u003E\u003Cp\u003E1、Sofien Bouaziz, Andrea Tagliasacchi, Hao Li, Mark Pauly. Modern Techniques and Applications for Real-Time Non-rigid Registration.\u003Cbr\u003E2、Andrea Tagliasacchi, Matthias Schröder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, Mark Pauly. Robust Articulated-ICP for Real-Time Hand Tracking.\u003Cbr\u003E3、Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, Michael J. Black. Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image.\u003Cbr\u003E4、Sofien Bouaziz, Andrea Tagliasacchi, Mark Pauly. Dynamic 2D\u002F3D Registration.\u003C\u002Fp\u003E","updated":new Date("2018-04-07T13:43:23.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":66,"state":"published","isLiked":false,"slug":"35390336","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2018-04-07T21:43:23+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F35390336\u002Fcomments"},"url":"\u002Fp\u002F35390336","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-fe1a017fcdcad97009826c868e9d7601_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F35390336","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":66}},"User":{"minchen.li":{"isFollowed":false,"name":"李旻辰","headline":"喜欢有数学贡献的应用型科研。\nhttp:\u002F\u002Fwww.cs.ubc.ca\u002F~minchenl","avatarUrl":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-8519dc79840e67eec65c914e72e86ab9_s.jpg","isFollowing":false,"type":"people","slug":"minchen.li","bio":"UBC CS MSc，关注几何优化与数值模拟","hash":"9f3ee58deeb19551bd92d9591e4503d7","uid":44481952874496,"isOrg":false,"description":"喜欢有数学贡献的应用型科研。\nhttp:\u002F\u002Fwww.cs.ubc.ca\u002F~minchenl","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fminchen.li","avatar":{"id":"v2-8519dc79840e67eec65c914e72e86ab9","template":"https:\u002F\u002Fpic4.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"zhang-yuan-19":{"isFollowed":false,"name":"张远","headline":"玄学调参 科学算命","avatarUrl":"https:\u002F\u002Fpic3.zhimg.com\u002Fb19cbaf9b21dcc1f19bee3cdc303fc66_s.jpg","isFollowing":false,"type":"people","slug":"zhang-yuan-19","bio":"研究电影技术的程序员","hash":"dfe7d0f3baa8a5f99802c5f0facc03e0","uid":32084781432832,"isOrg":false,"description":"玄学调参 科学算命","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhang-yuan-19","avatar":{"id":"b19cbaf9b21dcc1f19bee3cdc303fc66","template":"https:\u002F\u002Fpic3.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"zhang-xin-xin-92-11":{"isFollowed":false,"name":"张心欣","headline":"我研究物理和数学, 寻求这些领域中计算难度最高的问题的最好的答案, 目的就是为了能让人们在计算机上更好地重现大自然的美. www.cs.ubc.ca\u002F~zhxx","avatarUrl":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-6325df1239059afe8e7514b7fa6b5d5c_s.jpg","isFollowing":false,"type":"people","slug":"zhang-xin-xin-92-11","bio":"www.cs.ubc.ca\u002F~zhxx","hash":"9d0cd62f9071c2b003b2ef7b017fb7f5","uid":37681509695488,"isOrg":false,"description":"我研究物理和数学, 寻求这些领域中计算难度最高的问题的最好的答案, 目的就是为了能让人们在计算机上更好地重现大自然的美. www.cs.ubc.ca\u002F~zhxx","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhang-xin-xin-92-11","avatar":{"id":"v2-6325df1239059afe8e7514b7fa6b5d5c","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"lin-lin-83-12":{"isFollowed":false,"name":"林麟","headline":"","avatarUrl":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-43e5f9279bc30aa3cb7800e083cf772e_s.jpg","isFollowing":false,"type":"people","slug":"lin-lin-83-12","bio":"计算机图形学","hash":"fcb58eb5c6063d2ae841641c86b7a00b","uid":72588587958272,"isOrg":false,"description":"","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Flin-lin-83-12","avatar":{"id":"v2-43e5f9279bc30aa3cb7800e083cf772e","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"charlie-45":{"isFollowed":false,"name":"Charlie","headline":"","avatarUrl":"https:\u002F\u002Fpic1.zhimg.com\u002F4868a676b_s.jpg","isFollowing":false,"type":"people","slug":"charlie-45","bio":"","hash":"cbf337b39b7d671527ecb52438f2bfea","uid":28438731685888,"isOrg":false,"description":"","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fcharlie-45","avatar":{"id":"4868a676b","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"ycz-19":{"isFollowed":false,"name":"ycz","headline":"有空\n寫寫計算機圖形學有關的文章\n對虛幻系列引擎懂一點點皮毛\n鄙人的\n知乎不太正常\n慎重關注\n鄙人也不曾有公眾號\n也不打算收费什么的\n点赞就好\n\n（自從我發現知乎會把我看過的文章推送到你們面前之後我就克制了許多(⺣◡⺣)♡）\n既然點了關注\n就一直關注下去喔  (๑•̀ω•́ ๑) 筆芯","avatarUrl":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-b0cf850de6c5ff45ba1f73f77d0065cb_s.jpg","isFollowing":false,"type":"people","slug":"ycz-19","bio":"计算机图形学爱好者","hash":"6ed2e794a35b5779bdeb54699a4d2d3a","uid":669323577845878800,"isOrg":false,"description":"有空\n寫寫計算機圖形學有關的文章\n對虛幻系列引擎懂一點點皮毛\n鄙人的\n知乎不太正常\n慎重關注\n鄙人也不曾有公眾號\n也不打算收费什么的\n点赞就好\n\n（自從我發現知乎會把我看過的文章推送到你們面前之後我就克制了許多(⺣◡⺣)♡）\n既然點了關注\n就一直關注下去喔  (๑•̀ω•́ ๑) 筆芯","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fycz-19","avatar":{"id":"v2-b0cf850de6c5ff45ba1f73f77d0065cb","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"origamidance":{"isFollowed":false,"name":"origami dance","headline":"把科研当儿戏","avatarUrl":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-0e9af09cc354afbde7dba8aafd1684b1_s.jpg","isFollowing":false,"type":"people","slug":"origamidance","bio":"siggrapher，GitHub驾驶员","hash":"124c6b0ebea66fa33790b08785bc28e3","uid":28933714083840,"isOrg":false,"description":"把科研当儿戏","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Forigamidance","avatar":{"id":"v2-0e9af09cc354afbde7dba8aafd1684b1","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"geekplux":{"isFollowed":false,"name":"GeekPlux","headline":"My brain has two parts: left &amp; right. My left brain has nothing right, my right brain has nothing left.Blog:  http:\u002F\u002Fgeekplux.com\u002F Telegram Channel: https:\u002F\u002Ft.me\u002Fgeekplux_lab","avatarUrl":"https:\u002F\u002Fpic4.zhimg.com\u002F18e221475567cf97e4e5078a3b663157_s.jpg","isFollowing":false,"type":"people","slug":"geekplux","bio":"http:\u002F\u002Fgeekplux.com","hash":"08e8b5ac3f34f4828123ae81344df56d","uid":27811716792320,"isOrg":false,"description":"My brain has two parts: left &amp; right. My left brain has nothing right, my right brain has nothing left.Blog:  http:\u002F\u002Fgeekplux.com\u002F Telegram Channel: https:\u002F\u002Ft.me\u002Fgeekplux_lab","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fgeekplux","avatar":{"id":"18e221475567cf97e4e5078a3b663157","template":"https:\u002F\u002Fpic4.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"Raymond-fei":{"isFollowed":false,"name":"Raymond Fei","headline":"http:\u002F\u002Fyunfei.work","avatarUrl":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-1c4b0a21927ebbe19aa286e2aa53bcad_s.jpg","isFollowing":false,"type":"people","slug":"Raymond-fei","bio":"物理模拟 \u002F 视觉特效／计算机图形学 \u002F 程序员","hash":"ecf74d1b95762c56eebfe55935655e26","uid":29335964614656,"isOrg":false,"description":"http:\u002F\u002Fyunfei.work","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002FRaymond-fei","avatar":{"id":"v2-1c4b0a21927ebbe19aa286e2aa53bcad","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false}},"Comment":{},"favlists":{}},"me":{},"global":{"experimentFeatures":{"ge3":"ge3_9","ge2":"ge2_1","androidPassThroughPush":"all","sEI":"c","nwebQAGrowth":"experiment","qawebRelatedReadingsContentControl":"close","liveStore":"ls_a2_b2_c1_f2","nwebSearch":"nweb_search_heifetz","newSignBg":"new","rt":"y","isOffice":"false","enableTtsPlay":"post","newLiveFeedMediacard":"new","newMobileAppHeader":"true","growthSearch":"s2","hybridZhmoreVideo":"yes","nwebGrowthPeople":"default","nwebSearchSuggest":"default","qrcodeLogin":"qrcode","enableVoteDownReasonMenu":"enable","isShowUnicomFreeEntry":"unicom_free_entry_off","growthBanner":"default","newMobileColumnAppheader":"new_header","androidDbRecommendAction":"open","zcmLighting":"zcm","androidDbFeedHashTagStyle":"button","appStoreRateDialog":"close","mobileFeedGuide":"block","default":"None","isNewNotiPanel":"no","adR":"b","wechatShareModal":"wechat_share_modal_show","uRe":"1","androidProfilePanel":"panel_b"}},"columns":{"next":{},"graphicon":{"pins":["31715910"],"followersCount":5168,"creator":{"bio":"siggrapher，GitHub驾驶员","isFollowing":false,"hash":"124c6b0ebea66fa33790b08785bc28e3","uid":28933714083840,"isOrg":false,"slug":"origamidance","isFollowed":false,"description":"把科研当儿戏","name":"origami dance","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Forigamidance","avatar":{"id":"v2-0e9af09cc354afbde7dba8aafd1684b1","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19613730","id":"19613730","name":"计算机图形学"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19827591","id":"19827591","name":"计算机图形学和可视化"}],"activateState":"activated","href":"\u002Fapi\u002Fcolumns\u002Fgraphicon","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":40,"id":21222,"name":"计算机图形学"},{"postsCount":7,"id":7398,"name":"计算流体力学（CFD）"},{"postsCount":6,"id":81774,"name":"数值模拟"},{"postsCount":4,"id":26827,"name":"3D 建模"},{"postsCount":4,"id":26047,"name":"SIGGRAPH"},{"postsCount":4,"id":8429,"name":"渲染"},{"postsCount":4,"id":94581,"name":"计算机图形学和可视化"},{"postsCount":4,"id":28937,"name":"电影特效"},{"postsCount":3,"id":169445,"name":"Unreal Engine 4"},{"postsCount":3,"id":93471,"name":"虚幻引擎"},{"postsCount":3,"id":17426,"name":"凸优化"},{"postsCount":2,"id":30711,"name":"服装设计"},{"postsCount":2,"id":97513,"name":"视错觉"},{"postsCount":2,"id":184639,"name":"iPhone X"},{"postsCount":2,"id":350,"name":"人工智能"},{"postsCount":2,"id":10033,"name":"计算机科学"},{"postsCount":2,"id":27667,"name":"3D 打印"},{"postsCount":2,"id":184719,"name":"Face ID"},{"postsCount":2,"id":14441,"name":"数据可视化"},{"postsCount":2,"id":2965,"name":"CAD"},{"postsCount":2,"id":3433,"name":"流体力学"},{"postsCount":1,"id":2232,"name":"科研"},{"postsCount":1,"id":128,"name":"动画"},{"postsCount":1,"id":13303,"name":"计算机视觉"},{"postsCount":1,"id":7292,"name":"文本数据分析"},{"postsCount":1,"id":5179,"name":"文本挖掘"},{"postsCount":1,"id":34935,"name":"光场相机"},{"postsCount":1,"id":35046,"name":"信息可视化"},{"postsCount":1,"id":43724,"name":"网络课程"},{"postsCount":1,"id":2253,"name":"物理学"},{"postsCount":1,"id":89794,"name":"深度学习（Deep Learning）"},{"postsCount":1,"id":13883,"name":"Microsoft Visual Studio"},{"postsCount":1,"id":93527,"name":"4D 打印"},{"postsCount":1,"id":2056,"name":"开放课程"},{"postsCount":1,"id":1103,"name":"数据挖掘"},{"postsCount":1,"id":162939,"name":"TensorFlow"},{"postsCount":1,"id":169094,"name":"VR 影片"},{"postsCount":1,"id":1099,"name":"人机交互"},{"postsCount":1,"id":169888,"name":"虚幻 4（游戏引擎）"},{"postsCount":1,"id":174374,"name":"光线跟踪"},{"postsCount":1,"id":253,"name":"游戏"},{"postsCount":1,"id":53,"name":"书籍推荐"}],"pendingName":"","avatar":{"id":"v2-bd29a35ae7058eee45846c94d29cbf1f","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"canManage":false,"description":"","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"graphicon","name":"GraphiCon图形控","url":"\u002Fgraphicon","intro":"有趣的图形学","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":44,"canPost":false,"FULLINFO":true}},"columnPosts":{"graphicon":{"entity":["31715910","35390336","35372344","35067260","33865743","33614512","30965016","29413795","29214784","29620024","29669568","29626130","29353194","29029860","28014177","27852081","27449788","27349808","27419782","27339811"],"next":{"rel":"next","href":"\u002Fapi\u002Fcolumns\u002Fgraphicon\u002Fposts?limit=20&offset=20","query":{"limit":"20","offset":"20"}}}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldSetPoster":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"updating":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"edition":{"baidu":false,"yidianzixun":false,"qqnews":false},"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false,"userAgent":{"ua":"CCBot\u002F2.0 (http:\u002F\u002Fcommoncrawl.org\u002Ffaq\u002F)","browser":{},"engine":{},"os":{},"device":{},"cpu":{}}},"message":{"newCount":0},"pushNotification":{"newCount":0}}