iPhoneX正式告诉我们,手机和相机开始分道扬镳

平时对苹果的摄像功能总是表示淡定,因为底大一级压死人,它能做的,相机凭什么不能做得更好?


但今天无意瞄到iPhoneX的新特性Portrait lighting时,我心脏骤停了一瞬——我仿佛听到它用一种颇具说服力的姿态告诉我们:手机的摄像头不再是相机的附庸。

借助点阵结构光,未来的iPhone得以拍照同时获取人脸3D信息。未来Portrait light借助对人脸结构的渲染,完全可以获得精修级的自拍效果。

这是个有趣的未来。从前它能的相机也能。未来它能的,相机或许却不能。

一言以蔽之:多了一个维度的信息,产生高维碾压。


Portrait lighting中文名叫“人像光效”,听起来就像美图秀秀里的”一键美白“:

官方海报

它的作用是给你“打光”——假装你处在不同布光的环境下,对应不同的布光环境。

若真当它是美图秀秀或者某种滤镜,你根本无法意识到它会产生多大的威力。它目前还是beta版,我今天说的,是它四五年后的一点小小可能。本文谈的,是它结构光带来的新未来。


不妨先问一句,游戏里的人物何能渲染得如此精细?——因为有恰当设置的光源和设计员手捏的三维模型,配合渲染即可完成。

而结构光硬件正是能在拍摄同时提供一个全自动的人脸模型。未来的Portrait light只要虚拟一套光源,再从照片提取材质,也能渲染得非常完美。

在未来,你完全可以随意拍摄一张自拍,然后拖出“经典三盏灯”,把自己照得跟蒙娜丽莎一样古典,发给男神:


然后转头换出一盏底灯,同样的照片,却是这样发给胆小的闺蜜。

来源见水印


在未来,你修自拍时,首先做的不是瘦脸磨皮,而是仔仔细细调节手机里虚拟灯光的参数,免得被人说不够网红。

利用它,直播er还能实时后期,效果极其自然,再也不怕见光死。


至于画质?对自拍狂而言,光线好的才叫画质,不好的统统都是闭路电视。


回到Portrait lighting,它的实现原理特别明确:

1、构筑你脸部的3D模型,得到脸部信息。

2、套用预设,模拟打光。

(注: 当前依旧是基于神经网络)


基于此,光线的模拟对自拍的提升几乎是工业革命般的,甚至能将近景的广角提升到专业摄影都不能望其项背的程度。

对于任何猝不及防的“人像摄影师”而言,都必会震撼于这个新生儿前途无限的未来。而如果他们还能联想到一点人工智能的伟力,他们一定会肃穆,敬畏,乃至恐惧。


一、


不知者无畏,若想一窥摄影师这种恐惧,需要从传统棚拍这件事情说起。


棚拍是自拍的极致——灯光师给你布置最佳的光源,去掉干扰物,构成不再业余的照片。


棚拍和日常拍无非光线的区别而已。对人像而言,摄影棚下的光线都是为了更强地塑造模特的面容而存在的,与日常唯一的不同在于它的每一根光线都是带着目的你的下巴会更瘦削,鼻梁会更加高耸,双颊细腻的影子有着迷人的过渡。

拍摄后,在后期处理中调整不够整齐的光线:

美丑之间只是光线的区别而已,这些对光线的改动形成了调整层,让图片看起来更加均匀,可以灰色图片的形式记录:(灰色对应无改、深色对应变暗、亮色的部位变亮↓)


这个增减光线的过程非常耗费时间——甚至可能持续24个小时。还需修图师对妆面和灯光效果能充分理解。

在后期工作时,你必会需要弥补人脸的种种不足——比如下图,为了弥补姑娘过宽的面颊,将箭头处光线减弱,营造出影子(此处并非液化)。


(图片仅作案例,转载请打钱。 @三月你不语

后期整理结束,摄影师的主干工作就算完成了。


二、摄影师的作用


我们再一琢磨,哟,这个给我拍照的师傅最大的功能无非就是排个光罢嘛:

——前期摆灯看起来高大上,目的是为了脸上的光;

——后面PS看起来费力,目的还是为了脸上的光。

比如上图脸颊的宽度,模特的皮肤的整齐度,实际上仅仅是光线的区别——过暗的地方如唇部要补光,过亮的地方减光。

既然只需增减,为何不能让电脑一步调整到位呢?


因为电脑只看到你的平面图——它不知道你鼻子多高眼睛多深,自然也不知道该怎么给你打光。如果它看到的是立体的,自然就知道了。


现在,新iPhone就知道了



我们会发现,摄影师除了打出“真实灯光”和“审美思考"之外,剩下的工作已经可以被手机接管了。手机终于知道你的眉眼多深,自然能帮你完成大体的调整工作。


这种因为智能产生的接管,在我看来正是传统摄影和手机自拍之间真正开始产生区分度的地方。


专业拍脸的核心流程无非如此:

1、肉眼识别,得到脸部信息(深浅)。

2、经过师傅的思考,用灯光打光,再用PS对瑕疵模拟打光。

将其与Portrait lighting的流程进行一番比较,会发现流程核心一致:


——过往无论”柔光双摄“还是”美颜神器“,无非是后期流程的粗糙归纳。传统自拍中,因为计算机无法感知立体信息,精细活需要手工处理。而现在计算机感知到了,便自然地将计算机澎湃的生产力正式引入手动工序——这正是工业革命的熟悉的套路。


这样的改变对整个手机的影响仅次于电容屏的出现,本文仅谈论自和摄影层面:手机现在能干相机不能干的事情了。


如果过往手机摄影和相机摄影的关系是这样的话:


那么今晚的iPhone,成功地将他们之间的关系稍微移动了一点点。



然而这样的一点是多么颠覆,多么具有开创性,是突破了”手机能干的事情小相机也能干“的魔咒的一点。

现在新的传感器已经能直接获得脸部的立体造型了,便能粗糙取代修图师手动的加深减淡,我们要做的,就是调整自己喜欢的光线,无论美食还是微距还是自拍,我们都能像拿手电筒打光那么简单地照射出好的效果!!


理论上,我们能想象到的任何光线,都能在iPhone上转眼得到实现!


三、


当然,有人肯定嗤之以鼻,会认为前期布光是无法代替的。

然而前期布光当然可以代替啊,不然3D动画怎么来的?只是精度问题罢了。

举个例子,如果我把下图这张jpg发给修图师,为了提升此时的光影,对方需要用PS一点点修饰明暗。

但如果由我发了原3D文件给他,他只调整模拟灯光的位置,便能得到远超之前修图师的理想的效果。这就是布光可被取代理由,有深度信息,就可以计算。


(上图并非实拍


它就像像一个在灯光和光影之间的函数,代入左边,就能得到右边。


综上,新的iPhone却在自拍时保存了三维的”模型“信息,那么只要IOS允许,自然就能随意打光。而且远比人工来得自然。(←此处留个喷点)


一次不太成功的人肉补光


硬件基础

新的机器并非双摄那种简单的深度感知,而是精细的结构光和点投影。

左侧红外结构光,获取相位信息,右侧点投影,获取更加精细的信息。


过往双摄的概念出来时,更大的意义还是通过双CMOS得到5倍的进光量,从而提升信噪比,而非3d的深度感知。

因为双摄这个结构本身就不够精确。以环境感知独步天下的大疆为例,目前凭双摄也只能在10米距离上分辨1m的阻碍,*而苹果的点投影如果能投上10m,60°的视角下,它能分辨出0.06m的障碍*(仅以点数和60°视角估算)。


这种精度,相当于对你的皮肤都有了一次比人眼还密集的立体结构普查,能精确到每一块肌肉。



当iPhone能get到脸部信息并套用经典灯光设计时,任何拿相机自拍的人也不敢说一定拍得比手机拍好了。因为毫无疑问,根据脸部3D信息,随时可以布出一片影棚级的专业光线——而拿相机的摄影师如果靠普通的光线,何来可比性?


而且1这个基础上,通过对比对应图像,相机完全能察觉出哪些不均匀是肤色导致的,哪些不均匀是凹凸导致的。这相当于把脸部分了一个层,比如黑眼圈单独一层,要去除只需删掉即可。


遍览我们用过的相机,下到RX100上到H5D,都无法获取脸部的3D信息。因为单个镜头注定只能拍摄到平面而非立体,在后面的修光时,我们对脸庞信息的获取完全来自于我们个人的经验。这就是标题中指代的“分道扬镳”的地方。


当然,这一切离理想还很遥远,却顶多就在五六年间。或许到时候女朋友一句抱怨”拍得还没我手机好“是一句不能更真的实话,而非现在外行人的笑谈。



↑上图:portrait lighting 自动打光前后

根据立体信息,手机判断出脸颊的深度,并认为在顶光照射下这部分应该更加黯淡,因此减少了脸颊的光线。五官更加立体。而传统的美颜则不能分辨,只能提供对比度。
(这仅是当前beta测试下的一个机械的案例。实际上目前主要还是靠神经网络。)

如果确实能记录三维信息,那完全能对普通图片产生碾压。





五、机器智能的伟力

目前的portrait lighting主要依靠神经网络而非立体信息。如果两者相结合,产生的威力是巨大的。

之前我提到“审美思考“是无法取代的

——才怪!醒一醒,人工智能在图像领域早就是苏醒的怪兽了。这些不是apple的专利。


如泼辣修图,Photolemur,已经很大程度上可以自动取得不错的优化效果。

再如,paintschainer,自动上色。谷歌AI,从街景自动修出风景图

(还有一个由AI自动生成照片的案例的,我没办法搜到了,希望有人补充。)


实际上当前很多美图软件或者相机自带的功能已经开始利用神经网络修图了,某种意义上也能达到模拟灯光的效果。


在我看来,至少在”如何改善自拍“这方面,人工智能完全能成为打败摄影师的怪物。

人工智能对人们喜好的照片如简在心,脸部哪里应该有影子、何处应该有高光,何种光线下应该用什么样硬度的模拟灯光,它会有数——而3D信息会告诉它脸是怎么样的。


新iPhone自带的Core ml芯片赋予它的人工智能能力,这是它未来发育时倚重的神器。

它一开始还不知道人们喜欢什么样子的照片,等以后无数人使用了新的功能进行自拍之后,这位人工智能就会被逐渐教育成大家想要的那样子,就像第二个Siri.


在未来,或许你的iPhone还会判断你想要追逐的潮流,将你修饰成你想要的、最潮流的样子:


*↑这里不是大佬

本文只谈未来。

面对被数亿副自拍教育出来的怪物,哪个修图师敢说自己一定赢?



五、摄影师的改变


正如我标题所说:分道扬镳。以智能为驱动力的手机摄影,将在以后与传统摄影越走越远。但带了智能和高维信息的摄影与旧摄影纠缠,必然会带来我们从未见过的风景。

在传统摄影中,3D信息的捕获是通过各种辅助工具达成的,

普通摄影师不会去做这点。

而Apple将它带入了手机界,偏偏这在相机上无法达成。它开创了一个未来:

1、通过3D信息修图将会从手机逐渐发展起来——以新的iPhone为例,你可以通过改变脸部的3D信息来塑造新的光线——比如你想要更高的鼻梁,你只需要提升3D模型里的鼻梁,对应高鼻梁的光影会自动生成。

虽然目前似乎不开放自主调节,但“泼辣修图”等工具在未来完全可以利用API接口去调动图片的立体信息。这里插一句,我一直坚定地认为PS的处理方式已经很落后了,因为它浪费了平面外大量的信息,而且相当弱智。


2、反促新的,立体信息驱动的摄影发展。虽然现在不流行,但在未来,完全可以通过多个摄像机和激光点阵的投影,拍摄像iPhone那样的深度图,脱离自拍的局限,从而获得更优秀的后期流程。至少抠图是方便多了。


3、近年来,不断有新的东西在刷新摄影师的视野,我们应当顺应潮流。比如无人机的视野,比如全景图的喷薄。我很期待新的东西的。


iPhone真的在向骄傲的摄影师们吹动静默的号角。




补充:这里着重回答下专业相机为何无法做到。

只要传感器到位,专业相机当然可以做到,如开头所说,只要多出一个维度的信息即可。但目前来看,用双镜头实现的话首先你要体积够大,不然无法建立精度足够的深度信息。这点在生物界内都无法突破,像微型的昆虫,比如苍蝇,螳螂,立体感都不会太强。


iPhone的实现更像是是面部捕捉在近距离上的特解。

目前来看,它最强的地方在于对面部的建模,以此解决的面部问题,正是当下自拍和肖像的痛点。以后还能在游戏中用交互哦。



最后看了下评论,我确实买不起iPhoneX,以上信息全是根据广告听风便是雨骗点赞而已,我也很希望Apple给我打钱啊。: -)