真诺粉
首发于真诺粉
从 HUAWEI P20 浅谈四像素合一技术

从 HUAWEI P20 浅谈四像素合一技术

前言

对花家印象改变最大是从 HUAWEI P9 开始,较好的做工,有特色的徕卡色彩滤镜都让人印象深刻。上个月,花家更是发布了拥有 40MP 的 HUAWEI P20 Pro ,即使作为诺粉也颇为感动。

作为世界上第三款拥有 40MP 的手机,HUAWEI P20 Pro(下简称 P20P )在技术上相比过去又有什么突破呢?今天就浅谈 P20P 传感器上提到的 “Quad Bayer” 四像素合一技术。

不过在此之前,你可能需要知道 P20P 不是世界上第一款采用该技术的产品。早在数年前,就有不少产品采用该技术。比如 iPhone 6 的前置,OV 爆款的前置,R11s 后置那颗 20MP ,还有 Nokia 7 Plus 前置。有关四像素合一技术,各家的叫法有不同。比如索尼称作 Quad Bayer,三星称作 Tetracell,OmniVison 称作4-CELL 。

四像素合一是一种“硬件+软件”的技术。


一、传统摄像头传感器

在了解四像素合一技术前,先简单看看传统摄像头传感器的技术原理。传统 CMOS ,采用的 RGB(RGBG) 结构,这个结构由拜耳发明,因此也叫做拜耳滤镜。

由于 CMOS 本身并不具备辨别颜色的能力,所以此前的照片都是黑白的。拜耳的做法是,在每个像素上都加一个不同颜色的滤镜,根据人眼对绿色敏感的原理,绿色的像素是最多的,使得每个颜色都能识别一个颜色。

但是每个像素只有一个颜色是远远不够的,所以还需要通过后期算法去猜色(反拜尔算法),最后形成一张完整的彩色照片。


二、四像素合一传感器

随着影像技术不断发展,除了拜耳滤镜以外,还有越来越多不同结构的传感器。比如 HUAWEI P8 采用的 IMX278 ,采用的是 RGBW 传感器,去掉一个绿色的滤镜,该像素传感器上全部光线都可以通过,理论可以增加传感器的感光度。

而四像素合一技术,其实也是类似地使用 RGB 拜耳的排列,但是在具体像素上却做了调整。它使用四个同色像素排列在一起,形成一个大的像素。

以 Nokia 7 Plus 和小米 Note 3 前置来说,它们都是使用 1/3.06 英寸传感器,16MP,1.0um 。以目前 CMOS 的工艺来说,1.0um 在光线充足情况下还可以(勉强)使用,但是在暗光情况下就会受限于小尺寸而感光不足。因此在暗光时,通过四像素合一技术,每个同色的像素变成 2.0um 。

但是当传感器以 2.0um 采样时,得到了一最终生成的照片却只有原来的 1/4 像素,也就是 16MP 传感器只能输出每个像素 2.0um,总像素 4MP 的照片。然后通过后期算法,重新分隔大像素,使得2.0um 大像素重新恢复到 1.0um ,这样子整个画面以 1.0um 计算的话又恢复了 16MP ,可是整个画面却有 2.0um 大像素高光的效果。最终实现了在小尺寸 1.0um 像素上实现了 2.0um 高感光的效果。

注意这个并不是插值,传感器物理像素就是 16MP ,不需要通过算法增加像素,后期只是负责重新排列像素。


简单来说四像素合一技术的大致工作流程:

1)传感器采用四个同色像素排列顺序

2)暗光时,四个同色像素同时采样,得到一张四倍感光的低像素照片

3)通过算法重新排列像素,恢复原本小尺寸的单个像素,最终输出一张高像素的照片


以上也可以解释为什么一些软件检测 Nokia 7 Plus 的时候显示“前置400万像素”。一方面是数据错误,另一方面检测软件仅仅以大尺寸同色像素作为单个像素,所以显示400万像素。(这时候是2.0um呀)。当然也可以自己买一台 Nokia 回来拆解,Nokia 7 Plus 前置是1/3.06,16MP。但是不是每个软件都会完全使用到四像素合一自带的“重新恢复像素”的算法,所以也不排除部分第三方相机自拍只有 4MP ,但是前几年 OV 已经超级多前置高像素产品,(比如 VIVO X7 开始就用四像素合一)所以主流拍照软件都会适配。

之前也不少媒体吐槽 OV 前置都是插值,很大程度是因为他们都不知道这个技术的存在。而且早期的软件,大部分都无法识别出来,所以才会有这样子的误会。 以三星 CMOS 传感器为例,部分型号的传感器,会有传统 RGB 类型以及 Tetracell 四像素合一,两种不同排列的可以选择。


三、四像素合一技术的优势

1)最明显的优势就是,在小尺寸高像素的传感器里面实现了高感光。十年前,Nokia N95 使用1/2.5英寸传感器,5MP ,单个像素要比现在的产品大数倍(大概接近 3.0um 了吧?)。但是随着传感器不断进步,现在 1.0um 也能成像。在手机变得越来越紧凑的时候,小尺寸传感器的优势就非常明显。而高像素意味着可以实现更多好玩的功能,比如超采样,同时也给照片后期带来更多可能性。

2)利用四像素排列的优势,可以通过控制不同曝光时间,最后合成一张更好的 HDR 照片。下图来自索尼官网,介绍的是这款 IMX294 产品使用了 Quad Bayer 技术,以实现更好的 HDR 效果。

3)个人觉得“高像素”也可以成为商业噱头之一。比如早年的 VIVO X9 ,前置 20MP 的 IMX376 ,也是采用了四像素合一技术。去年三星推出的 2X7 传感器,24MP,1/2.8,0.9um。VIVO的 V7+,Y79 就使用这个传感器。今年索尼也推出同规格传感器,IMX576,HUAWEI Nova 3e 首发,同理。前置2400万耶,好厉害的样子。


四、 四像素合一技术的劣势

由于四像素合一采用了非传统拜尔排列分方式:1)后期算法中“猜色”环境中,在同色像素中猜色不如传统拜尔排列的成熟 2)比传统拜耳佩列多一个“恢复像素”的过程 以上两点都非常考验算法的能力。加上单个像素其实在尺寸上确实感光不足,所以目前四像素合一技术一般作用在前置上。(前置对亮度要求高,但是对细节要求不那么高)

但是也有例外,比如R11s后置那颗 20MP,而且还是夜间才会启用的摄像头,就采用四像素合一技术。(20MP,1/2.8,1.0um) OPPO 的做法是夜间通过四像素合一技术以 2.0um, 5MP 成像,然后恢复 20MP 像素,最后压缩 16MP 输出(前后 20MP 不代表后置自动模式有 20MP 噢)。

但是即使四像素合一技术也无法兼顾亮度和细节,毕竟感光真的有限,所以你看到 R11/一加5 系列产品夜间拍照会比同类都暗很多。


五、四像素合一技术展望

P20P 采用四像素合一技术,实现了高像素和小尺寸的平衡。在极小的机身中,放下巨大的传感器(40MP,1/1.7,大约0.9um),自动档输出 10MP 照片,意味着单个像素 1.8um 感光。高像素意味可以过滤噪点,实现纯净画面。四像素合一技术辅助,可以实现高感光,更好的 HDR 效果。

但是四像素合一技术和当年 Nokia 的 PureView 技术,是不同的。这是两个完全不同的技术(因为我看到了有媒体把 OPPO R11s 的四像素合一比作 Nokia 的 PureView 来写)。倒是 P20P 通过 40MP 压缩成 10MP (还有数倍感光的 Mono 实现合成)实现 27-80mm 的变焦(数字变焦),和当年的 PureView 的做法非常相似(哭哭)。

如果日后四像素合一的算法越来越成熟,在常规像素下(12/16/20MP)能更好兼顾亮度和细节,说不定手机像素还真的会突飞猛进,大概以后 40MP 也会很常见了?


全文完。


(第一次写专栏,可能存在一些技术上的理解失误,希望大家温和地指出。感谢!


参考网站:

1.三星CMOS官网:

ISOCELL Mobile Image Sensor | Samsung Semiconductor

2.三星发布2X7传感器:

Samsung’s New Image Sensors Bring Fast and Slim Attributes to Mobile and IoT Applications | Samsung Semiconductor Global Website

3.索尼IMX294传感器介绍:

IMX294CJK | Sony Semiconductor Solutions

4.OmniVison官网产品介绍页:

Above 13 megapixels

5.OPPO R11S介绍页:

【OPPO R11s | R11s Plus全面屏拍照手机】前后2000万 拍照更清晰!-OPPO智能手机官网

图片来自互联网...

编辑于 2018-04-03

文章被以下专栏收录

    由百度贴吧诺记吧的真诺粉们向你介绍诺基亚的方方面面,包括 HMD 赫名迪的诺基亚手机以及曾与诺基亚手机有紧密联系的微软设备。诺记吧欢迎诺粉加入 http://tieba.baidu.com/诺记