iPhone XR将使用算法实现单摄拍照的镜头光学虚化效果

当iPhone Xs和Xs Max继续使用双摄像头设计方案时,更便宜的iPhone XR将只使用一个摄像头,并且宣称可实现单摄的背景虚化效果。我们确信许多人想知道,与双摄像头手机相比,单相机是否能够捕捉到同样的自然的光学镜头虚化的效果。

从已知发布的消息证明,苹果公司将要几乎完全依靠算法来实现这一目标。在新闻记者Lance Ulanoff在《Medium》上的一篇文章中,苹果高管向他讲述了新款iPhone的摄像头,苹果公司camera team高级总监Graham Townsend (哎,熟人了…)证实,iPhone XR将使用算法来达到iPhone Xs和Xs Max achi的光学镜头虚化效果 (此处加个八卦,其实该功能在14年底15年初就已经有demo了,只是一直没上而已)。

 

苹果公司负责相机软件、照片和安全的副总裁Sebastien Marineau-Mes也补充道:“我们将镜头的模型转化为数学,并将其应用到图像中。没有其他人正在做或能够做这件事。其他人只是做“单一的简单的无层次感的模糊的背景”。“另外,注意到苹果并不是第一个使用软件来尝试实现BOKH效果的公司。”

有些人可能还记得谷歌的Pixel智能手机是采用单摄来实现背景虚化效果的,但除了软件以外什么他们什么也没用。iPhone XR的单摄像头在现实生活中实现光学镜头的自然背景虚化效果的处理得有多好还需要10月份发布后用事实来证明。

不过,我们在这里可以笃定,一定会比其他采用简单的单调的“just blur”算法的效果更好。因为:算法是基于光学镜头以光学模型为基础开发而成的数学模型, 就好比zemax或codeV(当然这只是打个比方)。意思是不同距离其光学模糊程度不同,也即是模拟不同的MTF随距离和空间频率的变化。这个需要大量的计算,且原则上要和实际使用的镜头的光学设计匹配,这样才能实现系统最优化的效果呈现。

这里我们可以向大家分析一下这种“算法”的难点,因为要将光学镜头进行数学模型化,一个好的模型仍然离不开深度信息,那么单摄的深度信息从哪里来呢? Of course,focus pixels。虽然不能像结构光或TOF那样精度高,但是仍然能够获得深度信息,或者严格讲较为粗略的深度信息,但是呢,这个模型又不是用来进行人脸识别,基本来讲已经够用了。但是也必须对focus pixel进行校准才行,不然量产的话可能就不是跑偏一点半点对于某些sensor来讲。所以这个功能的开发难度有二:(国内开发者要开发一样效果的功能需重点解决这两个问题)

第一,开发算法的人或团队需要非常深厚的光学知识作为背景,但是行业来讲,写软件算法的人再懂光学恐怕难,搞镜头光设的人懂编程就不易,要将这些串起来需要一个强大的研发团队和整合能力,人不一定多,而在于精。

第二,就是对于每颗模组的校准,这就要在产线上进行每颗模组的focus pixel的校准烧录进NVM里,校准什么呢? 简单讲就是要校准focus pixel的disparity和gain,这样来保证模组出厂的一致性,否则算法再强大,原始信息或光学信号有偏差,这个模型一样跑偏掉。 而这个对于量产制造来讲或者对于品牌含金量来讲,可能最为重要,难度甚至不亚于算法模型本身。

为什么XS 和XS MAX能在9月份上市, 而XR却要10月份呢?  市场决策一方面,有时恐怕还有生产因素,呵呵。。。