研发负责人详解小米AI相机技术

半导体投资联盟

发布时间:02-1918:18

集微网2月19日消息(文/数码控),今天小米相机软件算法研发负责人汪轩然发文详解小米AI相机技术。

汪轩然认为AI相机作为一个概念并不新鲜,早在小米8的时代他们就推出了第一代小米AI相机。传统的AI相机的做法,通常分成两个部分,一是识别,二是后处理。前者通过神经网络来“认知”当前拍摄的场景,后者根据不同的场景,使用一些传统的方式来针对特定场景做一些优化。所谓“AI“,其实只有前面的识别部分跟AI挂钩。这种方式最大的问题是只能针对特定的几个预设好的场景来做优化,并且针对同一个场景,只能采用一样的模板来处理,而没有针对当前的色彩,光影等做一些更有针对性的局部优化,效果会大打折扣。

为了解决这一问题,小米团队开创性的将传统的场景感知拓展成为全方位的色彩、对比度、光影等内容感知,使用深度神经网络对整个画面进行全局和局部的分析,获取到最优的画面效果,并且实时地对画质进行增强。所以AI大片是覆盖所有场景的优化。可以说,新的AI相机,对于同样的一片草地,在不同的光照,角度,甚至背景下,都会有不一样的优化效果。并且他们的技术把识别+处理合二为一,一站式的实现了AI修图师的效果。

这个技术最大的挑战在于计算量。众所周知,针对图像像素处理的深度神经网络的计算量极高,对手机的计算能力是一个很大的考验,而他们除了要实现预览实时处理,所见即所得的效果之外,更“变态“的要求能针对一亿像素的原片进行处理。为了实现这两个看似不可能的任务,团队的攻城狮们对于神经网络的优化达到了每个四则运算都去细抠的程度。除了使用常见的网络减枝,网络压缩的技术,他们还创造性地提出了一种新的基于导向图的开关网络结构,这个网络不仅仅可以使得网络参数和计算量大幅下降,也可以满足优化的多样性要求(噪声,亮度,颜色,对比度,高动态等等),最终得以将全新的AI相机展现给用户。

除了攻城狮哥哥们的辛勤努力,新的AI相机也包含了团队中很多设计师妹子们的心血。为了让深度神经网络能完美的复现出修图师的美化效果,他们给网络“喂“了数十万张训练数据,并同时做了多套效果,最终通过盲评,选择了一个认可度最高的模型效果。

汪轩然表示发布会的几页ppt,背后隐藏的是团队每个成员日日夜夜的辛苦付出。小米影像技术起步的确有点晚,但他们一直都在很努力的往前跑着。在他们的眼中,没有什么友商,没有什么销量,他们只想着怎么用最新的技术来让拍照变得更加有趣,让每个人都能拍出一张好照片,借此让大家的生活能变得美好一点点,仅此而已。他们会继续努力。(校对/叶子)

返回顶部