分享热点新闻
打造优质自媒体!

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人”

4月1日消息:小米11 Pro和Ultra首次搭载小米自主研发的“鸮人”算法,号称能达到更好的照片去噪效果,恢复更多细节,最终获得清晰明亮的图像。

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人” 科学快报 第1张

今天,小米正式详细介绍了这种“鸮人”算法,称这种算法可以带来三大优势:低噪声、持手稳定、颜色准确。通过创新的深度学习AI算法,突破了暗光视觉的限制,实现了即使在看不见手指的环境下,依然可以拍摄出清晰明亮的图像。

据了解,小米11 Pro和小米11 Ultra均搭载骁龙888处理器,将于明日正式上线。有兴趣的伙伴可以关注一下。

附官方科普全文:

神奇的算法:鸮人

在一些拍照场景中,你可能接触不到99%:当环境光照度低于0.1Lux时,人眼几乎很难看清东西,即使钥匙掉在地上,也很难找到,然后拍出来的照片就完全不能用了。但是对于这1%的极端拍摄场景,我们自主开发了一个神奇的算法:“鸮人”。

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人” 科学快报 第2张

传统相机和手机在极暗的光线下拍摄会遇到什么问题?

第一,环境亮度低,噪声大,现有的深度学习技术很难有效地收集数据和降低噪声。

第二,使用传统算法叠加多幅图像只能缓解噪声和色差的影响,很难恢复丢失的图像信息。

第三,采用长曝光方式,通过增加曝光时间来提高图像质量,方便用户用手拍摄时粘贴成片。

第四,传统的增亮算法会大大提高去噪的难度,同时会影响白平衡,导致校正色失去准确性。

为了解决上述问题,小米11 Pro和Ultra首先开发了“鸮人”算法。通过获得8张曝光正确的连续EV0照片,结合自主开发的图像测光算法、图像配准融合算法、图像重建算法和图像颜色校正算法,取得了较好的去噪效果,恢复了更多细节,最终获得清晰明亮的图像。

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人” 科学快报 第3张

深度学习技术最大的难点在于获取训练数据。考虑到极暗场景的低亮度和高噪声,大大增加了数据采集的难度。

 噪声小

 画面纯净的不像夜景照片

小米“鸮人”算法自主开发了极暗场景下的噪声校准系统,充分了解极暗场景下噪声的分布和形态,从而补充大量模拟噪声数据,提高训练数据的丰富性,使去噪过程更有针对性;同时,“鸮人”算法自主开发了一套非常暗的场景数据采集系统,利用多种真实摄像机进行数据采集,补充真实摄像机数据以获得更好的去噪效果。

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人” 科学快报 第4张

 手持稳

  达到三脚架长曝光 30 秒稳定效果

极度黑暗场景最大的特点就是噪音大。首先,最大的困难在于如何有效去除图像噪声,恢复更多的图像细节。目前,即使使用多帧图像去噪,图像边缘信息也会丢失,部分内容会失真。而神经网络可以优化图像去噪,通过深度学习,即使局部信息不完整,也可以恢复出细节丰富的高质量局部图像。“鸮人”算法中的AI去噪算法结合多帧EV0 RAW域图像信息进行图像对齐,减少手抖的影响;它还可以充分利用图形中的信息和图形之间的信息进行互补,从而获得更好的去噪效果,恢复更丰富的细节信息。

小米11 Pro和Ultra首发 官方详细讲解自主研发的夜景算法“鸮人” 科学快报 第5张

 色彩准

  AI 测光和颜色矫正模块解决色彩失真问题

亮度的提高和颜色的恢复是极暗场景中的另一个难题。过度的图像增亮会增加去噪的难度,大量的噪声会导致传统的白平衡过程无法获得准确的关键信息点,导致校正后的颜色错位。“鸮人”算法还包括AI测光和色彩校正模块,可以根据场景信息和传感器信息综合计算所需的曝光参数、帧数和色彩信息,并根据不同的环境亮度和场景内容实现不同的亮度增强和色彩恢复过程,从而平衡增亮和去噪的影响程度,有效解决色彩失真问题,提高鸮人算法的环境适应能力。

通过创新的深度学习AI算法,“鸮人”算法突破了黑暗视觉的限制,即使在看不见手指的环境下,依然可以拍摄出清晰明亮的图像。