IT之家|小米12系列影像系统详解:重写整个相机架构,异构/并行运算

【IT之家|小米12系列影像系统详解:重写整个相机架构,异构/并行运算】今日小米官方发表文章 , 对小米 12 系列的影像系统进行详解 。 小米 12 系列专注于解决以往拍照不够快的问题 , 同时小米 12 Pro 首发索尼 IMX707 传感器 , 拥有更出色的夜景拍摄能力 。
IT之家|小米12系列影像系统详解:重写整个相机架构,异构/并行运算
文章图片
图1/2

小米表示 , 历时两年重写了整个相机架构 , 并将软硬件能力整合重建 , 打造全新的小米影像大脑 , 而小米 12 系列上搭载的小米影像大脑 , 共包含意图识别单元、计算单元、加速引擎、生态引擎四个部分 。
意图识别单元的作用是判断用户的意图 , 然后动态调整算法的使用强度 , 包括智能动态分配内存等等 。 当用户不停地按下快门 , 此时小米影像大脑就会认为用户意图是记录下更多的画面 , 然后就会优先保证拍照速度 。
加速引擎则是利用骁龙 8 平台进行赋能 , 将 CPU、GPU、DSP、ISP 等多个模块的计算能力进行整合与充分调度 , 让整个过程并行协同 , 从而达到大幅提升速度的优化效果 。
计算单元则是通过强大的计算摄影能力 , 调用先进算法进行画质上的调优 , 比如多帧合成、降噪算法、去伪色算法、白平衡校准等等 , 让画面变得更加清晰自然 , 从而达到接近甚至超越传统光学摄影的效果 。
生态引擎则是打通了硬件到第三方应用的管道 , 将小米影像大脑的能力通过小米自有 SDK 开放给第三方 , 这样让第三方应用未来也能够调用小米影像大脑的能力 , 从而达到画质调优 , 速度提升的效果 。
IT之家|小米12系列影像系统详解:重写整个相机架构,异构/并行运算
文章图片
图2/2

官方表示 , 小米 12 系列相机启动速度快了 21.2% , 拍照速度也快了 53.7% , 连续拍照更是快了 209% , 夜景拍照速度同样也快了 39.9% 。 在这其中 , 小米影像大脑的异构计算与算法并行处理起到了关键作用 。
为了对拍摄过程进行优化 , 小米采用了全新的“线程并行化技术” , 让处理算法上移 , 同时并行处理多张照片 。 此外 , 将原先的硬件 HAL 层抽象化管理为小米自己的 HAL 层 , 让硬件算法能够所以组合变化 , 甚至插件化管理 。 再加上算法预加载优化与算法并发优化 , 使得处理多张连拍的能力大幅提高 。 异构计算能够减少不必要的算法库加载 , 从而达到降低内存和加快速度的效果 。
IT之家了解到 , 小米 12 Pro 首发的索尼 IMX707 CMOS 传感器 , 尺寸为 1/1.28 英寸 , 具有 5000 万像素 , 单像素大小达到 1.22μm , 支持像素四合一 。 该传感器的感光能力相比 IMX766 提升 49% , 配合小米自研夜枭 2.0 算法 , 可以实现纯净的夜景拍摄效果 。

推荐阅读