文岩（bug404）

文岩（bug404）

爱好DIY的AIer

基础ISP流水线的架构分析——拜耳阵列图像传感器的主要ISP架构

less than 1 minute read

Published:

ISP本身并不是一个标准化的对象，但数字视频的标准化却已持续进行了很长时间。1982年制定的Rec. ITU-R Rec. 601和 Rec. ITU-R BT. 656（也被称作CCIR601/656）首次对ISP的基本组件进行了标准化。

下图中的相机模块由光学模块、图像传感器和ISP组成。这里的ISP包含三个组件：量化、颜色空间转换和数据格式化。图像传感器被假设能在每个像素位置产生模拟的R、G和B信号。

在Rec. ITU-R BT.601中，前两个功能被标准化了，在Rec. ITU-R BT.656中，最后一个功能被标准化了。Rec. ITU-R BT.601的标题是“用于标准4:3和宽屏16:9宽高比的数字电视演播室编码参数”，它定义了SDTV（标准清晰度电视）的数字化数字视频的常见规定。这个标准中的视频具有720×480或720×576的分辨率，采样频率为13.5 MHz。这个建议标准化了如何获得相应的数字视频数据。当给定1.0伏特动态范围的模拟R、G和B信号Er、Eg和Eb时，8位数字RGB信号被量化如下：它们将有219个值，位于16和235之间 。

Y、Cr和Cb信号是由这些数字R、G和B信号计算得出的。将R-G-B转换为Y-Cr-Cb的公式根据建议略有不同。例如，Rec. ITU-R BT.709和 Rec. ITU-R BT.2020以与Rec. ITU-R BT.601非常相似的方式指定了高清晰度电视（HDTV）和超高清晰度电视（UDTV）的数字视频格式。尽管这些建议在不同的分辨率上标准化了数字视频格式，但它们将颜色空间转换为Y-CB-CR空间的方式并不相同。也就是说，它们之间没有颜色兼容性。如果在Y-CR-CB由不同规定制作的情况下进行逆变换到R-G-B，重建的R-G-B数据可能会有一些差异。因此，任何ISP实现者都应遵守不同标准中建议指定的公式。下面的公式是Rec. ITU-R BT.601中推荐使用的。公式中的每个算术运算都设计为通过整数运算来实现。允许使用整数运算可以保证在硬件或者软件中的不同实现可以得到一致的结果（浮点运算依赖于特定的硬件实现和上下文，可能会引入舍入误差和精度问题。整数运算则不涉及这些问题，因为它们不进行任何形式的舍入；整数运算的行为在不同的编程语言和硬件平台上通常是标准化的，而浮点运算则可能因平台而异，特别是涉及到非标准舍入模式或特殊值（如无穷大或NaN）时）。

在数字视频领域，特别是在遵循 ITU-R BT.601 标准时，亮度分量（Y）的量化范围被定义在 16 到 235，而非 0 到 255，这是基于几个原因的：

  1. 避免超限失真：在模拟信号转换为数字信号时，如果数字信号达到或超过其量化范围的极限，可能会产生不完善的处理效果。为了确保瞬时峰值电平不会超限，保留了一小部分空间，从而防止了信号在顶端的过度失真 。

  2. 兼容性考虑：在黑白电视和彩色电视共存的时代，彩色电视需要与黑白电视兼容。彩色电视信号必须被压缩以适应带宽限制，而色差分量（如 YUV 或 YCbCr）的引入正是为了在有限的带宽中传输更多的亮度信息，同时减少对色度信息的传输，因为人眼对色度的敏感度低于亮度 。

  3. 细节保留：使用 16-235 的范围而不是 0-255，可以去掉最黑和最白的色阶，这样做虽然牺牲了一部分极端色阶，但可以保留更多的细节，特别是在暗部和亮部区域 。

  4. 编码效率：在视频编码中，量化处理是减少数据量的关键步骤。通过量化，可以有效地减少数据冗余，但同时也引入了失真。量化参数的选择对视频质量和压缩率有直接影响。较小的量化参数可以保留更多细节，提高视频质量，但增加数据量；较大的量化参数会丢失更多细节，降低视频质量，但提高压缩率 。

  5. 历史和技术原因：在数字视频的早期发展中，为了确保不同电视制式间的兼容性，以及考虑到信号处理和传输的技术限制，16-235 的量化范围成为了一种折中方案 。

总结来说，16-235 的量化范围是出于技术、兼容性和细节保留的考虑，以确保数字视频信号在不同设备和制式间的有效传输和显示。

Rec. ITU-R Rec. 601 和 Rec. ITU-R BT. 656 是国际电信联盟（ITU）无线电通信部门（ITU-R）制定的两个重要标准，广泛应用于数字视频领域。

Rec. ITU-R Rec. 601，也称为“演播室数字电视编码参数标准”，主要规定了彩色视频转换成数字图像时使用的采样频率、量化比特数、分辨率以及RGB和YCbCr两个彩色空间之间的转换关系等。它定义了数字电视的基本参数值，包括采样频率13.5 MHz用于亮度信号（Y），6.75 MHz用于色差信号（R-Y和B-Y），以及4:2:2的采样结构。此外，601标准还规定了编码方式，采用线性PCM编码，并对亮度信号分配220个量化级，色差信号分配224个量化级，确保了视频信号的质量和兼容性。

Rec. ITU-R BT. 656 是ITU-R BT.601的一个子协议，定义了数字分量视频信号的接口标准。它规定了数字视频设备（包括芯片）之间采用27 MHz并口或243 Mbps串行接口的数字传输方式。BT.656支持8位或10位数据传输，并采用嵌入式同步信号，即将行场同步信号嵌入在数据流中，而不需要单独的同步信号线。这种接口标准允许先传输亮度信号Y，然后传输色差信号Cb和Cr，从而提高了传输效率。

这两个标准共同为数字视频信号的编码、传输和显示提供了一套统一的技术规范，确保了不同设备和系统之间的兼容性和互操作性。通过这些标准，可以实现高质量数字视频的高效传输和处理。