MTF调制传递函数
Bayer相当于采样，demosaic相当于重建。
CFA
NIR：近红外
RCCC sensor
采样定理：采样频率要的大于信号最高频率的2倍。一般要保证5~10倍的采样频率。采样定理又叫奈奎斯特定理。
Aliasing：如果不能满足采样定理的信号会重叠。
摩尔纹
Demosaic的步骤：
基础点：
插值方法：Hamilton and Adams原理。色差恒定法。
demosaic很重要，跟denoise差不多。
难点：
思考题：怎么平衡noise和demosaic？
MTF（调制传递函数）_百度百科
https://baike.baidu.com/item/MTF/261610
Optical transfer function - Wikipedia
https://en.wikipedia.org/wiki/Optical_transfer_function
三个概念：
RGB
additive system加性色彩系统
imaging，display，eye
CMYK
subtractive system减性色彩系统
dye，paint，print
RGB和CMYK不是具体的色彩空间。
色彩空间。也是color model，但用准确的量化来描述坐标系，量化范围，白点数据以及非线性转换特性。
设备无关：CIE XYZ， CIE LAB
设备相关：sRGB，Adobe RGB
色彩空间基本元素：
显示器默认sRGB？
ICC profile
成像、打印……
好的色彩重建的基本要求basic principles of good color reproduction
色彩重建的过程
scene exposure——Optics，filters，and sensor——Correction for offset……
色彩重建的数学表达
CCM的目的：将camera rgb色彩空间转换为sRGB色彩空间。
camera_rgb->XYZ->sRGB
CCM的评价标准：
通过CIE LAB色彩空间来计算color error
CIE LAB（1976），1994，2000
注：
注意事项：
计算方法：
附加功能：
调试CCM的注意事项：
劣势
gamma是一种数学变换
gamma矫正：输入亮度和输出亮度的非线性变换关系。
scene——sensor——encoding gamma——存储——display gamma——display
为什么要gamma？
存储的时候把更多的bit分配给暗区。
encoder gamma和display gamma一定是相乘为1吗？不是。
gamma对亮度、色彩的影响：
几种gamma
REC709
global contrast
动态gamma校正与contrast
直方图分析和AE——场景判断——对比度增强——生成gamma——gamma映射
思考题：
HDR10对于gamma的设计和调试有什么新的需求和变化？
锐化
仅次于降噪的一个模块。很难设计
边缘变化更陡峭。
信号=低频+中频+高频+噪声
S=SL+SM+SH+Sn
unsharp masking（USM）
filter一般都是高斯滤波器。滤波器决定了最终锐化的频率，对sharpening影响最大。
难点：
要增强中高频，而不是低频和奈奎斯特频率。
sharpen会增加MTF值。
注意事项：
sRGB变成编码格式
CSM在硬件ISP中的位置
RGB——CSM：3x3+offset——YCbCr——JPEG或video encoder
JPEG标准里的CSM
Conversion to and from RGB
三不管地带？
spatial denoise
噪声类型：
加权平均一些相似像素，去得到噪声更小的像素值。
怎么计算两个像素的相似性权重。
三类算法：
高斯降噪和像素值无关，和距离有关。
双边滤波，会抹掉小细节，属于smooth领域。
非局部算法，根据图像块的相似性来计算像素的相似性权重。
噪声图像——频域变换——……
小波收缩 软收缩 硬收缩
BM3D，降噪算法，结合了两种优势。计算量大。思想好。
是普通的空域噪声，在时间域上会波动。
FIR & IIR filter
FIR，图像上用的多。计算量少。
IIR，视频上用的多。
motion detection：检测当前像素是否移动
motion estimation：求得motion vector
时域降噪核心模块。
motion compsensation运动补偿
做得不好：
fusion
难点：
拖影最难
色散与去紫边。可能是其他颜色。
安防、全景相机比较多
纵向和横向色差
成因：不同波长的光线焦距不同，或者镜头对不同波长光线放大程度不同。
ISP：chromatic abberance correction、depurple
dot chart
标定+矫正
类似distortion
拍摄多张点状图——获取点状图每个点的圆心——根据R G B的圆心坐标……
purple finge的其他特定：
难点：
CA与demosaic
思考题：为什么demosaic会使CA变大？
典型的ISP pipeline
sensor——BLC——Degamma——NR——LSC——WB——demosaic——CCM——gamma——sharpening——CSM——YUV NR/Sharpening
3A统计信息位置
流行的配置
计算亮度
ROI，除了鱼眼镜头
很多个格。focus value，luminance
FIR filter，IIR filter
MV
AE：auto exposure
不等同于自动亮度控制。
感光度、光圈、快门速度
曝光 = ISO x 光圈 x 曝光时间
工业界和学术界对亮度控制界定有区别。
色卡22，18%中性灰，反射率122，122，121
3种计算方法
曝光误差=曝光误差22
18% reflection rate hypothesis failure
白加黑减，背景黑白
AE loop，闭环，自动控制
EV，shutter，aperture，参数值分配表，策略。增加曝光，晚上加大光圈，白天减慢快门
flickering reduction
50Hz光源，频闪
AWB
在不同光源下白色物体成像在sensor上
R G B各不同，需要乘以gain。人眼看R G B等值。
手动计算gain
需要找到白吗？
不需要：
要：
需要校准吗？
思考题：基于校准白平衡方法与不基于校准的方法优缺点？
原文：https://www.cnblogs.com/obarong/p/12122678.html