计算成像 - CASSI介绍（三）

type

status

date

slug

summary

4. CASSI 简介

从光学信息数据流看，可以对探测目标的空间信息和色散信息进行符合特定设置的编码，通过编码调制，建立目标信息、编码形式和探测器接收数据三者之间的数学关系，进而求解得到目标信息。

CASSI 系统将目标三维信息通过编码探测映射到二维探测器面阵上，所获得信息为空间和光谱混叠信息，通过重构算法重构出完整信息。其中，高压缩率是 CASSI 系统最突出的特点。

在一个瞬间将三维高光谱场景压缩到2D探测器上，然后通过TwIST等重建算法再将三维信息检索回来。核心在于用二值随机掩模对被测场景进行编码，然后进行光谱剪切并捕获到检测器上。

应用：目标检测追踪、图像识别、遥感以及医疗影像等领域。

4.1 CASSI 数学模型

4.1.1 CASSI模型结构

✨SD-CASSI

多狭缝组合编码（SGCSHI，Slit Group Coded Scanning Hyper spectral Imager）光谱成像方法由单狭缝拓展为多条狭缝组合采样，实现面场光谱成像，保持了光栅或棱镜的高光谱分辨率的条件下可实现凝视探测。

SGCSHI 系统与 CASSI 系统具有类似的光学信息传递流程，不同的是，CASSI 采用二维高斯随机编码，狭缝编码光谱成像系统采用一维高斯随机编码，简化了数学计算模型构造过程，并降低了系统重构的复杂度

如何实现对光谱数据立方体的合理降维并保留需要的探测信息，是将压缩感知原理运用到实际光电探测系统中的关键。从光学信息数据流看，可以对探测目标的空间信息和色散信息进行符合特定设置的编码，通过编码调制，建立目标信息、编码形式和探测器接收数据三者之间的数学关系，进而求解得到目标信息。

简言之，CASSI 系统将三维数据立方体映射到二维探测器面阵上，形成混叠编码信息，实现了数据降维，其中设置的编码形式对应要建立的探测矩阵，在对应合适的向量化探测数据前提下，所建立的探测矩阵应满足有限等距性质(RIP)。

通常采用多次曝光的方式以实现采样率的提升，对多次曝光系统的数学建模是实现系统功能的关键技术之一。

✨DD-CASSI

4.1.2 多狭缝组合编码

测量子矩阵和测量向量的对应关系如图所示，当使用行列独立高斯随机编码时，对应相同列向量目标的测量矩阵是不同的，即：.

当使用多狭缝组合编码时：因此在数据立方体中对于对应相同列组成的向量数据可以利用相同的测量子矩阵进行测量，这为重构数学模型的建立带来了极大的方便。

此时探测器有效位置从第 1 列到第 n 列和 N+L-n 从 N+L-1 的采样率都是不小于 1 的，因此可以对相应的采样数据利用传统的方法（矩阵求逆）对其进行完整的恢复。而对于其他列采样率小于 1 的部分可以利用压缩感知重构算法进行重构。

4.2 Coded Aperture：编码孔径

引入：小孔成像的原理，成像清晰度和亮度是相互制约的。如果孔径比较大，进来的光比较多，那么图像就会比较模糊，如果孔径比较小，成像比较清晰，但是由于光子能量较小，则图像会比较暗。

补充：小孔成像
清晰度和亮度之间互相制约
当孔比较小的时候，物的不同部分发出的光线会到达屏幕的不同的部分，而不会在屏幕上相互重叠，所以屏幕上的像就会比较清晰。如图所示(点击图可以放大)，由于孔比较小，物的A处发出的光线就不会到达屏幕的C处，只有物的B处发出的光线才会到达屏幕的C处，屏幕上的C处的光线只来自物的B处，所以C处的像就会比较清晰。

因此建立MURA(Modified Uniformly Redundant Array) 对应了一对矩阵，分别是编码和解码矩阵：

MURA有大约50%的孔开放->编码观测比小针孔相机亮的多数学表达：

这里的p就叫做mask。

重建方式： GPSR(Gradient Projection for Sparse Reconstruction)梯度投影稀疏重建 CCA(Compressive Coded Aperture)增强了利用非线性方法从低分辨率观测值重建图像的能力 SCI-to-HSI

5. 重建指标

PSNR (峰值信噪比)来衡量图像空间信息恢复的结果，用光谱角度匹配度（SAM: Spectral Angle Match）作为光谱曲线相似度（SCF: Spectral Correlation Fitting）评价恢复曲线精度。

5.1 空间信息保真度

信噪比

信噪比是体现其性能的一个十分重要的参数，直接决定着系统的成像质量和探测灵敏度。系统噪声来源是多方面的，基本可以分为系统本身噪声和光子统计特性带来的噪声，随着系统接收能量的增加，光子数不断增加，光子的噪声也随之增加。整体上，可以认为整个光电探测系统的信号是一个具有高斯统计特性的含有噪声的信号，统计特性表明，随着信号增加倍，系统的噪声会增加，继而信噪比增加倍。

5.1.1 峰值信噪比（Peak Signal to Noise Ratio）

5.1.2 结构相似性 SSIM（Structural Similarity）

SSIM 分别包含了亮度、对比度和结构三方面度量图像相似性，其取值范围为[0,1]，值越大，表示图像失真越小。

5.2 光谱信息保真度

光谱信息包含形状特征（SF，Shape Features），幅值特征（AF，Amplitude Features），指纹特征（Fingerprint feature）等，各类评价方法具有不同的侧重点，同时对于光谱偏置和增益等影响具有不同的敏感性，因此具有不同的鲁棒性，光谱保真度可以从这些指标全面评价。

5.2.1 光谱形状信息的评价

SAM（Spectral Angle Mapper）

本质上，计算两个一维光谱曲线的相似度，就是计算两个一维向量的接近程度，在相同的向量空间中，两个向量的夹角大小是衡量两者接近程度的一个直接指标，夹角越大，两向量差距越大，夹角越小，两向量差距越小，SAM就是衡量该量纲的一种光谱相似度评价方法：

SAM的取值范围则为[0,1]，因此 SAM越接近 1，代表两者夹角越小，两条曲线相似度就越高。

2. SID（Spectral Information Divergence）

SID 借助信息论中“熵”的概念，计算不同空间位置（也即不同像素）间的相似性和分离性，通常用于地物分类中。在光谱图像中，一个空间位置对应一个光谱向量，计算光谱向量中每个元素对的信息熵，然后将所有元素的信息熵加和，记为 SID：

n表示谱段数，SID的值越小表示两条光谱曲线相似度越高。

SCC（Spectral Correlation Coefficient）

SCC 借助统计学中的皮尔逊相关系数，是曲线原值减去均值后向量的广义角的余弦值。其表达式为：

5.2.2 光谱幅值信息的评价

对于 AF 的评价方法主要是欧式距离（ED，Euclidean distance），其表达式有两种：

5.2.3 光谱形状和幅值联合的评价

单独的 AF 或者 SF 评价方法难以全面体现光谱信息的保存，因此涌现出很很多基于两者结合的而评价方法，这里介绍两种典型的方法。

SSS： SSS（Spectral Similarity Scale）结合了 ED和 SCC：

NS3：归一化的光谱相似度值 NS3( Normalized Spectral Similarity Score)联合光谱角余弦和欧氏距离

6. 光谱恢复算法

在很窄的低频域带宽内，集中了信号的绝大多数信息，而在高频段具有很少甚至可以忽略的信息，这种特性在空间域则体现为数据相关性强、邻域平滑的特点。但在遥感领域中，针对目标地物的光谱数据，研究者们更关注的是吸收峰等具有指纹特性的细节，这些细节使得光谱曲线变得不平滑，意味着信号的高频信息就变得丰富而不应该被忽略，而传统压缩感知恢复算法的处理方式难以准确地保持该类关键信息，大大降低了光谱应用的可靠性。

7. 随机信号与图像重建

对于非平稳信号，我们常用高阶谱法来提取信号特征，那么为什么高阶谱法对非平稳信号有效呢？

想要回答这个问题，我们需要先搞清楚什么是高阶谱？

首先给一个比较官方的说明，可能比较晦涩。

基于维纳辛钦定理，我们知道功率谱与自相关函数是一对Fourier变换对；迁移到高阶累积量，同样，一个随机过程的K阶累积量的K-1维Fourier变换就是该过程的K阶谱。

假设x是一维随机序列，其PDF是f(x)，则函数g(x)的期望可表示为：

至于为什么要用高阶累积量来构造高阶谱提取非平稳信号特征呢？

我们知道我们通常假设信号是平稳的，也即信号的统计特性不会随着时间变化；但是往往事与愿违，比如说信号的均值和方差往往随时间变化，这个时候的信号被称之为非平稳信号，但是我们可以假设信号更高阶的统计特性不随时间变化，在此假设前提下，用原始的非平稳信号重新构造一个平稳的信号，然后对新的平稳信号做分析，比如傅里叶变换，提取其频域的特征，当然这个频域也是高维的频率。

这里就给我们一个启发，很多看似复杂的理论，比如之前写道的Hankel矩阵构造用于PCA，和此处的高阶谱有异曲同工之处，都是在低维的样本空间已经无法解决提出的问题，但是该问题的解又包含在样本空间中，我们不妨对原始的样本空间做数据增强，就比如说高维映射，从而在新构造的样本空间得到问题的解。压缩感知其实也是相同的道理，不过恰好相反的是，它将样本空间欠采样进行低维映射。

稳态:系统内的状态参数不随时间而变，则该系统处于稳态。