-
由文中分析可知,不同积分时刻的图像产生了相对像移,相当于图像发生了相对运动,根据运动模糊理论[9],此时的PSF近似于像点位置的概率密度函数(Probability Density Function, PDF),当位移是二维的且平行于焦平面时,PDF可以表示为速度的倒数,因此PSF的表达式为:
$${P_{sf}}(x,y) = \frac{1}{{T\displaystyle\sum\limits_{i = 1}^N {{{\boldsymbol{V}}_i}(x,y)} }}$$ (1) 式中:
$T$ 为曝光时间;$N$ 为积分级数;${{\boldsymbol{V}}_i}(x,y)$ 为像点$(x,y)$ 在第$i$ 次积分时刻的像移速度矢量,通过对像移路径求导可得。初始PSF的求解步骤如下:(1)计算N个积分时刻下像点的实际位置;首先采样理想位置,以第一级线阵和最后一级线阵的积分时刻为成像的始末,采样像点在每级线阵成像时的位置,固定初始像点位置
$({x_1},{y_1})$ ,则第$n$ 个积分时刻的理想像点位置为:$$\left\{ \begin{array}{l} {x_n} = {x_1} \\ {y_n} = {y_1} + (n - 1) \cdot w \\ {\rm{(}}n = 1,2,3,\cdots,N{\rm{)}} \\ \end{array} \right.$$ (2) 式中:
$w$ 为像元的宽和高。(2)计算像点的实际位置;通过CODE V仿真的离轴三反射光学系统获取畸变数据,采用三次多项式拟合畸变模型[10]。将公式(3)采样的理想位置代入模型,得到实际坐标序列,拟合为关于t的曲线,如图2(a)所示。
(3)对像移路径曲线求导,得到不同积分时刻的像移速度矢量,代入公式(1)得到PSF;以像素为单位离散化PSF函数,如图2(b)所示。
(4)将离散的PSF写成矩阵形式;以初始像点为中心位置,根据像移方向和位置,将PSF值填入矩阵中,对矩阵进行归一化和中心化,结果如图2(c)所示。
由于遥感图像数据量较大,直接用空间变化的复原方法需要很大的存储量,因此选择分块复原的方式。推扫图像的一行即一帧,不考虑其他引起成像模糊的因素时,帧间模糊相同,PSF的变化性体现在帧内各像点。通过计算帧内各像点PSF的相似度划分区域[11]。由于畸变在垂直推扫方向上呈现连续渐变性,因此推及所有帧,图像被划分为连续的若干矩形子块。对子块内像点的PSF求和取平均,作为该子块的初始模糊核。
-
上述采样过程的离散性和拟合模型的固有误差导致初始模糊核含有较多噪声,需要对其进一步优化。文中提出一种图像半盲复原算法,将初始模糊核作为输入,求取粗略的中间潜像,利用潜像的显著边缘进一步细化模糊核。同时将初始模糊核用于构建正则项约束,增强结果的可靠性。采用基于图像金字塔分解的多尺度迭代框架,实现模糊核估计的逐步细化[12],整体流程如图3所示。
-
第一次迭代时的中间潜像由初始模糊核恢复,后续迭代过程中的潜像由中间模糊核恢复。中间潜像的估计函数采用全变分(TV)作为正则项,可以保留中间潜像的丰富纹理,表达式如下:
$$ {{\boldsymbol{I}}_{{\rm{latent}}}} = \mathop {\arg \min }\limits_{{{\boldsymbol{I}}_{{\rm{latent}}}}} ||{{\boldsymbol{I}}_{{\rm{latent}}}} \otimes {\boldsymbol{H}} - {\boldsymbol{G}}|{|_2^2} + {\beta _3}{\left\| {\nabla {{\boldsymbol{I}}_{{\rm{latent}}}}} \right\|_1} $$ (3) 式中:
${\;\beta _3}$ 为TV正则项的权重,取值为0.1;$\nabla {\rm{ = }}\left( {{\partial _x},{\partial _y}} \right)$ 为$x$ 和$y$ 方向一阶导数。采用迭代重加权最小二乘法(Iterative reweighed least square, IRLS)[13]求解,外层IRLS迭代2次,新的权重根据更新的${\boldsymbol{I}}$ 计算,内层共轭梯度算法(Conjugate Gradient, CG)迭代5次。 -
图像的显著边缘信息有助于模糊核的估计,而显著边缘的提取来自可靠的图像结构,常用相对全变差模型分离图像结构[12],定义如下:
$$ \begin{split} {{\boldsymbol{I}}_s} = \mathop {\arg \min }\limits_{{{\boldsymbol{I}}_s}} \left(\frac{1}{{2\lambda }}\left\| {{{\boldsymbol{I}}_s} - {{\boldsymbol{I}}^*}} \right\|_2^2{\rm{ + }}{\left\| {\nabla {{\boldsymbol{I}}_s}} \right\|_2}\right) \end{split} $$ (4) 式中:
${{\boldsymbol{I}}_s}$ 为分离的图像结构;${{\boldsymbol{I}}^*}$ 为中间潜像;$\lambda $ 为平滑系数,经验值取0.02;该式中一阶导数算子只考虑了$x$ 和$y$ 方向,忽略了其他方向的细小结构。文中提出一种多方向权重异性的全变差模型,将两条对角线方向的梯度变化也考虑在内,另外在每个方向开辟方形窗口,以窗口区域内的像素共同确定权值,改进后的模型定义如下:$${{\boldsymbol{I}}_s} = \mathop {\arg \min }\limits_{{{\boldsymbol{I}}_s}} \left\{ {\frac{1}{{2\lambda }}\left\| {{{\boldsymbol{I}}_s} - {{\boldsymbol{I}}^*}} \right\|_2^2{\rm{ + }}{w^ * }(\left\| {\nabla {{\boldsymbol{I}}_s}} \right\|_2^2{\rm{ + }}\left\| {{\partial _{{{xy}}}}{{\boldsymbol{I}}_s}} \right\|_2^2 + \left\| {{\partial _{{{yx}}}}{{\boldsymbol{I}}_s}} \right\|_2^2)} \right\}$$ (5) 式中:
${\partial _{{{xy}}}}$ 和${\partial _{{{yx}}}}$ 分别为两个对角线方向的一阶导数算子;${w^ * }{\rm{ = }}\left\{ {{w_1},{w_2},{w_3},{w_4}} \right\}$ 表示四个方向的权重,定义如下:$${w^ * } = \exp ( - {\left\| {\boldsymbol{r}} \right\|^{0.8}})$$ (6) 式中:
${\boldsymbol{r}}$ 为权值算子,定义如下:$${\boldsymbol{r}}(p){\rm{ = }}\frac{{{{\left\| {\displaystyle\sum\limits_{q \in R(p)} {\Theta {{\boldsymbol{I}}^*}(q)} } \right\|}_2}}}{{\displaystyle\sum\limits_{q \in R(p)} {{{\left\| {\Theta {{\boldsymbol{I}}^*}(q)} \right\|}_2} + \varepsilon } }}$$ (7) 式中:
$p$ 为目标像素索引;$q$ 为以$p$ 为中心的正方形区域$R(p)$ 内的像素索引;$\Theta {\rm{ = }}\left\{ {{\partial _{{x}}},{\partial _{{y}}},{\partial _{{{xy}}}},{\partial _{{{yx}}}}} \right\}$ ;$\varepsilon $ 用于避免分母为0的情况,同时保证结构的平滑性,经验值取0.4。公式(5)是凸优化问题,采用快速傅里叶变换(FFT)直接求解:$${{\boldsymbol{I}}_s} = {F^{{\rm{ - }}1}}\left\{ {\frac{{F({{\boldsymbol{I}}^*})}}{{2\lambda {w^*}\left[ {F{{(\nabla )}^{\rm{T}}}F(\nabla ) + F{{({\partial _{{{xy}}}})}^{\rm{T}}}F({\partial _{{{xy}}}}) + F{{({\partial _{{{yx}}}})}^{\rm{T}}}F({\partial _{{{yx}}}})} \right]}}} \right\}$$ (8) 与传统方法相比,改进后的图像结构提取模型能够保留更多的细小结构,如图4所示。
得到图像结构后,用shock滤波器进行锐化[13]:
$${\widetilde {\boldsymbol{I}}_{{\rm{s}}t}} = {\widetilde {\boldsymbol{I}}_{{\rm{s}}t}} - {\rm{sign}} (\Delta {\widetilde {\boldsymbol{I}}_{{\rm{s}}t}})\left\| {\nabla {{\widetilde {\boldsymbol{I}}}_{{\rm{s}}t}}} \right\|{\rm{d}}t$$ (9) 式中:
${\widetilde {\boldsymbol{I}}_{{\rm{s}}t}}$ 为第$t$ 次迭代时的锐化图像;$\Delta $ 为拉普拉斯算子;$ \mathrm{sign}(\cdot )$ 为符号函数;最后筛选${\widetilde {\boldsymbol{I}}_{\rm{s}}}$ 中的显著边缘用于模糊核估计,表达式如下:$${\boldsymbol{\tilde I}}{\rm{ = }}{\widetilde {\boldsymbol{I}}_{\rm{s}}} \circ M({\boldsymbol{D}},\tau )$$ (10) 式中:
${\widetilde {\boldsymbol{I}}_{\rm{s}}}$ 为锐化后的图像结构;$M(D,\tau )$ 为单位二值掩膜函数[12-13],定义如下:$$M(D,\tau ){\rm{ = }}\left\{ \begin{array}{l} 1,D(i) \geqslant \tau \\ 0,{\rm{otherwise}} \\ \end{array} \right.$$ (11) 式中:
$D{\rm{ = }}{\left\| {\nabla {{\widetilde {\boldsymbol{I}}}_{\rm{s}}}} \right\|_2}$ ;$\tau $ 的取值要保证至少有$\sqrt {{k^2}WH} $ 个像素点被选中;${k^2}$ 和$W \times H$ 分别为模糊核和输入图像的大小。 -
为了保证模糊核的稀疏性和平滑性,选取L1范数正则项
$||{\boldsymbol{H}}|{|_1}$ 和梯度约束的正则项$||\nabla {\boldsymbol{H}}||_2^2$ ,利用显著边缘${\boldsymbol{\tilde I}}$ 的梯度信息$\nabla {\boldsymbol{I}}$ 构建保真项,模糊核估计模型如下:$${\boldsymbol{H}} = \mathop {\arg \min }\limits_{\boldsymbol{H}} (||\nabla {\boldsymbol{I}} \otimes {\boldsymbol{H}} - \nabla {\boldsymbol{G}}||_2^2 + {\beta _1}||{\boldsymbol{H}}|{|_1} + {\beta _2}||\nabla {\boldsymbol{H}}||_2^2)$$ (12) 式中:
$\nabla {\boldsymbol{G}}$ 为模糊图像的梯度;${\;\beta _1}$ 和${\;\beta _2}$ 为正则项系数;该模型的正则项仅从模糊核的特性方面进行了约束,迭代过程中依赖于图像的信息,应该利用更多关于探测器的先验信息进行约束[14-15]。由第2节分析可知,初始模糊核是根据探测器的畸变数据和TDI成像参数求得,先验条件可以通过光学仿真和硬件测试获取。因此将初始模糊核作为先验核,加入模糊核估计模型作为先验约束,使估计结果贴合成像退化过程,避免过度依赖图像梯度信息。初始模糊核的约束项设计为$||{{\boldsymbol{H}}_{{0}}} - {\boldsymbol{H}}||_2^2$ ,最终的模糊核优化估计模型为:$${\boldsymbol{H}} = \mathop {\arg \min }\limits_{\boldsymbol{H}} (||\nabla {\boldsymbol{I}} \otimes {\boldsymbol{H}} - \nabla {\boldsymbol{G}}||_2^2 + {\beta _1}||{\boldsymbol{H}}|{|_1} + {\beta _2}||\nabla {\boldsymbol{H}}||_2^2{\rm{ + }}{\beta _3}||{{\boldsymbol{H}}_{{0}}} - {\boldsymbol{H}}||_2^2)$$ (13) 利用Split-Bregman算法求解上式,引入辅助变量
${{\boldsymbol{b}}_{{0}}}$ 和惩罚变量${{\boldsymbol{t}}_{{0}}}$ ,公式(13)表示为:$$\begin{split} &\mathop {\min }\limits_{{\boldsymbol{H}},{{\boldsymbol{b}}_{{0}}}{\boldsymbol{,}}{{\boldsymbol{t}}_{{0}}}} (||\nabla {\boldsymbol{I}} \otimes {\boldsymbol{H}} - \nabla {\boldsymbol{G}}||_2^2 + {\beta _1}||{{\boldsymbol{b}}_{{0}}}|{|_1} +\eta ||{{\boldsymbol{b}}_{{0}}} -{\boldsymbol{H}} - {{\boldsymbol{t}}_{{0}}}||_2^2 + \\ &{\beta _2}||\nabla {\boldsymbol{H}}||_2^2{\rm{ + }}{\beta _3}||{{\boldsymbol{H}}_{{0}}} - {\boldsymbol{H}}||_2^2) \end{split}$$ (14) 式中:
${{\boldsymbol{b}}_{{0}}} = {\boldsymbol{H}}$ ;$\eta $ 为惩罚项的正参数。将公式(14)分解成以下几个表达式:$${{\boldsymbol{b}}_{{0}}}^{i + 1} = \mathop {\arg \min }\limits_{{{\boldsymbol{b}}_{{0}}}} ({\beta _1}||{{\boldsymbol{b}}_{{0}}}^i|{|_1} + \eta ||{{\boldsymbol{b}}_{{0}}}^i - {{\boldsymbol{H}}^{i + 1}} - {{\boldsymbol{t}}_{{0}}}^i||_2^2)$$ (15) $${{\boldsymbol{t}}_{\rm{0}}}^{i + 1} = {{\boldsymbol{t}}_{\rm{0}}}^i + {{\boldsymbol{H}}^{i + 1}} - {\boldsymbol{b}}_0^{i + 1}$$ (16) $$\begin{split} &{{\boldsymbol{H}}^{i + 1}} = \mathop {\arg \min }\limits_{\boldsymbol{H}} (||\nabla {{\boldsymbol{I}}^i} \otimes {{\boldsymbol{H}}^i} - \nabla {\boldsymbol{G}}||_2^2 + \eta ||{{\boldsymbol{b}}_{{0}}}^i - {{\boldsymbol{H}}^i} - {{\boldsymbol{t}}_{{0}}}^i||_2^2 +\\ &{\beta _2}||\nabla {\boldsymbol{H}}||_2^2{\rm{ + }}{\beta _3}||{{\boldsymbol{H}}_{{0}}} - {{\boldsymbol{H}}^i}||_2^2) \end{split}$$ (17) 利用变分原理和快速傅里叶变换解公式(17):
$${{\boldsymbol{H}}^{i + 1}} = {F^{ - 1}}\left\{ {\frac{{F{{(\nabla {{\boldsymbol{I}}^i})}^{\rm{T}}}F(\nabla {\boldsymbol{G}}) + \eta F({{\boldsymbol{b}}_{{0}}}^i - {{\boldsymbol{t}}_{{0}}}^i){\rm{ + }}{\beta _3}F({{\boldsymbol{H}}_{{0}}})}}{{F{{(\nabla {{\boldsymbol{I}}^i})}^{\rm{T}}}F(\nabla {{\boldsymbol{I}}^i}) + \eta + {\beta _2}F{{(\nabla )}^{\rm{T}}}F(\nabla ) + {\beta _3}}}} \right\}$$ (18) 式中:
$ F(\cdot )$ 和$ {F}^{-1}(\cdot )$ 分别表示傅里叶变换和逆变换;${{\boldsymbol{I}}^{\rm{T}}}$ 为${\boldsymbol{I}}$ 的共轭转置。采用软阈值法求解公式(15)[16]。考虑到模糊核的物理意义,迭代过程中需对其阈值进行动态约束:$${{\boldsymbol{H}}^i}(x,y) = \left\{ \begin{array}{l} {{\boldsymbol{H}}^i}(x,y),{{\boldsymbol{H}}^i}(x,y) \geqslant 0.05 \cdot \max ({{\boldsymbol{H}}^i}(x,y)) \\ 0,{\rm{otherwise}} \\ \end{array} \right.$$ (19) -
模糊核已知后,采用非盲反卷积模型去除图像模糊,非盲反卷积的病态性比盲复原小很多,采用LP正则项可以取得较好的效果[4,17]。图像复原模型如下:
$${\boldsymbol{I}} = \mathop {\arg \min }\limits_{\boldsymbol{I}} (||{\boldsymbol{I}} \otimes {\boldsymbol{H}} - {\boldsymbol{G}}||_2^2 + ||{\partial _x}{\boldsymbol{I}}|{|_p} + ||{\partial _y}{\boldsymbol{I}}|{|_p})$$ (20) 式中:
$p$ 取值0.8;该函数非凸,故采用IRLS算法求解。为了更好的抑制边界振铃效应,迭代复原之前,对模糊图像进行边界延拓和渐变处理[18]。复原后的子块去除拓展区域再拼接得到最终的复原图像。
-
文中研究的探测器光学系统视场14.4°×0.84°,前置望远镜采用离轴三反射式结构,边缘视场存在较大的畸变。焦平面像元大小30 μm×30 μm,线阵感光像元数为2 048。由于TDI级数越多畸变像移模糊越明显,为了更好的观察算法效果,TDI级数设为96。根据文中提出的分块方式,TDI图像被分为10个子区域,为了简化验证过程,选取边缘视场的两个相邻子区域验证算法,推扫帧数设为300,实验的图像大小为300×352,模糊核大小为15×15,用于对比的其他方法模糊核设置为同样大小,分块方式保持一致。
-
为了验证文中算法的有效性,使用三组仿真图像进行测试,并与Zhang的算法[8]、Krishnan的算法[4]作比较,结果如图5所示,从左往右依次是模糊图像、Zhang算法、Krishnan算法和文中方法的去模糊图像。红框中的是振铃波纹,绿框中的是下方放大的细节。
在主观视觉上,三种复原方法都能取得较好的去模糊效果。文中复原后的清晰程度和Zhang的相当,但是Zhang的复原图像边缘出现了振铃;三组实验中,Krishnan的方法均消除了振铃效应,但是通过放大的细节图可以发现,Krishnan的复原图像存在残留模糊,对比之下,文中方法的复原结果不仅清晰自然,且无振铃效应。
在客观评价上,使用无参考评价指标拉普拉斯梯度值(Laplacian Gradient, LG)和离散余弦变换值(Discrete Cosine Transform, DCT)作为评价指标。LG是图像空域参数,利用拉普拉斯算子计算图像各像素点的梯度,算法简洁快速。DCT是图像频域参数,对图像清晰度变化敏感,通过计算图像高频分量的多少评价模糊程度,两种评价指标都是值越大代表图像越清晰,计算公式如下:
$${V_{{\rm{LG}}}} = \frac{{\displaystyle\sum\limits_{i = 2}^{M - 1} {\displaystyle\sum\limits_{j = 2}^{N - 1} {\left| {{\boldsymbol{I}}(i,j + 1) + {\boldsymbol{I}}(i,j - 1) + {\boldsymbol{I}}(i + 1,j) + {\boldsymbol{I}}(i - 1,j) - 4×{\boldsymbol{I}}(i,j)} \right|} } }}{{(M - 2)×(N - 2)}}$$ (21) $${V_{{\rm{DCT}}}} = \frac{{\displaystyle\sum\limits_{i = 0}^{M - 1} {\displaystyle\sum\limits_{j = 0}^{N - 1} {(i + j)×\left| {{\boldsymbol{C}}(i,j)} \right|} } }}{{M*N}}$$ (22) 式中:
${\boldsymbol{I}}$ 为待评价图像,其尺寸为$M \times N$ ;${\boldsymbol{C}}(i,j)$ 为离散余弦变换的系数矩阵。客观评价结果如图6所示,可以直观的看到文中方法复原后的三幅图像评价指标都得到提高,其中LG值平均提升了67.5%,DCT值平均提升了14.2%。三幅图像的指标都优于Zhang和Krishnan,客观评价与主观分析相符,证明文中方法有效。 -
文中方法在估计模糊核时引入先验模糊核的约束项,在图像结构信息不足时,能够取得比其他方法更稳定的模糊核估计。选取如图7(a)所示的港口沿岸水面目标红外图像进行验证,由于水面多为平坦区域,大结构信息较少,此时Zhang估计的模糊核图7(f)与先验模糊核图7(e)相比,能量产生了较大的扩散;Krishnan的估计结果图7(g),其能量分布呈现出不同方向的压缩和扩散;相比之下文中估计的模糊核图7(h)更加贴近先验模糊核的能量分布形式。由于模糊核的估计与先验模糊核差异较大,Zhang和Krishnan去模糊后的图像存在明显的振铃和伪影,如图7(b)和图7(c)所示。对比之下,文中结果图7(d)仍然能清晰地识别水面船只。
为了定量测试文中方法估计模糊核的鲁棒性,统计了8个不同图像的估计模糊核与先验模糊核的相似度,相似度计算公式如下:
$${\rho _{{{\boldsymbol{H}}_1}{{\boldsymbol{H}}_2}}} = \left| {\frac{{Cov({{\boldsymbol{H}}_1},{{\boldsymbol{H}}_2})}}{{\sqrt {D({{\boldsymbol{H}}_1})} \sqrt {D({{\boldsymbol{H}}_2})} }}} \right|$$ (23) 式中:
$Cov({{\boldsymbol{H}}_1},{{\boldsymbol{H}}_2})$ 为模糊核${{\boldsymbol{H}}_{{1}}}$ 、${{\boldsymbol{H}}_2}$ 的协方差;$D({{\boldsymbol{H}}_{{1}}})$ 、$D({{\boldsymbol{H}}_2})$ 分别为${{\boldsymbol{H}}_{{1}}}$ 、${{\boldsymbol{H}}_2}$ 的方差;${\;\rho _{{{\boldsymbol{H}}_1}{{\boldsymbol{H}}_2}}}$ 取值0~1,值越大,代表相似度越高。统计结果如表1所示,文中对每个样本估计的模糊核与先验模糊核的相似度都高于对比方法;文中模糊核相似度均值最高且标准差Std最小,说明对于不同的图像,文中估计的模糊核能够稳定在先验模糊核周围。另外根据公式(21)~(22)计算了每个复原图像的清晰度指标,文中结果均优于对比方法。证明了文中方法估计的模糊核是稳定且有效的,具有较好的鲁棒性。表 1 模糊核相似度
Table 1. Similarity of blur kernel
Images Image 1 Image 2 Image 3 Image 4 Image 5 Image 6 Image 7 Image 8 Average Std Zhang 0.839 6 0.7902 0.9184 0.9423 0.9627 0.9750 0.8621 0.4387 0.8411 0.1748 Krishnan 0.9290 0.8407 0.8690 0.7865 0.9197 0.9003 0.6539 0.8254 0.8406 0.0898 Proposed 0.9845 0.9804 0.9615 0.9610 0.9791 0.9789 0.9351 0.9521 0.9666 0.0172 在算法的运行速度上,统计了4个不同大小的图像块计算文中半盲算法估计模糊核的时间,并且和Zhang、Krishnan的方法对比,皆在i7-7700 CPU @3.60 GHz/8 GB的平台上,利用MATLAB 2018a编程实现。结果如表2所示。
表 2 模糊核估计耗时对比(单位:s)
Table 2. Comparison of blur kernel estimation time (Unit: s)
Image size Krishnan Zhang Proposed method 150×150 3.271 5.203 4.852 300×352 4.225 17.551 16.011 412×525 8.469 37.761 34.445 600×734 17.131 79.802 35.437 由结果可见,文中方法与Krishnan相比耗时较长,因为后者直接对图像做全局处理,没有提取图像结构信息;与Zhang方法相比,图像尺寸越大,文中速度优势越明显,因为在先验模糊核的约束下只需要迭代较少的次数,另外文中在计算过程中多次利用FFT算法加快了求解速度。
Removal of image motion blur caused by distortion in TDI remote-sensing image
-
摘要: 采用离轴三反射结构的大视场空间相机存在较大的光学畸变,导致引入时间延迟积分(Time Delay Integration, TDI)技术的面阵探测器在推扫成像时产生像移模糊。根据畸变引起的TDI成像退化原理,将畸变像移模糊转化为非均匀运动模糊,通过求解像移路径计算初始模糊核,将其作为先验信息,建立半盲复原模型进一步细化模糊核。利用初始模糊核复原的粗略图像边缘指导模糊核的细化,提出一种多方向权重异性的全变差模型提取图像结构信息。为了增强先验信息对模糊核细化的约束,构建了含有初始模糊核的正则项,使模糊核的估计不过度依赖于图像内容,采用多尺度迭代方法求解。最后用正则化约束的非盲反卷积方法去除图像模糊。实验结果表明:与现有的几种去模糊算法相比,所提方法的去模糊效果不仅清晰自然且对不同样本图像的模糊核估计更稳定。Abstract: The wide-field space camera with off-axis and three-reflection structure had large optical distortion, which led to the image motion blur during push-broom imaging of the plane-array detector with time delay integration (TDI) technology. According to the principle of TDI imaging degradation caused by distortion, the distortded image motion blur was converted into non-uniform motion blur, and the initial blur kernel was solved by fitting the image motion path, which was used as prior information to establish a semi-blind restoration model to further refine the blur kernel. Using the rough image edge restored by the initial blur kernel to guide the refinement, a multi-directional weight-heterogeneous total variation model was proposed to extract image structure information. In order to enhance the constraints of prior information on the refinement of the blur kernel, a regular term containing the initial blur kernel was constructed, so that the estimation of the blur kernel did not depend excessively on the image content, and a multi-scale iterative method was used to solve the problem. Finally, a regularization-constrained non-blind deconvolution method was used to remove image blur. Experimental results show that the compared with several existing deblurring algorithms, the deblurring effect of the proposed method is not only clear and natural, but also more stable in the estimation of the blur kernel of different sample images.
-
Key words:
- optical distortion /
- time delay integration /
- blur kernel estimation /
- image deblurring
-
表 1 模糊核相似度
Table 1. Similarity of blur kernel
Images Image 1 Image 2 Image 3 Image 4 Image 5 Image 6 Image 7 Image 8 Average Std Zhang 0.839 6 0.7902 0.9184 0.9423 0.9627 0.9750 0.8621 0.4387 0.8411 0.1748 Krishnan 0.9290 0.8407 0.8690 0.7865 0.9197 0.9003 0.6539 0.8254 0.8406 0.0898 Proposed 0.9845 0.9804 0.9615 0.9610 0.9791 0.9789 0.9351 0.9521 0.9666 0.0172 表 2 模糊核估计耗时对比(单位:s)
Table 2. Comparison of blur kernel estimation time (Unit: s)
Image size Krishnan Zhang Proposed method 150×150 3.271 5.203 4.852 300×352 4.225 17.551 16.011 412×525 8.469 37.761 34.445 600×734 17.131 79.802 35.437 -
[1] Li F Q, Cao D J, Jiang H B, et al. Focal plane curve splicing of large distortion aerospace remote sensing camera [J]. Acta Optica Sinica, 2020(20): 2008001. (in Chinese) [2] Jin G, Ren B W, Zhong X. Influence of distortion on TDI-CCD space camera and its suppression method [J]. Acta Optica Sinica, 2013(10): 1022001. (in Chinese) [3] Fregus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph [J]. ACM Trans on Graphics, 2006, 25(3): 787-794. doi: 10.1145/1141911.1141956 [4] Krishnan D, Tay T, Fregus R. Blind deconvolution using a normalized sparsity measure[C]//IEEE Transactions on Computer Vision and Pattern Recognition, 2011: 233-240. [5] Li Z Z, Qing L, Li B, et al. Sparse prior -based space objects image blind inversion algorithm [J]. Acta Photonica Sinica, 2020, 49(2): 0210001. (in Chinese) [6] Shan Q, Jia J, Agarwala. High-quality motion deblurring from a single image [J]. ACM Transactions on Graphics (TOG), 2008, 27(3): 1-10. [7] Hong H Y, Zhao J, Shi Y, et al. Blur kernel region estimation and space variant restoration based on weighted L1 norm measure [J]. Infrared and Laser Engineering, 2020, 49(8): 20200001. (in Chinese) [8] Zhang X X, Wang R G, Tian Y H, et al. Image deblurring using robust sparsity priors [J]. IEEE International Conference on Image Processing ICIP, 2015: 138-142. [9] Hadar O, Dror I, Kopeika N S. Numerical calculation of image motion and vibration modulation transfer function—A new method[C]//SPIE, 1991,1533: 61–74. [10] Liang X B. Research on the pointing correction of telescope based on astronomical orientation technology[D]. Beijing: University of Chinese Academy of Sciences, 2020. (in Chinese) [11] Zhou C H. Research on design and mid-frequency information improving for optical sparse aperture system[D]. Hangzhou: Zhejiang University, 2019. (in Chinese) [12] Pan J S, Liu R S, Su Z X, et al. Kernel estimation from salient structure for robust motion deblurring [J]. Signal Processing: Image Communication, 2013, 28(9): 1156-1170. [13] Yang C W. The image quality improvement technology for visible night scene[D]. Hangzhou: Zhejiang University. 2020. (in Chinese) [14] Yang C, Feng H, Xu Z, et al. Image deblurring utilizing inertial sensors and a short-long-short exposure strategy [J]. IEEE Transactions on Image Processing, 2020, 29: 4614-4626. [15] Li J X, Wang D Y, E W, et al. Autonomous navigation technology based on optical image under large dynamic disturbance [J]. Acta Aeronautica et Astronautica Sinica, 2021, 42(11): 1-13. (in Chinese) [16] Li W L, Li K, Peng D, et al. Analysis and removal of stripe noise in AGRI remote-sensing images [J]. Acta Optica Sinica, 2019, 39(12): 599. (in Chinese) [17] Krishnan D, Fergus R. Fast image deconvolution using hyper-laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems, 2009: 1033-1041. [18] Gong P, He J, Liu N, et al. Blind restoration of motion blurred images based on sparse regularization and asymptotic boundary hypothesis [J]. Journal of University of Jinan(Science and Technology), 2021, 35(1): 16-23. (in Chinese)