杜甫的资料介绍 超解析度简介及详细资料

超解析度简介及详细资料  

超解析度概述

超解析度(Super-Resolution)即通过硬体或软体的方法提高原有图像的解析度，通过一系列低解析度的图像来得到一幅高解析度的图像过程就是超解析度重建。超解析度重建的核心思想就是用时间频宽(获取同一场景的多帧图像序列)换取空间解析度,实现时间解析度向空间解析度的转换。

超解析度图像复原综述

超解析度图像复原(Super-Resolution Image Reconstruction)

在大量的电子图像套用领域，人们经常期望得到高解析度(简称HR)图像。高解析度意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际套用中不可或缺。例如，高解析度医疗图像对于医生做出正确的诊断是非常有帮助的;使用高解析度卫星图像就很容易从相似物中区别相似的对象;如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像感测器已被广泛用来捕获数字图像。尽管对于大多数的图像套用来说这些感测器是合适的，但是当前的解析度水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高解析度数位相机/携带型摄像机，或者期望其价格逐渐下降;科学家通常需要一个非常高的接近35毫米模拟胶片的解析度水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前解析度水平的方法是非常必须的。

增加空间解析度最直接的解决方法就是通过感测器制造技术减少像素尺寸(例如增加每单元面积的像素数量)。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。当前的图像感测器技术大多能达到这个水平。

另外一个增加空间解析度的方法是增加晶片的尺寸，从而增加图像的容量。因为很难提高大容量的偶合转换率，因此这种方法一般不认为是有效的。在许多高解析度图像的商业套用领域，高精度光学和图像感测器的高价格也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间解析度，从而克服感测器和光学制造技术的限制。

一种很有前途的方法就是采用信号处理的方法从多个可观察到的低解析度(简称LR)图像得到高解析度图像。最近这样的一种解析度增强技术正成为最热的研究领域之一，在文献中人们把它叫超解析度(简称SR或者HR)图像复原或者简单地叫做解析度增强。本文中我们用"超解析度图像复原"这个术语来指解析度增强的信号处理方法，因为在克服低解析度图像系统固有的解析度限制方面，"超分率"术语中的"超"字代表了一个非常好的技术特性。信号处理方法最大的好处就是它的成本低，同时现存的低解析度图像系统仍能使用。在许多实际套用中，特别是在医疗图像、卫星图像和视频等领域，同样场景的多帧低解析度图像很容易得到的情况下，SR图像复原被证明是非常有用的。一种套用就是用便宜的LR数位相机/携带型摄像机复原高质量的数字图像以便列印/停格使用，通常对于一个携带型摄像机，很有可能连续显示放大帧;另外一种非常重要的套用是在监控、法院、科学、医疗和卫星图像套用中缩放感兴趣区域(简称ROI)，例如，在监控和法院中，数字摄像机(简称DVR)已经普遍取代了闭路电视(简称CCTV)，就很有必要放大场景中的目标如汽车牌照或者疑犯的脸部。在诸如CT和核磁共振(简称MRI)等医疗套用中，解析度质量有限的而获取多幅图像有是可能的情况下，SR技术是非常有用的;在遥感和地球资源卫星(简称LANDSAT)一类卫星图像套用中，在同一地区的多幅图像可提供的情况下，可以考虑使用SR技术增强目标的解析度;另外一种非常迫切而现实的套用是把一般的NTSC格式低清电视信号转换为高画质电视信号(简称HDTV)而不失真地在HDTV上播放。

我们如何从多幅LR图像中得到HR图像?在基于SR的空间解析度增强技术中，其基本前提是通过同一场景可以获取多幅LR细节图像。在SR中，典型地认为LR图像代表了同一场景的不同侧面，也就是说LR图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像套用中，这种场景运动是能够实现的;对于局部对象移动或者震荡一类的不可控制的图像套用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的。

与SR技术相关的一个课题是图像修复，这是一个在图像套用中被大量处理的领域，图像修复的目标是恢复一个被模糊或者噪声破坏的图像，但是它不改变图像的尺寸。事实上图像修复和SR复原在理论是完全相关的，SR复原可以看作是第二代图像修复课题。

与SR技术相关的另一个课题是图像插值，即增加单幅图像的尺寸。尽管这个领域已经被广泛地研究，即使一些基本的功能已经建立，从一幅近似的LR图像放大图像的质量仍然是有限的，这是因为对单幅图像插值不能恢复在LR采样过程中损失的高频部分。因此图像插值方法不能被认作是SR技术。为了在这方面有更大的改进，下一步就需要套用基于同一场景的相关的额外数据。基于同一场景的不同的观察信息的融合就构成了基于场景的SR复原。