圖像重建原理與應用(工業(yè)和信息化部十四五規(guī)劃教材) 節(jié)選

第1章圖像清晰化簡介 　　1.1圖像清晰化的概念 　　圖像清晰化是將已有的一幅或幾幅質(zhì)量較差的圖像，經(jīng)過一系列處理得到一幅質(zhì)量較好的圖像。在大量的電子圖像應用領域，人們經(jīng)常期望得到清晰化圖像，清晰化意味著圖像能夠提供更多的細節(jié)，而這些細節(jié)在許多實際應用中不可或缺。例如，清晰化的醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；清晰化的衛(wèi)星圖像很容易從相似物中區(qū)別相似的對象；清晰化的圖像能極大提高計算機視覺中的模式識別性能，特別是在刑偵領域，能夠獲得犯罪嫌疑人清晰的圖像對于警方的破案尤為重要。在實際情況中，攝像機拍到的圖像往往是不清晰的，這就需要一個圖像清晰化過程來得到盡可能多的圖像細節(jié)，恢復出盡可能清晰的圖像。 　　圖像清晰化包括圖像去噪、圖像去模糊、圖像超分辨率、圖像去馬賽克、去斑馬紋、去摩爾紋等。圖像重建是圖像清晰化的一種方法，是根據(jù)獲取的退化圖像結(jié)合圖像的先驗知識，重建原始清晰圖像的方法。從數(shù)學問題上看，圖像重建可以使用反問題來描述。 　　人類獲取的信息大部分來源于圖像媒體，大量而清晰的圖像對人們的日常生活、科學研究都有著十分重要的作用。但圖像在形成、傳輸和記錄的過程中都會受到諸多因素的影響，所以人類通過各種方式獲得的圖像一般都不可能是一個物體的完整描述，攝像設備在拍攝圖像時質(zhì)量會有所下降，其典型表現(xiàn)為圖像模糊、失真、有噪聲等。因此，圖像清晰化技術(shù)越來越成為圖像處理中的主流，研究和發(fā)展有效的圖像清晰化技術(shù)來改善退化的圖像也就顯得尤為重要。 　　1.2圖像退化的種類 　　圖像在采集、轉(zhuǎn)換、傳輸和顯示等過程中不可避免地要受到設備、環(huán)境和場景的影響，導致圖像質(zhì)量的退化，退化原因主要有以下幾點。①灰度失真：光學系統(tǒng)或成像傳感器本身特性不均勻，造成同樣亮度景物成像灰度不同；②運動模糊：成像傳感器與被拍攝景物之間的相對運動，引起所成圖像的運動模糊；③輻射失真：由于場景能量傳輸通道中的介質(zhì)特性，如大氣湍流效應、大氣成分變化引起圖像失真；④噪聲干擾：圖像在成像、數(shù)字化、采集和處理過程中引入的噪聲等。以上種種原因?qū)⒂绊憟D像后續(xù)的處理和應用，這就涉及圖像降質(zhì)問題，圖像的降質(zhì)類型大致分為五類：噪聲、亮度偏移、對比度拉伸、模糊和壓縮。 　　1.2.1噪聲 　　噪聲是*常見的退化因素之一，如無線電中的靜電干擾、道路上的喧鬧聲和電視上的雪花等。對信號來說，噪聲是一種外部干擾，由于噪聲攜帶了噪聲源的信息，噪聲本身也是一種信號。其中，椒鹽噪聲和高斯噪聲是*為常見的兩類噪聲。 　　1.椒鹽嗓聲 　　椒鹽噪聲（salt-and-peppernoise）又稱脈沖噪聲，它隨機改變一些像素值，在二值圖像上表現(xiàn)為使一些像素點變白，一些像素點變黑，如圖1.1所示。椒鹽噪聲包括兩種噪聲，一種是鹽粒噪聲，為白點，另一種是胡椒噪聲，為黑點。前者是高灰度噪聲，后者屬于低灰度噪聲。一般兩種噪聲同時出現(xiàn)，呈現(xiàn)在圖像上類似把椒鹽撒在圖像上，因此得名。椒鹽噪聲出現(xiàn)的位置是隨機的，但噪聲的幅值是基本相同的。 　　圖1.1（b）與圖1.1（a）相比，出現(xiàn)了很多黑白雜點，這些雜點隨機分布在不同位置，圖像中既有被噪聲污染的點，也有干凈的點，這就是椒鹽噪聲。 　　椒鹽噪聲（脈沖噪聲）的概率密度函數(shù)如下： 　　(1.1) 　　其中，Z為圖像的像素點的取值；a和b通常是飽和值，即它們是圖像中可表示的*小值和*大值，因此一般為0和255，其中，0為胡椒噪聲，255為鹽粒噪聲；Pa和巧分別為像素點變?yōu)楹吩肼暫望}粒噪聲的概率。椒鹽噪聲的含量取決于圖像的信噪比，信噪比越小，噪聲越大，信噪比為1時，圖像不含噪聲。椒鹽噪聲的概率密度分布如圖1.2所示。 　　椒鹽噪聲的產(chǎn)生原因通常為以下兩種：①通信時出錯，部分像素的值在傳輸時丟失，如在早期的印刷電影膠片上，由于膠片化學性質(zhì)的不穩(wěn)定和播放時候的損傷，會使得膠片表面的感光材料和膠片的基底掉落，在播放時候，產(chǎn)生一些或白或黑的損傷；②影像信號受到突如其來的強烈干擾，如電視里的雪花噪聲等。 　　關于椒鹽噪聲的去除，是刑偵圖像和模式識別方向關注的重點。要解決椒鹽噪聲，可以釆取以下兩類措施：一是從感光器件方面補光；二就是在得到椒鹽噪聲圖像后，對圖像進行去噪處理，一般釆用中值濾波器濾波可以得到較好的結(jié)果。 　　2.高斯嗓聲 　　高斯噪聲[1]（Gauss　noise）是噪聲點幅度的概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲，如圖1.3所示。如果一個噪聲，它的幅度分布服從高斯分布，而它的功率譜密度又是均勻分布的，則稱它為高斯白噪聲。 　　如圖1.3所示，圖1.3（a）為原始圖像，圖1.3（b）為含高斯噪聲的圖像。圖1.3（b）與圖1.3（a）圖相比，出現(xiàn)了很多噪聲點，圖像產(chǎn)生了降質(zhì)，這就是高斯噪聲。 　　高斯噪聲出現(xiàn)的幅值是隨機的。高斯噪聲（正態(tài)噪聲）的概率密度函數(shù)如下： 　　（1.2） 　　其中，#為噪聲的均值，a是噪聲的標準差，是噪聲的方差。高斯噪聲的概率密度分布如圖1.4所示。 　　圖1.4高斯噪聲概率密度分布 　　高斯噪聲的產(chǎn)生源于電子電路噪聲和由低照明度或高溫帶來的傳感器噪聲。常見的高斯噪聲包括起伏噪聲、宇宙噪聲、熱噪聲和散粒噪聲等。若想恢復出清晰的圖像，必須對圖像進行去噪處理。關于高斯噪聲的去除一直是圖像處理領域的一個科研課題，迄今為止，雖然有大量關于高斯噪聲去除問題的方法和文獻，但高斯噪聲的去除問題仍然沒有徹底解決。 　　1.2.2亮度偏移 　　亮度[2]是發(fā)光體（反光體）表面發(fā)光（反光）強弱的物理量。人眼從一個方向觀察光源，在這個方向上的光強與人眼所“見到”的光源面積之比，定義為該光源單位的亮度，即單位投影面積上的發(fā)光強度。其中，發(fā)光強度，是指光源在給定方向上單位立體角內(nèi)所發(fā)出的光通量，單位為坎德拉（cd），因此亮度的單位是坎德拉/平方米（cd/m2），亮度是人對光的強度的感受。 　　亮度也稱明度，表示色彩的明暗程度。人眼所感受到的亮度是色彩反射或透射的光亮所決定的。 　　如圖1.5所示，圖1.5（a）為原始圖像，圖1.5（b）為亮度偏移圖像。可以看出亮度偏移后的圖像視覺效果明顯比原始圖像差很多，圖像分辨率也明顯降低了，這就產(chǎn)生了圖像的降質(zhì)。 　　在一些圖像應用領域，特別是刑偵圖像領域，需要對圖像的細節(jié)進行識別。一個物體因受光不同可能在明亮度上產(chǎn)生不同程度的變化；照射的光越強，反射光就越強，看起來就越亮。此外，還有一些圖像曝光過渡或曝光不足引起一些細節(jié)難以識別，這都需要使用圖像處理的方法來校正。 　　1.2.3對比度拉伸 　　圖像對比度[3]是指一幅圖像中明暗區(qū)域*亮的白和*暗的黑之間不同亮度層級的測量，即指一幅圖像灰度反差的大小。差異范圍越大代表對比越大，差異范圍越小代表對比越小。對比度拉伸是把圖像灰度反差變大的一個過程，使原圖像暗的地方變得更暗，亮的地方變得更亮，增加了圖像的對比率。 　　如圖1.6所示，圖1.6（a）為原始圖像，圖1.6（b）為對比度拉伸后的圖像。從圖中我們可以很清晰地看出，圖1.6（b）與圖1.6（a）相比，在鼻子、額頭等部位，這些原圖中較亮的地方變得更亮；眼窩、脖子等部位，這些原圖中較暗的地方則變得更暗。 　　在非良好照明環(huán)境下我們會獲取到低對比度圖像，此時就要用到對比度拉伸對圖像進行處理，但在對比度拉伸的過程中會降低圖像的質(zhì)量，導致圖像退化。 　　1.2.4模糊 　　釆集過程中產(chǎn)生的退化被稱為模糊，它對目標的頻譜有限制作用，也就是高頻分量得到抑制或消除的過程。 　　造成圖像模糊的原因主要有兩種：一種是邊緣模糊，如光學系統(tǒng)中的孔徑衍生產(chǎn)生退化；另一種是運動模糊，如在拍攝過程中相機發(fā)生抖動。 　　如圖1.7所示，圖1.7（a）為原始圖像，圖1.7（b）為模糊圖像。圖1.7（b）與圖1.7（a）相比，只能看到原始圖像的一個大致輪廓，原始圖像中的很多細節(jié)并不能從模糊圖像中找出，這對圖像處理影響很大。特別是在刑偵圖像領域，當我們需要對清晰的圖像進行仔細分析時，就必須要對模糊圖像進行處理，以得到更多的圖像細節(jié)。 　　1.2.5壓縮 　　圖像和視頻在計算機中表示后通常會占用非常大的空間，出于節(jié)省硬盤空間的考慮，往往要對其進行壓縮[4]。同時，傳輸過程中，為了節(jié)省珍貴的帶寬資源和時間，我們對壓縮也有較為迫切的需求。圖像編碼與壓縮從本質(zhì)上來說就是對要處理的圖像原數(shù)據(jù)按一定的規(guī)則進行變換和組合，從而達到以盡可能少的代碼（或符號）來表示盡可能多的數(shù)據(jù)信息。但與此同時，一些壓縮（如JPEG壓縮）會帶來圖像的塊狀人工痕跡，這是壓縮過程中的典型退化現(xiàn)象。 　　如圖1.8所示，圖1.8（a）為原始圖像，圖1.8（b）為經(jīng)過JPEG壓縮的圖像。壓縮比=壓縮前所占空間大小/實際所占空間大小，從圖1.8（b）可以看出，壓縮比例過大就會造成明顯的圖像降質(zhì)。壓縮圖像的質(zhì)量與壓縮比例成反比，壓縮比例越大，圖像的質(zhì)量越差，所占存儲空間越小。反之，圖像壓縮比例越小，圖像的質(zhì)量越好，所占存儲空間越大。