本發明涉及高光譜圖像配準,特別是涉及一種高光譜圖像配準方法、裝置、設備及介質。
背景技術:
1、隨著遙感技術的快速發展,高光譜圖像(hyperspectral?image,hsi)在多時相監測、環境變化檢測、精準農業和城市測繪等領域得到廣泛應用。相比傳統rgb圖像,高光譜圖像在數百個連續光譜波段上提供精細的光譜信息,能夠實現對地物材料的精準區分,為光譜解混、目標檢測及土地覆蓋分類等任務提供重要支撐。然而,在實際獲取過程中,由于傳感器運動、平臺抖動、地形起伏以及大氣效應等因素的影響,不同時間、不同視角或不同傳感器獲取的高光譜圖像通常存在不同程度的幾何錯位。尤其是在推掃式成像系統中,平臺不穩定及地形變化還會引入局部拉伸、壓縮等非線性畸變,嚴重影響后續分析的精度。因此,實現高精度的圖像配準,即對多源高光譜圖像進行幾何對齊,成為開展多時相與多傳感器分析的關鍵前提。
2、現有的圖像配準方法主要包括基于手工特征的方法和基于深度學習的方法,但在高光譜場景下仍存在以下問題:
3、1)?特征表達能力不足問題:傳統方法如尺度不變特征變換(sift)和加速魯棒特征(surf)主要針對rgb或灰度圖像設計,其特征描述符僅適用于低維通道數據,難以有效刻畫高光譜圖像中跨數百波段的光譜特征,導致關鍵點檢測不穩定及匹配精度下降;
4、2)?光譜信息損失問題:部分方法通過主成分分析(pca)將高光譜數據降維至三通道后再進行特征提取,雖然緩解了維度問題,但在降維過程中不可避免地丟失了對精確匹配至關重要的判別性光譜信息,影響配準精度;
5、3)?對復雜光譜變化魯棒性不足問題:多時相高光譜圖像普遍存在光照變化、大氣擾動及傳感器差異等因素引起的非線性光譜畸變,傳統手工特征和部分深度特征難以保持穩定匹配;
6、4)?對標注數據依賴強問題:基于卷積神經網絡(cnn)或transformer的方法(如loftr)雖可提升匹配性能,但通常依賴大量標注的對應點數據,而高光譜圖像標注成本高、獲取困難,限制了其實際應用;
7、5)?跨模態輸入適配問題:近年來自監督方法(如dino系列)在視覺表征學習中表現出優異性能,尤其是dinov3在大規模遙感數據上的預訓練顯著提升了特征泛化能力,但該類模型主要面向三通道rgb輸入,無法直接處理高光譜的高維數據,存在明顯的輸入維度不匹配問題。
技術實現思路
1、本發明所要解決的技術問題是提供一種高光譜圖像配準方法、裝置、設備及介質,能夠有效彌合高維高光譜數據與rgb預訓練模型之間的維度差異,充分保留關鍵光譜信息,并提升在復雜成像條件下的配準精度與魯棒性。
2、本發明解決其技術問題所采用的技術方案是:提供一種高光譜圖像配準方法,包括以下步驟:
3、獲取待配準的高光譜圖像和參考圖像;
4、將所述待配準的高光譜圖像和參考圖像對輸入至配準模型,得到配準圖像;其中,所述配準模型包括:
5、光譜自適應嵌入模塊,用于通過可學習的光譜投影層分別將所述待配準的高光譜圖像和參考圖像從維光譜通道壓縮為三維rgb兼容表征,得到待配準投影后圖像和參考投影后圖像;
6、dinov3?vit編碼器,用于分別對所述待配準投影后圖像和參考投影后圖像進行特征提取,得到多層待配準token特征和參考token特征;
7、多層特征聚合模塊,用于分別對所述多層待配準token特征和參考token特征進行加權融合,得到待配準融合特征圖和參考融合特征圖;
8、密集特征匹配模塊,用于找出所述待配準融合特征圖和參考融合特征圖的對應點對,并基于所述對應點對得到最優仿射變換矩陣,根據所述最優仿射變換矩陣對所述待配準的高光譜圖像進行空間變換,得到配準圖像。
9、所述可學習的光譜投影層通過可學習的光譜投影矩陣和偏置項,對輸入高光譜圖像進行通道級線性映射,得到三通道嵌入表示;其中,所述光譜投影矩陣通過主成分分析進行初始化,選取前三個主成分作為初始投影方向。
10、所述dinov3?vit編碼器包括:
11、劃分單元,用于分別將待配準投影后圖像和參考投影后圖像劃分為不重疊且大小固定的圖像塊;
12、轉換單元,用于對劃分后的圖像塊進行圖像塊嵌入和token化處理,得到待配準token序列和參考token序列;
13、多層編碼層單元,用于對待配準token序列和參考token序列進行特征提取,得到多層待配準token特征和參考token特征。
14、所述多層特征聚合模塊包括:
15、選取單元,用于分別從所述多層待配準token特征和參考token特征中選出預設層數的token特征;
16、融合單元,用于通過可學習權重對選出的預設層數的token特征進行加權融合,得到待配準融合特征圖和參考融合特征圖。
17、所述密集特征匹配模塊包括:
18、相似度計算單元,用于將所述待配準融合特征圖和參考融合特征圖分別展平為序列表示,并基于余弦相似度計算所述待配準融合特征圖和參考融合特征圖之間的相似度矩陣;
19、候選匹配點選取單元,用于對于參考融合特征圖中的每一位置,從待配準融合特征圖中選取相似度最大的匹配位置作為候選匹配點;
20、過濾單元,用于采用互最近鄰策略對所述候選匹配點進行過濾,僅保留滿足雙向最近鄰條件的匹配點對,得到所述待配準融合特征圖和參考融合特征圖的對應點對;
21、估計單元,用于基于所述待配準融合特征圖和參考融合特征圖的對應點對采用隨機采樣一致性算法進行仿射變換估計,得到最優仿射變換矩陣;
22、空間變換單元,用于根據所述最優仿射變換矩陣對所述待配準的高光譜圖像進行空間變換,得到配準圖像。
23、所述估計單元次在迭代中隨機選取所述待配準融合特征圖和參考融合特征圖的對應點對進行仿射模型參數求解;根據重投影誤差對匹配點進行內點篩選,當重投影誤差小于閾值時判定為內點;最終選取內點數量最多的仿射模型,并通過最小二乘法進行參數優化,得到最優仿射變換矩陣。
24、所述配準模型的損失函數為雙項互補損失函數,表示為:,其中,為配準模型的損失函數,為對比學習infonce損失,表示為:,為參考圖像中的第個特征向量,為與所述參考圖像特征對應的真實正樣本匹配特征向量,為候選匹配特征集合中的第個特征向量,所述候選匹配特征集合包括真實匹配特征和非匹配特征,為溫度系數,為相似度計算,候選匹配點數量;為正則化項,表示為:,為光譜投影矩陣的frobenius范數;為正則化系數。
25、本發明解決其技術問題所采用的技術方案是:提供一種高光譜圖像配準裝置,包括:
26、獲取模塊,用于獲取待配準的高光譜圖像和參考圖像;
27、配準模塊,用于將所述待配準的高光譜圖像和參考圖像對輸入至配準模型,得到配準圖像;其中,所述配準模型包括:
28、光譜自適應嵌入模塊,用于通過可學習的光譜投影層分別將所述待配準的高光譜圖像和參考圖像從維光譜通道壓縮為三維rgb兼容表征,得到待配準投影后圖像和參考投影后圖像;
29、dinov3?vit編碼器,用于分別對所述待配準投影后圖像和參考投影后圖像進行特征提取,得到多層待配準token特征和參考token特征;
30、多層特征聚合模塊,用于分別對所述多層待配準token特征和參考token特征進行加權融合,得到待配準融合特征圖和參考融合特征圖;
31、密集特征匹配模塊,用于找出所述待配準融合特征圖和參考融合特征圖的對應點對,并基于所述對應點對得到最優仿射變換矩陣,根據所述最優仿射變換矩陣對所述待配準的高光譜圖像進行空間變換,得到配準圖像。
32、本發明解決其技術問題所采用的技術方案是:提供一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現上述高光譜圖像配準方法的步驟。
33、本發明解決其技術問題所采用的技術方案是:提供一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行時實現上述高光譜圖像配準方法的步驟。
34、有益效果
35、由于采用了上述的技術方案,本發明與現有技術相比,具有以下的優點和積極效果:本發明通過光譜自適應嵌入模塊將高維高光譜數據自適應壓縮為三維rgb兼容表征,可直接適配dino?v3架構,有效保留判別性光譜信息,解決傳統降維方法導致光譜特征丟失、與rgb模型不兼容的問題。采用dinov3?vit編碼器提取多層token特征,結合多層特征聚合模塊加權融合,可同時整合低層幾何細節與高層語義信息,顯著提升特征在光譜畸變、復雜場景下的魯棒性與一致性。利用密集特征匹配模塊精準定位對應點對并魯棒求解最優仿射變換矩陣,無需人工標注的匹配標簽,以全自監督方式實現端到端配準。本發明在配準精度、內點率與泛化能力上顯著優于傳統方法與現有深度學習方法,能夠有效應對多時相、跨傳感器高光譜圖像的幾何錯位問題,降低數據標注成本,適用于遙感監測、精準農業等實際工程場景。