社會(huì)報(bào)道
高光譜成像(HSI)于20世紀(jì)80年代中期最初用于遙感,在過去二十年已擴(kuò)展到眾多研究領(lǐng)域,尤其是農(nóng)業(yè)和食品科學(xué),用于收集研究對(duì)象視覺和化學(xué)屬性的補(bǔ)充數(shù)據(jù)。HSI將傳統(tǒng)成像與紅外、拉曼和熒光等光譜技術(shù)相結(jié)合,形成稱為超立方體的三維數(shù)據(jù)結(jié)構(gòu),整合了二維數(shù)字圖像和光譜數(shù)據(jù)維度,每個(gè)像素都關(guān)聯(lián)著反映其代表區(qū)域光學(xué)特性的光譜,雖受鄰域像素影響,但光譜可作為物質(zhì)識(shí)別的獨(dú)特特征。在水果、蔬菜和蘑菇質(zhì)量評(píng)估方面,HSI面臨數(shù)據(jù)可用性和模型可靠性等挑戰(zhàn),現(xiàn)有研究多缺乏實(shí)際應(yīng)用導(dǎo)向,需注重重復(fù)性和研究參數(shù)向工業(yè)參數(shù)的轉(zhuǎn)化,以實(shí)現(xiàn)無損質(zhì)量評(píng)估,減少食品浪費(fèi)并保障食品安全。
人工智能(AI)與HSI的整合至關(guān)重要,AI算法(主要是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法)能有效處理高維和大規(guī)模HSI數(shù)據(jù),實(shí)現(xiàn)精準(zhǔn)特征提取和分類,在處理大數(shù)據(jù)集、降噪、實(shí)時(shí)分析及提高任務(wù)精度等方面表現(xiàn)出色,對(duì)農(nóng)業(yè)、遙感等依賴高光譜數(shù)據(jù)的應(yīng)用必不可少。隨著AI技術(shù)發(fā)展,其與HSI的結(jié)合將更緊密,實(shí)現(xiàn)實(shí)時(shí)處理,結(jié)合新興技術(shù)可擴(kuò)大應(yīng)用范圍,推動(dòng)行業(yè)創(chuàng)新,盡管面臨數(shù)據(jù)和計(jì)算挑戰(zhàn),但前景樂觀。本綜述將深入探討AI在HSI應(yīng)用中的關(guān)鍵作用、面臨的挑戰(zhàn)及未來發(fā)展前景。
HSI的工作機(jī)制與挑戰(zhàn)
HSI通過捕獲和處理光譜信息來工作,超越了傳統(tǒng)成像僅在少數(shù)波段采集數(shù)據(jù)的局限。其過程始于光源照射目標(biāo)場(chǎng)景,光與場(chǎng)景中材料相互作用后,HS傳感器利用光學(xué)元件(如棱鏡或衍射光柵)將收集到的光分散成不同波長(zhǎng),再通過傳感器陣列檢測(cè)各波長(zhǎng)光強(qiáng)度,從而生成包含豐富光譜信息的HS數(shù)據(jù)立方體,涵蓋兩個(gè)空間維度和一個(gè)光譜維度。數(shù)據(jù)采集方式包括點(diǎn)掃描、線掃描、光譜掃描和快照相機(jī)等。采集后需進(jìn)行校準(zhǔn)以校正傳感器響應(yīng)、光照和大氣影響,隨后運(yùn)用光譜解混、分類、特征提取和降維等高級(jí)數(shù)據(jù)處理技術(shù)。
HSI數(shù)據(jù)具有高維度和復(fù)雜性,每個(gè)像素包含數(shù)百個(gè)光譜帶,導(dǎo)致數(shù)據(jù)集龐大,對(duì)計(jì)算資源和存儲(chǔ)要求高,且存在數(shù)據(jù)冗余問題。同時(shí),數(shù)據(jù)易受噪聲干擾且對(duì)環(huán)境條件敏感,需要復(fù)雜的預(yù)處理技術(shù)如降噪、大氣校正和校準(zhǔn)等。而AI能夠解決這些挑戰(zhàn),其機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)擅長(zhǎng)處理復(fù)雜數(shù)據(jù),可自動(dòng)學(xué)習(xí)光譜特征,減少手動(dòng)特征工程,在處理高維數(shù)據(jù)、降噪、實(shí)時(shí)分析和提高任務(wù)精度等方面具有顯著優(yōu)勢(shì),在高光譜數(shù)據(jù)分析中具有重要作用。
圖1HSI 系統(tǒng)主要部件示意圖
HSI的類型
點(diǎn)掃描(point scanning):一次捕獲一個(gè)像素,相機(jī)掃描樣本時(shí)逐步構(gòu)建圖像,每個(gè)像素包含完整光譜信息,光譜分辨率高,但圖像采集耗時(shí),不適用于快速數(shù)據(jù)收集場(chǎng)景,常用于實(shí)驗(yàn)室光譜分析。
線掃描(line scanning):逐行測(cè)量連續(xù)光譜,在工業(yè)質(zhì)量控制監(jiān)測(cè)中廣泛應(yīng)用。雖因光譜儀入口狹縫存在光損失,但在速度和光譜分辨率間取得平衡,適用于實(shí)時(shí)監(jiān)測(cè)與分析。
傅里葉變換(Fourier Transform,F(xiàn)T)光譜:可測(cè)量連續(xù)光譜,結(jié)合單色成像傳感器和干涉儀,光通量高于推掃式系統(tǒng),光譜數(shù)據(jù)收集效率和精度高,適用于高靈敏度和精度要求的應(yīng)用,能處理寬波長(zhǎng)范圍,在化學(xué)分析等領(lǐng)域應(yīng)用廣泛。
光譜掃描(spectral scanning):能收集特定波長(zhǎng)的全部空間信息,逐個(gè)波長(zhǎng)進(jìn)行處理。雖單張圖像采集相對(duì)較快,但整體因需切換波長(zhǎng)而較慢。在特定波長(zhǎng)需要高空間分辨率的應(yīng)用中作用顯著,如熒光顯微鏡,也可優(yōu)化聚焦于特定感興趣區(qū)域。
HS快照相機(jī)(HS snapshot cameras):可拍攝HS視頻,適合對(duì)運(yùn)動(dòng)物體成像,采集快速高效,但光譜和空間分辨率相對(duì)其他技術(shù)受限,在實(shí)時(shí)HS成像如醫(yī)療診斷中有重要應(yīng)用。
高分辨率HSI對(duì)檢測(cè)復(fù)雜目標(biāo)光譜變化至關(guān)重要,但現(xiàn)有高分辨率設(shè)備成本高昂,限制了其應(yīng)用和普及。Stuart等人研發(fā)的低成本設(shè)備為解決此問題提供了新途徑,其在礦物學(xué)環(huán)境監(jiān)測(cè)中表現(xiàn)出良好性能。
表1 HSI中使用的掃描方法的特點(diǎn)。
AI與HSI的協(xié)同作用
HSI包含數(shù)百個(gè)光譜帶,數(shù)據(jù)維度高,存在冗余、噪聲及“維度詛咒”等問題,傳統(tǒng)分析方法難以應(yīng)對(duì)。而人工智能算法,尤其是機(jī)器學(xué)習(xí)(ML)和深度學(xué)習(xí)(DL)模型,能有效處理這些問題。
監(jiān)督學(xué)習(xí)算法利用標(biāo)記數(shù)據(jù)訓(xùn)練模型進(jìn)行分類或分析,如支持向量機(jī)(SVMs)適用于高維數(shù)據(jù)和小訓(xùn)練集的分類;隨機(jī)森林(RFs)魯棒性強(qiáng),能處理噪聲數(shù)據(jù);K-近鄰(KNNs)基于像素光譜與標(biāo)記數(shù)據(jù)的鄰近度分類;神經(jīng)網(wǎng)絡(luò)如多層感知器(MLPs)可用于像素級(jí)分類。
無監(jiān)督學(xué)習(xí)算法能在無預(yù)定義標(biāo)簽的情況下發(fā)現(xiàn)數(shù)據(jù)中的隱藏模式,如k-均值聚類、主成分分析(PCA)等;神經(jīng)網(wǎng)絡(luò)中的卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs)可學(xué)習(xí)復(fù)雜數(shù)據(jù)的表示;強(qiáng)化學(xué)習(xí)算法適用于動(dòng)態(tài)環(huán)境;獨(dú)立成分分析(ICA)用于盲源分離;自動(dòng)編碼器用于無監(jiān)督特征提取和降維。還有如DiffSpectralNet等新方法整合不同技術(shù)提升分類效果。
DL技術(shù)借助深層神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)特征,避免手動(dòng)特征工程,生成對(duì)抗網(wǎng)絡(luò)(GANs)可用于數(shù)據(jù)增強(qiáng)等。在卷積神經(jīng)網(wǎng)絡(luò)中,其卷積層通過局部感受野(Receptive Field)連接提取特征,結(jié)合池化層等技術(shù)增強(qiáng)模型泛化能力,在處理復(fù)雜多維數(shù)據(jù)方面表現(xiàn)突出。
在光譜解混中,常用非負(fù)矩陣分解(NMF)和稀疏編碼技術(shù)。混合模型結(jié)合空間和光譜信息提升分類等任務(wù)性能,如空間-光譜CNNs和圖卷積網(wǎng)絡(luò)(GCNs)。自然語言處理算法也助力AI理解和生成語言,推動(dòng)多領(lǐng)域智能任務(wù)發(fā)展。
在實(shí)際應(yīng)用中,利用AI技術(shù)改進(jìn)的高光譜相機(jī)可提升信號(hào)處理速度和噪聲容忍度,實(shí)現(xiàn)光譜準(zhǔn)確重建。AI驅(qū)動(dòng)的超分辨率算法可增強(qiáng)圖像空間分辨率,有助于精確映射和檢測(cè)。在分類任務(wù)中,ML和DL技術(shù)能處理高維光譜數(shù)據(jù),實(shí)現(xiàn)材料或物體分類。AI算法在去噪時(shí)可保留關(guān)鍵信息,在圖像重建中能填補(bǔ)缺失部分,在對(duì)象檢測(cè)和圖像分割中利用光譜信息提高精度,在不同領(lǐng)域發(fā)揮重要作用。
圖3a)深度學(xué)習(xí)寬帶編碼隨機(jī)高光譜相機(jī)簡(jiǎn)化示意圖:相機(jī)根據(jù)光譜編碼位置在主動(dòng)模式(頂部)或被動(dòng)模式(底部)下運(yùn)行。(b)基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的光譜重建概述:DNN處理單色相機(jī)的初始數(shù)據(jù)以生成恢復(fù)的三維高光譜數(shù)據(jù)立方體。(c、d)窄帶激光束的光譜輪廓:在(c)中,DNN用“精確”數(shù)據(jù)進(jìn)行訓(xùn)練,而在(d)中,用“一般”數(shù)據(jù)進(jìn)行訓(xùn)練。(e)在598.0nm和603.2nm處的兩個(gè)峰的光譜輪廓,峰間距以黑色顯示。
表2AI與HSI相互作用中所使用的各類算法的特性。
人工智能與高光譜成像協(xié)同作用的應(yīng)用農(nóng)業(yè)領(lǐng)域
作物生長(zhǎng)監(jiān)測(cè):利用AI-HSI能夠精準(zhǔn)分析作物不同生長(zhǎng)階段的高光譜圖像,通過識(shí)別作物光譜特征的細(xì)微變化,判斷作物的健康狀況,比如是否遭受病蟲害侵襲、營(yíng)養(yǎng)元素是否缺乏等。例如,深度學(xué)習(xí)模型可以對(duì)高光譜圖像中作物葉片的光譜反射率進(jìn)行分析,區(qū)分健康葉片與染病葉片,幫助農(nóng)民提前采取防治措施,提高作物產(chǎn)量和質(zhì)量。
農(nóng)產(chǎn)品品質(zhì)評(píng)估:對(duì)水果、蔬菜等農(nóng)產(chǎn)品進(jìn)行無損檢測(cè),依據(jù)其獨(dú)特的光譜“指紋”結(jié)合AI算法準(zhǔn)確判別農(nóng)產(chǎn)品的成熟度、甜度、內(nèi)部品質(zhì)等指標(biāo),利于農(nóng)產(chǎn)品的分級(jí)篩選和精準(zhǔn)銷售。
圖4 用于分析食品質(zhì)量的人工智能-高光譜成像(AI-HSI)
遙感領(lǐng)域
土地覆蓋分類與監(jiān)測(cè):可以對(duì)大面積的陸地表面進(jìn)行高光譜成像,AI算法對(duì)獲取的數(shù)據(jù)進(jìn)行處理,精確區(qū)分不同的土地覆蓋類型,像森林、草地、農(nóng)田、水域、城市建筑等,并且能夠?qū)崟r(shí)監(jiān)測(cè)土地利用變化情況,比如城市擴(kuò)張、森林砍伐、濕地減少等,為土地資源管理和生態(tài)環(huán)境保護(hù)提供有力的數(shù)據(jù)支撐。
礦產(chǎn)資源勘探:基于不同礦物質(zhì)具有特定的光譜吸收和反射特征,AI與高光譜成像技術(shù)結(jié)合,從遙感圖像中識(shí)別潛在的礦產(chǎn)分布區(qū)域,提高勘探效率,降低勘探成本。
環(huán)境監(jiān)測(cè)領(lǐng)域
水體污染監(jiān)測(cè):通過分析水體的高光譜數(shù)據(jù),AI可檢測(cè)出水中污染物的種類、濃度等信息,比如識(shí)別水中的重金屬含量是否超標(biāo)、有機(jī)污染物的存在情況等,實(shí)現(xiàn)對(duì)水環(huán)境質(zhì)量的動(dòng)態(tài)監(jiān)測(cè)。
圖5安裝在一種名為“水母機(jī)器人”的無人駕駛飛行器(UAD)上的遠(yuǎn)程HSI系統(tǒng),該飛行器可配備一張網(wǎng),用于從各種水面收集大型塑料或微型塑料。
大氣成分分析:借助HSI捕捉大氣中各種氣體分子的光譜特征,運(yùn)用AI算法來確定大氣中溫室氣體、污染物等成分的含量和分布,輔助大氣污染治理以及氣候變化研究。
醫(yī)療領(lǐng)域
疾病診斷:例如在皮膚疾病診斷方面,利用HSI獲取皮膚病變部位的光譜圖像,AI模型分析這些圖像來輔助醫(yī)生判斷病變的類型、嚴(yán)重程度等,提高診斷的準(zhǔn)確性和效率。
圖9 一名健康成年人靜息狀態(tài)下的外周血流動(dòng)力學(xué)示意圖,展示了氧合血紅蛋白(HbO2)、血紅蛋白(Hb)以及血氧飽和度(sPO2)的相關(guān)情況。
組織病理分析:對(duì)病理切片進(jìn)行高光譜成像,基于AI算法挖掘其中蘊(yùn)含的光譜信息,幫助識(shí)別癌細(xì)胞、病變組織等微觀結(jié)構(gòu)特征,為疾病的精準(zhǔn)治療提供參考依據(jù)。
工業(yè)領(lǐng)域
產(chǎn)品質(zhì)量檢測(cè):在制造業(yè)中,對(duì)生產(chǎn)線上的產(chǎn)品進(jìn)行高光譜成像,AI算法可以快速檢測(cè)產(chǎn)品表面的瑕疵、內(nèi)部結(jié)構(gòu)缺陷等質(zhì)量問題,實(shí)現(xiàn)自動(dòng)化、高精度的質(zhì)量控制。
材料識(shí)別與分析:針對(duì)不同的工業(yè)材料,通過高光譜成像并結(jié)合AI能夠快速準(zhǔn)確地識(shí)別材料的種類、成分以及判斷材料的性能是否達(dá)標(biāo)等,便于原材料的篩選和產(chǎn)品的質(zhì)量把控。
AI與HSI之間的協(xié)同作用代表著數(shù)據(jù)處理和材料識(shí)別技術(shù)方面的重大進(jìn)步。隨著技術(shù)的持續(xù)發(fā)展,它們的交集有望推動(dòng)更多創(chuàng)新,進(jìn)一步拓展其在科學(xué)研究以及實(shí)際應(yīng)用場(chǎng)景中的應(yīng)用范圍。這種協(xié)同作用的未來有著革新諸多行業(yè)的潛力,能夠突破現(xiàn)有技術(shù)的邊界,提供以往傳統(tǒng)方法無法實(shí)現(xiàn)的精準(zhǔn)、高效且通用的解決方案,為各行業(yè)帶來全新的發(fā)展機(jī)遇和變革。
- 下一個(gè):重組科技部,對(duì)高校科研人員有何影響?




在線客服