近年來，無人機高光譜遙感憑借高空間分辨率、高光譜分辨率以及靈活快速的數(shù)據獲取能力，已成為生態(tài)環(huán)境監(jiān)測的重要技術手段。在農業(yè)、森林、濕地、水體生態(tài)以及植被健康評估等領域，無人機高光譜系統(tǒng)能夠獲取數(shù)百甚至上千個連續(xù)光譜波段，實現(xiàn)傳統(tǒng)遙感無法完成的精細化參數(shù)反演。

然而，隨著傳感器性能不斷提升，高光譜遙感數(shù)據規(guī)模呈指數(shù)級增長。一架無人機一次飛行即可產生數(shù)GB甚至TB級影像數(shù)據，每個像素均包含連續(xù)光譜信息，形成典型的“海量、高維、復雜"數(shù)據特征。

在生態(tài)遙感應用中，研究人員通常需要利用機器學習和深度學習算法建立光譜特征與生態(tài)參數(shù)之間的關系，例如：

• 植被氮含量、葉綠素含量反演；

• 森林生物量估算；

• 病蟲害智能識別；

• 水質參數(shù)預測；

• 土壤理化性質分析。

但傳統(tǒng)機器學習流程存在一個重要問題——數(shù)據泄漏（Data Leakage）。

當訓練集與測試集中存在高度相似的數(shù)據樣本時，模型可能并非真正學習生態(tài)目標與光譜特征之間的規(guī)律，而是“記住"了訓練數(shù)據中的相似信息，從而導致模型評價結果虛高，實際推廣能力下降。

對于無人機高光譜生態(tài)遙感而言，不同區(qū)域、不同季節(jié)、不同生長階段的數(shù)據往往具有明顯差異。如果模型僅在隨機劃分的數(shù)據集上表現(xiàn)良好，卻無法適應新的區(qū)域和環(huán)境條件，就難以真正服務生態(tài)監(jiān)測業(yè)務。

因此，如何降低數(shù)據泄漏風險，提高人工智能模型面對未知區(qū)域和復雜環(huán)境的泛化能力，是當前高光譜遙感智能化發(fā)展的關鍵問題。

本文介紹的研究發(fā)表于 Nature Communications（2025），論文提出了一種用于降低機器學習數(shù)據泄漏的新型數(shù)據劃分框架——DataSAIL-DataSplittingto-Avoid-Information -Leakage。

論文指出，在機器學習模型訓練過程中，傳統(tǒng)隨機劃分方法容易造成訓練集和測試集之間的信息泄漏，使模型性能評價出現(xiàn)偏差。尤其是在具有復雜相似關系的數(shù)據中，例如生物信息、高維光譜數(shù)據等，這種問題更加突出。

計算數(shù)據相似性

首先，根據數(shù)據特征建立樣本之間的距離或相似度關系。例如：

DataSAIL支持用戶提供自定義相似度計算方法。對于無人機高光譜遙感，可以對應為：

面對大規(guī)模數(shù)據，逐個樣本比較計算量巨大。因此DataSAIL首先對數(shù)據進行聚類，將相似樣本歸為不同數(shù)據簇，再對數(shù)據簇進行優(yōu)化劃分。

論文采用聚類方法將大量數(shù)據壓縮成有限數(shù)量的數(shù)據組，然后利用優(yōu)化算法完成數(shù)據分配。

對于無人機高光譜數(shù)據：

例如：

100萬像素 × 400個波段的數(shù)據，可以先根據光譜特征聚類：

再進行智能劃分，提高計算效率。

優(yōu)化數(shù)據劃分策略

論文將數(shù)據劃分定義為一個組合優(yōu)化問題，通過整數(shù)線性規(guī)劃（ILP）尋找：

的訓練測試劃分方案。

研究證明，該問題屬于NP-hard問題，因此作者提出了一種基于聚類和整數(shù)規(guī)劃結合的啟發(fā)式算法，實現(xiàn)大規(guī)模數(shù)據處理。

實驗結果顯示，DataSAIL能夠明顯降低訓練集和測試集之間的信息泄漏，使機器學習模型在未知數(shù)據上的評價更加真實。

構建高光譜AI模型訓練體系

目前無人機高光譜生態(tài)應用通常采用：

高光譜影像
↓
特征提取
↓
機器學習建模
↓
生態(tài)參數(shù)反演

例如：

光譜數(shù)據 → PLSR / Random Forest / SVM / CNN
→ 氮含量預測
→ 空間分布制圖

但如果訓練數(shù)據劃分不合理，模型可能只適用于當前實驗區(qū)域。

結合DataSAIL方法，可以按照光譜相似性進行數(shù)據劃分：

訓練區(qū)域：

• A區(qū)域春季數(shù)據

測試區(qū)域：

• B區(qū)域夏季數(shù)據

確保模型真正學習生態(tài)規(guī)律，而不是區(qū)域特征。

支撐無人機高光譜跨區(qū)域應用

生態(tài)遙感最大的需求是：

“一地建模，多地應用"。

例如：

利用某區(qū)域無人機高光譜數(shù)據建立：

• 水稻氮素模型；

• 森林健康評價模型；

• 草地退化監(jiān)測模型。

未來需要推廣到：

• 不同年份；

• 不同氣候；

• 不同地貌區(qū)域。

通過類似DataSAIL的數(shù)據劃分方法，可以提前模擬真實應用環(huán)境，提高模型泛化能力。

面向海量數(shù)據的智能化流程

未來無人機高光譜生態(tài)遙感數(shù)據處理流程可升級為：

無人機采集

↓

高光譜數(shù)據預處理

（輻射校正、幾何校正、拼接）

↓

光譜特征智能篩選

（PCA、SPA、CARS、深度學習）

↓

數(shù)據相似性分析

（光譜距離、空間距離）

↓

智能數(shù)據劃分

（DataSAIL思想）

↓

AI模型訓練

（RF、SVM、Transformer、CNN）

↓

生態(tài)參數(shù)精準反演

實現(xiàn)從“數(shù)據驅動"向“可靠智能遙感"轉變。

無人機高光譜遙感正在推動生態(tài)監(jiān)測從傳統(tǒng)人工調查向智能化、精細化方向發(fā)展。但面對海量、高維、多源數(shù)據，如何保證人工智能模型可靠性成為新的挑戰(zhàn)。

Nature Communications發(fā)表的DataSAIL方法，通過減少數(shù)據泄漏、優(yōu)化訓練測試劃分，為高光譜遙感AI模型提供了一種新的數(shù)據管理思路。

未來，將高光譜遙感技術、人工智能算法以及可靠的數(shù)據質量控制方法相結合，有望進一步提升生態(tài)監(jiān)測模型的跨區(qū)域應用能力，實現(xiàn)更加精準、高效的大范圍生態(tài)環(huán)境感知。