
科研進(jìn)展
重慶研究院利用增強(qiáng)張量分解實(shí)現(xiàn)高原湖泊水質(zhì)時(shí)空數(shù)據(jù)高精度修復(fù)
時(shí)間:2025-09-08編輯:大數(shù)據(jù)與無(wú)人系統(tǒng)研究中心
水質(zhì)在線監(jiān)測(cè)通常依托部署于多個(gè)站點(diǎn)的傳感器,對(duì)pH、溶解氧、氮磷、高錳酸鹽指數(shù)、葉綠素等多種關(guān)鍵指標(biāo)進(jìn)行長(zhǎng)期、高頻時(shí)序采集。然而,傳感器可能因設(shè)備故障、定期維護(hù)、校準(zhǔn)或通信中斷等原因發(fā)生停測(cè),造成數(shù)據(jù)序列出現(xiàn)大量空白;此外,還易受生物附著、極端天氣和人為干擾等因素影響,產(chǎn)生明顯偏離真實(shí)值的異常數(shù)據(jù)或隨機(jī)噪聲。這些問(wèn)題嚴(yán)重制約了數(shù)據(jù)分析的準(zhǔn)確性,對(duì)水質(zhì)評(píng)價(jià)、污染溯源和預(yù)測(cè)預(yù)警等工作帶來(lái)極大挑戰(zhàn)。因此,開(kāi)發(fā)高精度的數(shù)據(jù)修復(fù)技術(shù)顯得尤為重要。
水質(zhì)數(shù)據(jù)天然具備“時(shí)間–空間–指標(biāo)”三個(gè)維度,可在信息空間中表征為一個(gè)三維張量結(jié)構(gòu)。傳統(tǒng)統(tǒng)計(jì)學(xué)插值方法難以有效利用這種多維關(guān)聯(lián)特性。而張量分解模型能夠?qū)⑷S張量分解為一組低秩矩陣(核心因子)的乘積,分別提取出時(shí)間變化模式、空間分布模式和指標(biāo)關(guān)聯(lián)模式,并藉此實(shí)現(xiàn)對(duì)缺失值的智能推斷。
圖1:水質(zhì)在線監(jiān)測(cè)數(shù)據(jù)在信息空間中的三維張量表征
為更精準(zhǔn)地刻畫(huà)不同水質(zhì)數(shù)據(jù)時(shí)序特性,重慶研究院科研團(tuán)隊(duì)創(chuàng)新性地將張量分解與偏差校正及智能優(yōu)化算法相結(jié)合,提出了多偏差融合的自適應(yīng)張量分解模型(DBAL)和多偏差非負(fù)張量分解集成模型(DBNE),并在云南高原湖泊滇池的水質(zhì)在線監(jiān)測(cè)系統(tǒng)上進(jìn)行了應(yīng)用與驗(yàn)證。
自研模型在方法層面實(shí)現(xiàn)了多項(xiàng)突破:通過(guò)對(duì)指標(biāo)施加非負(fù)約束,確保修復(fù)后的水質(zhì)參數(shù)符合物理現(xiàn)實(shí);融合單線性偏差、預(yù)處理偏差和時(shí)變感知偏差等多種機(jī)制,有效捕捉實(shí)際指標(biāo)長(zhǎng)期變化的季節(jié)性特征與短期波動(dòng)規(guī)律等;引入差分進(jìn)化算法,實(shí)現(xiàn)模型超參數(shù)的自適應(yīng)優(yōu)化,大幅提升調(diào)參效率。高原湖泊實(shí)驗(yàn)結(jié)果表明,在隨機(jī)缺失(丟失率20%–80%)和連續(xù)缺失(丟失時(shí)長(zhǎng)1–4周)等多種情景下,模型對(duì)多項(xiàng)水質(zhì)指標(biāo)的整體插補(bǔ)精度表現(xiàn)優(yōu)異,Nash-Sutcliffe 效率系數(shù)(NSE)超過(guò)0.90,均方根誤差(RMSE)和平均絕對(duì)誤差(MAE)顯著優(yōu)于現(xiàn)有主流模型。同時(shí),模型具備高運(yùn)行效率,全量數(shù)據(jù)處理耗時(shí)控制在5分鐘以內(nèi),滿足真實(shí)場(chǎng)景下模型應(yīng)用部署需求。
圖2:增強(qiáng)張量分解模型在云南高原湖泊滇池水質(zhì)在線監(jiān)測(cè)中應(yīng)用
研究團(tuán)隊(duì)提出的“張量分解-多偏差校正”框架具有較強(qiáng)的通用性與可遷移性,不僅能修復(fù)水質(zhì)時(shí)序傳感數(shù)據(jù),更可廣泛應(yīng)用于水文水資源、大氣污染、土壤環(huán)境及生態(tài)質(zhì)量評(píng)估等領(lǐng)域,有效重構(gòu)多種復(fù)雜環(huán)境要素的缺失數(shù)據(jù)。
相關(guān)成果發(fā)表在《Environmental Modelling & Software》和《Ecological Informatics》等生態(tài)環(huán)境建模領(lǐng)域的主流期刊上。論文第一作者是重慶研究院與重慶郵電大學(xué)聯(lián)合培養(yǎng)博士研究生吳旭坷,通訊作者為閃錕研究員,相關(guān)研究獲得國(guó)家自然科學(xué)基金、云南省省市一體化重點(diǎn)專項(xiàng)、重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展重點(diǎn)專項(xiàng)等項(xiàng)目支持。
相關(guān)論文鏈接:
1. Xuke Wu#, Kun Shan*, Friedrich Recknagel, Lan Wang, Mingsheng Shang. Enhanced tensor factorization for spatiotemporal imputation of high-frequency water quality monitoring data. Environmental Modelling and Software, 2025, 193, 106667.
https://doi.org/10.1016/j.envsoft.2025.106667
2. Xuke Wu#, Kun Shan*, Lan Wang, Jingkai Wang, Mingsheng Shang. Spatiotemporal water quality data reconstruction: A tensor factorization framework. Ecological Informatics, 2025, 90, 103283.
https://doi.org/10.1016/j.ecolinf.2025.103283